Google Chrome agrega el modelo de IA Gemini Nano `window.ai` dentro del navegador

• Desde la versión 127 de Chrome, window.ai permite usar el modelo de IA Gemini Nano directamente en el navegador
• El sitio demo del chatbot fue creado con Next.js + Vercel AI SDK
• Ejemplo de uso

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
Como referencia, el archivo del modelo fue extraído hace poco.

[edunga1]

https://developer.chrome.com/docs/ai/built-in
Parece que hay que solicitar acceso por separado para probarlo.

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Opiniones de Hacker News

• Es positivo que el navegador incluya por defecto una función que permita aplicar también a los usuarios web la estrategia de IA de Apple

  • Se pueden usar modelos locales para reforzar la privacidad y la seguridad
  • Si Google implementa esto bien, sería muy interesante

• Vercel anunció window.ai y mostró su propia abstracción en lugar de la API de Chrome

  • La API de window.ai es muy simple, así que no hace falta un wrapper
  • Código de ejemplo:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• Que no se pueda especificar un modelo en la API de Google es un defecto importante

  • Si el modelo sigue actualizándose, las pruebas y el mantenimiento serán difíciles
  • Código propuesto:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• Es problemático que los sitios web usen la CPU del usuario para procesamiento distribuido de LLM

• Falta documentación pública sobre la API de window.ai

  • No está claro qué versión es el modelo Gemini Nano

• Con la tecnología actual, los modelos instruct son menos útiles que los modelos base

  • Se necesitan funciones como ejecutar LoRAs, ajustar la temperatura y configurar plantillas de prompt
  • La tecnología está cambiando tan rápido que podría ser demasiado pronto para integrarla en el navegador
  • Habría que separar el modelo de la interfaz para permitir también el uso de otros modelos locales

• Falta estandarización

  • Se necesita un enfoque como WebNN de Microsoft
  • Otros proveedores deberían hacerlo realidad, como el intento de exponer Metal de Apple a través de WebGPU

• La función "Create theme with AI" de Chrome no se diferencia de elegir un tema aleatorio

  • Hay planes de crear una API que devuelva imágenes aleatorias de pixabay

• Los modelos de propósito general son más útiles cuanto más grandes son

  • Los modelos on-device ajustados para tareas específicas son más precisos

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))