Resumen de Google Web AI Summit 2024: IA del lado del cliente para desarrolladores

• El 18 de octubre de 2024, Google celebró su primer Web AI Summit
• Del lado del cliente, usar modelos de aprendizaje automático dentro del navegador permite ofrecer inferencia de baja latencia incluso sin conexión, reducción de costos y protección de la privacidad

Resumen de las principales sesiones anunciadas

• Transformers.js: aprendizaje automático moderno para la web

  • Transformers.js es una biblioteca de JavaScript funcionalmente equivalente a la biblioteca Python Transformers de Hugging Face, y puede usarse directamente en la web
  • Soporta más de 1,000 modelos preentrenados y cubre diversas tareas y modalidades como texto, imagen y voz
  • Los usuarios pueden elegir un modelo preentrenado o ejecutar directamente un modelo personalizado en el navegador
  • Con soporte para WebGPU, aprovecha capacidades modernas de GPU para ejecutar modelos de forma rápida y eficiente

• API de Web Neural Network (WebNN): presente y futuro

  • La API de WebNN es una nueva API propuesta como estándar web, una herramienta para ejecutar tareas de aprendizaje automático del lado del cliente de manera rápida y eficiente
  • Proporciona capacidades de aceleración de IA dentro del navegador usando WebAssembly y WebGPU
  • Soporta aceleradores de hardware como CPU, GPU y NPU para ejecutar tareas de IA en distintos dispositivos
  • Cubre los desarrollos más recientes de la API, soporte de dispositivos, compatibilidad con frameworks e implementación en navegadores

• Tecnología Web AI PC de Intel

  • Intel usa la API de WebNN para ofrecer aceleración de ML web del lado del cliente, permitiendo ejecución de alto rendimiento en CPU, GPU y NPU
  • Actualmente está disponible como versión Developer Preview en los navegadores Chrome y Edge
  • Está integrada con ONNX Runtime Web y puede utilizarse con diversos frameworks de aprendizaje automático
  • A través de demos y retroalimentación inicial de usuarios, mostró un rendimiento “casi nativo” y demostró el potencial de nuevas experiencias web

• ml5.js: aprendizaje automático amigable para la web

  • ml5.js es una biblioteca de código abierto construida sobre TensorFlow.js, diseñada para hacer el aprendizaje automático más accesible
  • Ofrece una interfaz simple e intuitiva orientada a artistas, creative coders y estudiantes
  • Hereda la filosofía de p5.js y Processing para mejorar la accesibilidad del código y facilitar el proceso de aprendizaje
  • Incluye funciones como reconocimiento de imágenes, análisis de texto y estimación de pose, y es fácil de usar incluso para principiantes

• WebLLM: motor de inferencia LLM de alto rendimiento dentro del navegador

  • WebLLM es un motor de inferencia de alto rendimiento que permite ejecutar modelos grandes de lenguaje (LLM) directamente en el navegador
  • Usa aceleración por GPU mediante WebGPU para ofrecer un rendimiento de inferencia rápido
  • Todo el cálculo ocurre del lado del cliente, lo que refuerza la privacidad y no requiere configuración
  • Ofrece una interfaz estilo OpenAI API, lo que permite integración estandarizada y soporta distintos casos de uso como aplicaciones de chat y generación de JSON estructurado

• Mejorando aplicaciones LLM en el navegador con LangChain

  • LangChain es un framework para desarrollar aplicaciones que aprovechan LLM pequeños que funcionan en el navegador
  • Para superar las limitaciones de los modelos pequeños, usa LangGraph.js para diseñar aplicaciones basadas en estado y ofrece técnicas de prompting optimizadas
  • Presenta metodologías para aprovechar las ventajas de los LLM locales, como baja latencia y privacidad, mientras resuelve los problemas de rendimiento limitado

• Visual Blocks: prototipado visual de pipelines de IA

  • Visual Blocks es una plataforma de programación visual que permite prototipar rápidamente pipelines de IA mediante una interfaz simple de arrastrar y soltar
  • Permite aumento de datos y pruebas en tiempo real, y el desarrollo de soluciones creativas mediante varios nodos y pipelines personalizados
  • Demostró distintas aplicaciones de IA como gráficos interactivos, cadenas de LLM, visión por computadora y soluciones multimodales
  • Busca construir un ecosistema más rico de pipelines de ML fomentando contribuciones de la comunidad

• Resumen de las funciones de IA integradas en Chrome

  • Se compartió el estado actual del Prompt API y de las API de tareas de alto nivel (resumen, reescritura de texto, etc.), junto con retroalimentación inicial de usuarios
  • Se explicaron diversas aplicaciones que aprovechan las funciones de IA integradas en Chrome, así como los planes futuros
  • Se presentaron optimizaciones y mejoras de las API para ofrecer alto rendimiento y estabilidad

• TensorFlow.js y casos de uso en la industria de bienes de consumo

  • Se presentó el caso de una gran empresa brasileña de bienes de consumo que usó TensorFlow.js para mejorar sus estrategias de marketing en tienda
  • Usó tecnología de IA para identificar y analizar productos en tiempo real
  • Este proyecto se publicó como código abierto, permitiendo que otras empresas también lo usen, y se amplió a diversos casos de uso en la industria

• Experiencia usando las API integradas de Chrome

  • Se explicó la experiencia de desarrollar aplicaciones de IA con las API de Chrome y las lecciones aprendidas
  • Se presentaron técnicas de optimización de rendimiento y ajuste de prompts para apps basadas en IA
  • A través del caso de la app Synonym Finder, se compartieron formas flexibles de usar Prompt API y consejos prácticos

• Potencial de uso de IA en extensiones web

  • Las extensiones de Chrome pueden controlar el navegador, observar contenido web y agregar UI, lo que les da una utilidad escalable al combinarse con funciones de IA
  • Se explicaron ejemplos de extensiones basadas en IA registradas actualmente en la Web Store y sus posibilidades futuras
  • Se mostró cómo la integración entre IA y extensiones de Chrome puede mejorar la experiencia de navegación y aumentar la productividad

• Innovación en accesibilidad médica con WebAI

  • Con tecnología WebAI, IncludeHealth ofrece fisioterapia virtual, permitiendo que los pacientes reciban tratamiento personalizado en cualquier momento y lugar
  • Derriba barreras de costo y acceso, abriendo la posibilidad de que más pacientes reciban tratamiento
  • Usa datos personalizados para ofrecer tratamientos más precisos y efectivos

• Simple ML para Google Sheets

  • Simple ML, disponible como complemento de Google Sheets, permite a los usuarios realizar tareas de aprendizaje automático directamente dentro de la hoja de cálculo
  • Hace posible realizar tareas complejas de aprendizaje automático de manera sencilla usando WebAssembly, JavaScript y la IA integrada de Chrome
  • Mediante bibliotecas de código abierto, también ayuda a que otros desarrolladores puedan crear fácilmente sus propias soluciones de ML

[brain1401]

Me encanta JS