Google afirma que Gemma 3 es el modelo de IA más potente que puede ejecutarse en una sola GPU

• Google anunció Gemma 3, la siguiente versión de su modelo de IA Gemma basado en la tecnología de IA Gemini
• Gemma 3 está diseñado para que los desarrolladores puedan ejecutar aplicaciones de IA en diversas plataformas
  • Puede ejecutarse desde teléfonos inteligentes hasta estaciones de trabajo
  • Soporta más de 35 idiomas
  • Puede analizar texto, imágenes y videos cortos
• Google afirma que Gemma 3 es el "mejor modelo del mundo para un solo acelerador"
  • Ofrece mejor rendimiento en una sola GPU que los modelos de Facebook Llama, DeepSeek y OpenAI
  • Ofrece rendimiento optimizado en GPU de Nvidia y hardware de IA dedicado
  • Codificador de visión (vision encoder) mejorado
    • Soporta imágenes de alta resolución y no cuadradas
  • Incluye el nuevo clasificador de seguridad de imágenes ShieldGemma 2
    • Filtra contenido sexualmente explícito y contenido peligroso o violento
• Gemma 3 se ubicó en los primeros puestos del ranking por puntaje ELO de Chatbot Arena
  • Registró alto rendimiento en una sola GPU Nvidia H100
• Continúa la controversia sobre la definición de "abierto" u "open source" de los modelos Gemma
  • La licencia de Google impone restricciones de uso, y no hubo cambios en este anuncio

[GN⁺]

Opiniones de Hacker News

• Algunos modelos de IA pueden rezar. Les pedí consejo bíblico y dijeron que rezarían por mí
• Me pregunto qué tan pequeño puede ser un modelo y seguir siendo "generalmente inteligente". Parece que debe haber un tamaño demasiado pequeño para contener toda la información
  • Me pregunto cuándo aparecerán modelos pequeños especializados en áreas concretas. Por ejemplo, al pedir ayuda para programar, probablemente no necesito que sepa quién dirigió Jaws
  • Quizá en el futuro haya muchos modelos pequeños y especializados
  • O tal vez la capacidad de cómputo mejore hasta el punto de poder ejecutar modelos con todas las funciones en una computadora de escritorio o en un teléfono
• Puede que Llama 3.3 70B técnicamente no cuente como algo que corre en "una sola GPU", pero funciona bien en una sola Mac
  • Es mucho mejor que Gemma 3 para mantener conceptos a lo largo de conversaciones largas
• Gemma 3 escribe mucho mejor que la versión 2
  • La gran mejora es que una ventana de contexto de 32k+ realmente se puede usar y no se convierte en basura aleatoria
• Esto duró una semana después de que Mistral lanzó 3.1 Small. Así de rápido avanza la IA
• Mistral Small 3.1 salió después de Gemma 3 y es mucho mejor
  • Rechaza menos, es más preciso, divaga menos y es mejor especialmente para programación
• Técnicamente, DeepSeek R1 con quant 1.58-bit de Unsloth corre en una sola GPU y 128GB de RAM del sistema
  • El rendimiento es muy bueno, pero conviene no tener prisa
• Publicación de Google de la semana pasada: [enlace]
• Me pregunto si alguien usa GoogleAI
  • En una empresa de IA con un CEO de IA usan traducción de idiomas con IA, pero todos los productos GPT reales son pésimos y tienen mala reputación
  • ¿Quién querría enviar sus conversaciones privadas a Google para que lo vigilen?
• Me pregunto si eso corre en el piso recortado