Gemma: los modelos abiertos de última generación de Google

• Google cree en crear una IA útil para todas las personas y ha contribuido con innovaciones a la comunidad abierta, como Transformers, TensorFlow, BERT, T5, JAX, AlphaFold y AlphaCode
• Gemma es una familia de modelos abiertos, ligeros y de última generación, construidos a partir de la misma investigación y tecnología utilizadas para crear los modelos Gemini
  • Fue desarrollada por Google DeepMind y otros equipos, e inspirada en "gemma", que en latín significa "joya"
• Desde hoy está disponible globalmente, junto con pesos del modelo, herramientas para impulsar la innovación de los desarrolladores, fomentar la colaboración y orientar el uso responsable de los modelos Gemma
• Al compartir componentes tecnológicos y de infraestructura con Gemini, Gemma 2B y 7B logran el mejor rendimiento en relación con su tamaño en comparación con otros modelos abiertos
• Puede ejecutarse directamente en la laptop o computadora de escritorio de los desarrolladores, y supera a modelos mucho más grandes en benchmarks clave, al mismo tiempo que cumple estándares estrictos para ofrecer resultados seguros y responsables
• A través de Native Keras 3.0, ofrece toolchains para inferencia y SFT (ajuste fino supervisado) en todos los frameworks principales, incluidos JAX, PyTorch y TensorFlow
• Es fácil comenzar con Gemma gracias a la integración con notebooks de Colab y Kaggle, y con herramientas populares como Hugging Face, MaxText, NVIDIA NeMo y TensorRT-LLM
• Los modelos Gemma preentrenados y ajustados con instrucciones pueden desplegarse fácilmente en Vertex AI y Google Kubernetes Engine (GKE) para ejecutarse en notebooks, estaciones de trabajo o Google Cloud
• Garantiza rendimiento líder en la industria mediante optimizaciones para múltiples plataformas de hardware de IA, incluidas las GPU de NVIDIA y las TPU de Google Cloud
• Permite uso comercial y distribución para organizaciones de cualquier tamaño, de acuerdo con los términos de uso

Diseñado para ser responsable

• Gemma fue diseñado poniendo los principios de IA como prioridad, y utiliza técnicas automatizadas para filtrar información personal y otros datos sensibles del conjunto de entrenamiento
• Además, usa ampliamente aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) en los modelos ajustados con instrucciones para alinearlos con un comportamiento responsable
• Para comprender y reducir el perfil de riesgo de los modelos Gemma, se realizaron evaluaciones sólidas, como red teaming manual, pruebas adversariales automatizadas y evaluación de la capacidad del modelo para actividades peligrosas

Optimizado en frameworks, herramientas y hardware

• Los modelos Gemma pueden ajustarse con datos propios para adaptarse a requisitos específicos de aplicaciones, y admiten diversas herramientas y sistemas
• Herramientas multi-framework: se puede usar el framework preferido, como Keras 3.0, PyTorch nativo, JAX y Hugging Face Transformers. Se proporcionan implementaciones de referencia
• Compatibilidad entre dispositivos: puede ejecutarse en dispositivos populares, incluidas laptops, desktops, IoT, móviles y la nube
• Plataformas de hardware de última generación: mediante una alianza con NVIDIA, las optimizaciones para GPU de NVIDIA —desde centros de datos hasta la nube y PCs locales con RTX AI— garantizan rendimiento líder en la industria e integración con tecnología de punta
• Optimizado en Google Cloud: con Vertex AI ofrece un amplio conjunto de herramientas MLOps y varias opciones de ajuste, además de despliegue con un clic usando optimizaciones de inferencia integradas

Créditos gratuitos para investigación y desarrollo

• Gemma fue construido para la comunidad de desarrolladores e investigadores que impulsa la innovación en IA, y desde hoy se puede empezar a trabajar con acceso gratuito en Kaggle, el nivel gratuito de notebooks de Colab y $300 en créditos para quienes usan Google Cloud por primera vez
• Los investigadores pueden solicitar hasta $500,000 en créditos de Google Cloud para acelerar sus proyectos

[dodok8]

Ahora resulta que la única IA abierta es la que está cerrada.

[xguru]

Opiniones de Hacker News

• Un punto a notar en los términos de uso de Gemma de Google es la cláusula que indica que los usuarios deben hacer esfuerzos razonables para usar la versión más reciente de Gemma. Esto podría anular una gran ventaja de ejecutar tu propio modelo, que es estar protegido del riesgo de que las actualizaciones del modelo rompan prompts que has probado cuidadosamente, así que hay una inconformidad particular con esa cláusula.
• Los resultados de benchmark de Gemma 7B aparecen en un nivel similar a Mistral 7B. Muestran que el rendimiento de Gemma 7B en pruebas como MMLU, HellaSwag y HumanEval es competitivo frente a Mistral 7B.
• El modelo Gemma tiene varias particularidades:
  • El feedforward hidden size es 16 veces d_model, a diferencia de la mayoría de los modelos donde es 4 veces.
  • El tamaño del vocabulario es de 256K, 10 veces más que los 32K de Mistral.
  • La cantidad de tokens de entrenamiento es de 6T, 3 veces más que los 2T de Llama2.
  • Además de eso, usa variantes clásicas de transformer como MQA, RoPE y RMSNorm.
  • Existe la pregunta de cuál fue el tamaño del batch que permitió entrenar el modelo tan rápido.
• Se plantea la duda de si es posible obtener el modelo sin "alignment" (aparentemente en el sentido de ajuste fino ideológico). Se señala que las respuestas del modelo Gemini muchas veces se han vuelto inútiles debido a ese ajuste fino ideológico.
• Una opinión personal de que no se puede confiar en los modelos de Google. Se critica que, ante una pregunta sobre el período Heian de Japón, el modelo proporcionó información completamente absurda, con errores tan evidentes que parecían una broma o una parodia. Se menciona que el modelo Llama mostró un rendimiento mucho mejor.
• Se expresa una opinión positiva de que es digno de elogio que el equipo de Gemma participe en la sección de comentarios y responda preguntas.
• El modelo Gemma dio información incorrecta sobre la estructura artificial más alta del mundo, el país más rico del mundo y cuántos centímetros hay por pie. Estos errores hacen dudar de la precisión del modelo.
• El modelo Gemma-7B fue incluido en la tabla de posiciones de Vectara HHEM, registrando una tasa de respuesta del 100% y una tasa de alucinación del 7.5%. Es un rendimiento bastante bueno para un modelo con 7B parámetros.
• Se menciona lo impresionantes que son los benchmarks de Gemma, y se evalúa que incluso el modelo 2B se ve bastante bien. Se expresa expectativa por dedicar el fin de semana a explorar este modelo.
• Se menciona que, si hace 5 años se hubiera preguntado cuál de OpenAI, Meta o Google sería la más abierta respecto a la IA, la mayoría habría elegido OpenAI. Sin embargo, se considera irónico que hoy empresas valuadas en billones de dólares como Meta y Google estén lanzando potentes modelos abiertos que pueden usarse comercialmente.