Controversia por la manipulación de la demo del modelo de IA Gemini de Google
- El nuevo modelo de IA Gemini de Google recibió reacciones mixtas después de su primera presentación al público
- Se reveló que la demo más impresionante estaba, en los hechos, manipulada, lo que afectó la confianza de los usuarios
- El video titulado "Hands-on with Gemini: Interacting with multimodal AI" alcanzó 1 millón de visualizaciones y mostró las capacidades de un modelo multimodal flexible y receptivo ante diversas entradas
Una demo distinta de la realidad
- El video parece haber sido realizado en tiempo real, pero en realidad se usaron fotogramas de imágenes y prompts de texto para probar las capacidades de Gemini
- A diferencia de una interacción real, el video contiene elementos que pueden inducir a error sobre la velocidad de respuesta, la precisión y la forma de interactuar con el modelo
- Aunque incluye la advertencia "Se redujo la latencia y se acortó la salida de Gemini.", resulta muy atractiva visualmente
Diferencias con las capacidades documentadas
- En el video parece haber una evaluación intuitiva y sin palabras, mientras que las capacidades documentadas indican que el modelo no razona a partir de gestos individuales, sino que necesita ver todos los gestos a la vez y recibir pistas
- Por ejemplo, en el video parece que el modelo detecta de inmediato que una bola de papel cambia bajo una taza, pero en realidad hay que describir la actividad y entrenar al modelo
- Es cierto que Google dijo que este video "muestra salidas reales de Gemini", pero no es cierto afirmar que "se editaron algunas partes de la demo (y esto se divulga con transparencia)". Este video no es una demo y, en realidad, muestra una interacción muy distinta de la que se hizo para promocionar la demo
Opinión de GN⁺
- Se reveló que el video de demo del modelo de IA Gemini de Google fue producido exagerando las capacidades reales del modelo, lo que pone en duda la credibilidad de la tecnología.
- Es un caso que muestra al mismo tiempo el potencial de avance de la IA multimodal y los límites de la tecnología actual, y ofrece una lección importante para comprender el verdadero estado de la tecnología de IA.
- Este incidente ofrece una discusión interesante para quienes trabajan en tecnología, al subrayar la importancia de la transparencia y la honestidad sobre cuánto coinciden los anuncios y demos de IA con la experiencia real de los usuarios.
5 comentarios
Bard también generó expectativas al principio.
Me hace pensar en Google Glass... En ese entonces también pensé que el mundo iba a cambiar
¡Ánimo!
Fue un video sorprendente, pero creo que es un problema que inevitablemente puede surgir cuando se edita y se presenta en tan poco tiempo.
También me da la impresión de que Google debe estar pasándola bastante mal, y al mismo tiempo pienso que habrá que ver cómo resulta cuando salga de verdad.
De cualquier forma, como es mejor que haya competencia en vez de que OpenAI avance sola, ánimo también para Google.
Fue lamentable.
Creo que la visión y los valores son cosas que deben mantenerse aún más en los momentos difíciles.