La demo del “pato” de Gemini no se realizó en tiempo real ni por voz
(twitter.com/parmy)- La impresionante demo del pato de Gemini de Google no se realizó mediante conversación en tiempo real ni entrada por voz, a diferencia de lo que insinuaba el video publicado
- Al modelo no se le dio el video para procesarlo tal cual, sino imágenes fijas extraídas de las escenas
- También se usaron prompts humanos, y un vocero afirmó que la narración de voz del video fue añadida después
- La forma en que realmente se llevó a cabo difiere de la interacción en tiempo real y por voz que aparece en el video final
- Al evaluar la demo de Gemini, hay que distinguir entre el video producido y las entradas que realmente recibió el modelo
Cómo se realizó realmente la demo del pato de Gemini
- La demo de Gemini de Google en la que aparece un pato no se realizó en tiempo real
- El modelo no procesó directamente el video en tiempo real, sino que recibió como entrada imágenes fijas tomadas de escenas del video
- Se proporcionaron prompts humanos al modelo, y la narración de esos prompts se añadió después
- Esta forma de realización fue revelada por un vocero
Enlaces relacionados
- Más detalles en la columna de Bloomberg Opinion: bloomberg.com/opinion/articl…
1 comentarios
Comentarios de Hacker News
Hice algo así en la universidad
En mi primera clase de ciencias de la computación nos dieron una Raspberry Pi y nos encargaron crear “algo”, sin experiencia programando ni instrucciones. La entrega no era el código, sino solo una demostración funcionando
Nosotros tres dijimos que compraríamos un sensor de humedad, lo conectaríamos a la Pi y lo instalaríamos debajo de un puente para crear un sistema de detección de inundaciones que enviara un correo a los responsables justo antes de una inundación
En la demostración real, un amigo tenía Gmail abierto al fondo del salón listo para enviar un correo de “alerta de inundación”, y el script solo imprimía frases entre
wait. Después de mostrar “esperando humedad”, 3 segundos más tarde imprimía “humedad detectada”, mientras metíamos el sensor en un vaso con agua, y luego al mostrar “enviando correo a xxx@yyy.com”, el amigo de atrás apretaba enviar, llegaba el correo y sacamos la máxima notaA veces un gran proyecto todavía no está listo, pero el cliente quiere ver aunque sea una parte como si ya estuviera terminada, esperando un estado de avance sin entender que el 90% del trabajo no es visible para el usuario
Es bastante común montar una HMI de mentira para que alguien pulse botones durante la demo, mientras en el cuarto de al lado otra persona manipula manualmente las salidas y entradas para que parezca que realmente funciona
Durante el proceso terminé echando a perder todos los receptores GPS que tenía; ese modelo de módulo GPS RS-232 era realmente frágil. Así que no pude mostrar navegación real en tiempo real, y de todos modos todavía estaba incompleto
Aun así terminé la GUI y fingí “así se vería durante la navegación”, sin ejecutar realmente el código de navegación. No era una actividad que afectara la calificación, pero todavía me deja una sensación rara
Esto es realmente raro. Google inventó el transformer, que es la base de todos estos modelos, así que no entiendo cómo puede seguir tropezando de esta manera
Google Docs salió en 2006, pero Microsoft le está comiendo el mandado. Google creó la capacidad de cambiar VMs en caliente y centros de datos totalmente automatizados, pero en la nube Amazon y Microsoft van adelante. También llevan más tiempo que nadie con conducción autónoma, pero Tesla los alcanzó y quizá termine ganando
La magnitud de esos tropiezos es enorme
Tenía otro nombre, y creo que no era SharePoint; me parece que estaba relacionado con cosas como reportes de gastos. Hacía que el Google Docs actual pareciera vergonzoso, pero no querían canibalizar su propio producto
Los productos requieren dedicación e iteración, y el último 10% es lo más importante. Pero Google sigue negándose a empujar los productos hasta cruzar la meta, los abandona y los agrega al infame Google Product Graveyard
Francamente, uno se pregunta cuál es el punto. Podrían quedarse solo con su negocio central de búsqueda/publicidad y no gastar miles de millones de dólares en decenas de miles de ingenieros caros que entraron tras un proceso de entrevistas mediocre
Dominar la investigación base de la IA generativa y aun así caerse de frente en productos para consumidores encaja perfecto con la empresa de Stadia, GMail/Inbox y 17 apps de chat distintas
Google casi no ha lanzado por cuenta propia productos decentes desde Gmail, e incluso Gmail creció usando su monopolio de búsquedas como un cartel publicitario gratuito
También está eso de que “Google Docs comenzó como Writely, un procesador de texto web lanzado en agosto de 2005 por la empresa de software Upstartle”
Lo que Google siempre ha priorizado es llevar aplicaciones a miles de millones de usuarios
También se está olvidando que hoy Google es la empresa de IA más rentable del mundo. Todos sus productos usan aprendizaje automático e IA
Entonces, ¿quién está perdiendo realmente? El objetivo de Gemini no es hacer un chatbot como ChatGPT, aunque Bard exista, sino integrarse en 10 productos con mil millones de usuarios
Toda la página web y el contenido de Gemini se sintieron extraños. Era como si intentaran verse y sentirse como material de marketing de Apple, pero cayendo en el valle inquietante
Con frases exageradas, diversidad racial/de género calibrada con precisión quirúrgica, animaciones innecesarias y hasta una presentación estilo vendedor por parte del CEO, parecía un jugador pequeño tratando de verse como uno grande en este espacio
Los keynotes de Apple parecen robots que apenas salieron del valle inquietante intentando hacerse pasar por humanos. Si dentro de 5 años los keynotes los genera una IA, quizá se verán así, así que Apple también va por delante en las tendencias de keynotes
Parece que Google quiere mostrar que está jugando en la misma liga
La razón por la que se usa diversidad en marketing es que el mercado que se busca también es diverso. Solo que no tengo claro qué significa exactamente eso de que sea “quirúrgicamente precisa”
Fue una gran señal de alerta que Sundar le metiera al modelo un prompt para que dijera muchos hechos cuya veracidad podía dividirse entre verdadero o falso
Si miras las métricas de benchmark que publicaron, en su mayoría eran mejoras marginales; o sea, eso significa que el problema de las alucinaciones no estaba resuelto. Pero el demo hacía parecer que sí. Al final, da la impresión de que eligieron sobre todo ejemplos donde el modelo acertó por casualidad o dijo información consistente
Exageraron las capacidades, pero sí parece que hará falta un modelo multimodal para converger hacia conceptos consistentes sobre fenómenos que realmente podrían observarse a través de varios formatos. Es un buen avance, pero ahora tienen que mostrar de forma convincente que cierta arquitectura realmente modela causalidad
Era algo como: “¿Crees que una bolsa de aire caliente creó baja presión y por eso el avión entró en pérdida?”. La pregunta en sí sonaba tan forzada que hasta parecía difícil decirla con naturalidad. De verdad daba mucha pena ajena
[1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
Es fácil entenderlo si lo usas directamente. Por su naturaleza autorregresiva, un LLM no puede construir internamente un modelo consistente antes de responder. Existen enfoques como la cadena de pensamiento, pero son solo parches temporales que tratan el problema de forma superficial
Si de verdad se pueden resolver, sería algo de una importancia científica muy básica y fundamental, y podría ser otro pequeño gran avance en IA
Solo escupen la secuencia de salida que les parece más plausible después de la secuencia de entrada. Cómo se define “lo más plausible” es objeto de mucha investigación, pero optimizar para precisión factual es algo completamente distinto
En algunos casos, como problemas de programación, pueden parecer inteligentes, porque para ciertos prompts el consenso aproximado del texto en internet está bastante cerca de los hechos y menos contaminado por contenido basura hecho por no expertos. También generan bien ese “contenido” genérico y acolchonado, aunque no sé qué valor tenga
Al final, la calidad de la información que regresa no supera la de una búsqueda cuidadosa en Google; simplemente entrega respuestas más rápidas, más concisas y mejor presentadas
Me engañó. En el anuncio de lanzamiento del modelo decía que podía recibir entradas multimodales de video y audio
Sabía que había mucha edición y muchos cortes, pero aun así creí que estaba viendo ejemplos reales de entrada de video y audio. Pasar de texto e imágenes estáticas a tener “ojos y oídos” era un salto enorme, y me dejó completamente impresionado. Incluso estaba la parte donde dibujaban un instrumento y se generaba música, así que pensé que estaba viendo un modelo que creaba música a partir de prompts en lenguaje, como los modelos especializados
Pero todo era falso. Era una dramatización armada con ejemplos seleccionados de prompt engineering para maximizar la emoción de los accionistas. El ejemplo musical no generó la música que escuchamos en el video; solo produjo una descripción de la canción
Un video exagerado de “esto podría llegar a ser posible” es completamente distinto de manipular benchmarks y falsear demos mientras se afirma que el nuevo modelo multimodal es el mejor
Google parece haber entrado en una fase malvada. OpenAI y Microsoft probablemente deben estar bastante complacidos
Un demo orientado al futuro que muestra el futuro del producto dejando claro que todavía no han llegado ahí, pero que van en esa dirección, o un demo con guion y edición para hacer que las capacidades actuales se vean lo mejor posible, son prácticas estándar y aceptables
Pero lo que hizo Google simplemente estuvo mal. Merece la reacción negativa que está recibiendo
Hasta parece que los inversionistas quieren ser engañados. No hay espacio para hacer debida diligencia, y aun escuchando mentiras reaccionan emocionados, gritando como fans de Taylor Swift
Estas grandes empresas se salen con la suya tanto como pueden y durante todo el tiempo que pueden. Suena como si lo único que nos tocara fuera esperar a que algún día nos concedan una “fase no malvada”, cuando en realidad lo que hace falta es restaurar la regulación antimonopolio que fue desmantelada sistemáticamente durante los últimos 30 años
Como la cantidad de datos en video es enorme, imaginé que extraería algo así como un cuadro por segundo para procesarlo como imágenes, pero que la entrada inicial sería el video completo
Resultó que ni siquiera era eso
Hacer este tipo de videos exagerados para satisfacer a los accionistas hace que se pierda la confianza en la división de investigación. No creo que hicieran algo así cuando presentaron Bert
He usado entrada Swype desde la época de T9
Si le mostrara a alguien acostumbrado al teclado QWERTY una demostración de entrada Swype exactamente como la uso en el día a día, nadie la adoptaría
Probablemente entre 10% y 20% de las veces adivina mal una palabra o hay que corregirla. Pero como es fácil corregir, no se vuelve un problema y para nada me hace más lento. Personalmente es la mejor entre varios métodos de entrada de texto, pero toma tiempo aprender a usarla
Creo que todos los productos son así. Si muestras exactamente cómo funcionan en la práctica después de 100 horas de volverlos un hábito y ajustarlos para casos límite, nadie adoptaría nada
Como ambas cosas son malas, no sé bien cuál sea la solución
Edit: lo estoy escribiendo con Swype en el teléfono, así que voy a dejar los errores tal cual para que encajen con este contexto
Es como si en una demo del teclado Swype metieran control mental telepático para corregir errores
Por desgracia, la edición de texto en iOS también es completamente inútil. Te fuerza áreas de selección raras e inserta el texto corregido de maneras incómodas
Yo escribo con QWERTY, pero la entrada de texto de iOS es un desastre total y ha empeorado con el tiempo
En Swype ya sabes cómo debería verse la salida correcta. Si la salida no coincide con lo que quieres, te das cuenta de inmediato y la corriges
Cuando le haces una pregunta a un LLM, no necesariamente conoces la respuesta correcta. Si la salida suena lo bastante segura, la gente la acepta como verdad. Salvo en experimentos y pruebas, la gente no le pregunta a un LLM cosas cuya respuesta ya conoce
Esa también es la razón principal por la que el reconocimiento de escritura a mano no reemplazó al teclado. Una vez que la escritura se convierte en texto, suele ser más fácil corregir errores con puntero y teclado. Después de repetir eso unas cuantas veces, la mayoría termina pensando “mejor empiezo directamente con puntero y teclado para ahorrar tiempo”
Entonces la pregunta es qué tan fácil es detectar y corregir errores en la salida de la IA generativa. Por desgracia, si no es un caso donde ya conoces la respuesta, puede ser muy difícil identificar los errores
El teclado Swype requiere práctica para aprenderlo, pero las demos de ese tipo de entrada normalmente muestran un uso realista aunque quien la presente sea un “experto”
Estas demos hacen que la gente entienda mal lo que el producto realmente puede hacer, y al final alimentan una reacción cínica inevitable. Si el producto de verdad es excelente, la gente podrá reconocerlo con solo una demo realista de sus funciones
La página de Bloomberg enlazada en Twitter ya no está disponible.[1] La página alternativa es [2], y en la nueva página dice que parte era falsa. No pude encontrar la página anterior en archivos
[1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
[2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
Esto parece un gran ejemplo de por qué hay que desconfiar del video, audio, imágenes y marketing corporativo reales, y asumir que fueron generados hasta verificarlos
Si voz, correo, chat y pronto también video pueden generarse en tiempo real o casi en tiempo real, me pregunto cómo podremos estar seguros de que un empleado remoto no es en realidad una entidad generada total o parcialmente
Los secretos compartidos sirven al verificar, pero cuando el cuerpo está completamente a distancia, ¿cuál sería la solución?
Ahora mismo estoy de viaje; ¿cómo podría mi familia confirmar que la persona que envía una solicitud por Venmo alegando equipaje perdido soy yo?
La mentira ya habrá dado la vuelta al mundo antes de que la verdad llegue a la línea de salida, pero eso no significa que debamos dejarlo pasar
El video en sí y su descripción sí tenían una exención de responsabilidad en ese sentido. Aun así, coincido en que algunas personas pueden irse con una idea equivocada de cómo funciona Gemini
Ojalá la interacción en tiempo real pronto forme parte de la app. No parece haber tantas barreras técnicas
En otros lugares sí revelaron la mayoría de los detalles, pero el video en sí fue producido y editado de una manera muy propensa a inducir a error. Querían hacerte creer que respondía de forma compleja a simples prompts de voz y al feed de video, y en realidad no era así
Eso no es lo mismo que “a Gemini se le dieron imágenes fijas seleccionadas, no video”
Ese video engañó a mucha gente, incluyéndome. No fue una demo común súper optimizada y guionizada
Fue publicidad engañosa clarísima que mostraba funciones que no existían y, francamente, es algo vergonzoso de parte de Google
Considerando el contenido generado por IA y el contexto general de manipulación, creo que este video fue engañoso. Para mí, lo único realmente impresionante del video era la respuesta rápida y flexible que parecía procesar video en tiempo real, pero nada de eso era real. Casi roza la estafa
A mí también me engañó haciéndome pensar que Gemini veía y escuchaba a través de un feed de video/audio, en lugar de recibir imágenes fijas y prompts de texto
Puede que la diferencia entre imágenes fijas y un feed de video no parezca tan grande, pero en realidad el bot necesita entender mucho contexto cambiante para no ponerse a decir tonterías sin parar
Además, en una conversación con feed de video en tiempo real, para guardar silencio en el momento adecuado tiene que reconocer el estado de todavía no lo sé, y eso es notoriamente difícil en la IA generativa
Claro, se puede facilitar con algunos hacks y heurísticas, pero hacer que el bot parezca un interlocutor humano en una conversación es realmente difícil. Esa era la parte más impresionante de la “conversación” del video, pero por desgracia todo era falso :(