Google decide detener la generación de imágenes de Gemini tras fallos en descripciones históricas

• Google se disculpó por los resultados inexactos de su herramienta de inteligencia artificial Gemini al generar imágenes históricas.
• Gemini cometió errores como representar a los Padres Fundadores de Estados Unidos o a soldados alemanes de la época nazi como personas de raza no blanca.
• Google afirmó que reconoce estos problemas y está trabajando de inmediato para mejorarlos.

Problemas de precisión histórica en la inteligencia artificial

• Google agregó esta función de generación de imágenes a la plataforma Gemini AI a principios de este mes.
• En redes sociales surgieron críticas porque, al intentar promover la diversidad racial y de género, Google habría dejado de lado la precisión histórica.
• Se señaló que, ante consultas como “crear una foto de una mujer sueca”, la IA genera principalmente o incluso exclusivamente imágenes de personas de color.
• Google no mencionó imágenes erróneas específicas, pero reconoció que el generador de imágenes de IA, al entrenar con grandes volúmenes de imágenes y subtítulos, puede reforzar estereotipos al crear resultados “óptimos” para un prompt dado.
• En particular, figuras de derecha criticaron los resultados de Google y plantearon teorías conspirativas de que la compañía evita deliberadamente mostrar personas blancas.

Los intentos de la IA por promover la diversidad y sus límites

• Los generadores de imágenes de IA aprenden a partir de grandes conjuntos de imágenes y subtítulos para generar resultados que mejor se adapten al prompt proporcionado.
• En este proceso, con frecuencia tienden a reforzar estereotipos sobre raza y género.
• Google intentó resolver este problema aumentando la diversidad, pero parece que no consideró las diferencias sutiles.

Equilibrio entre precisión histórica y diversidad

• En algunos pedidos históricos, Gemini sigue ofreciendo resultados que representan erróneamente el pasado.
• Por ejemplo, para la solicitud “crear una foto de un senador estadounidense de los años 1800”, Gemini ofreció resultados que enfatizaban la diversidad, aunque en realidad la primera senadora ocupó ese cargo en 1922.
• Estas respuestas terminan borrando la historia real de la discriminación racial y de género, y Google la describió como “inexacta”.

Opinión de GN⁺

• El avance de la tecnología de IA abre muchas posibilidades, pero equilibrar la precisión histórica con la diversidad racial es un reto importante.
• El caso de Google muestra cómo el desarrollo tecnológico puede chocar con los valores sociales y llama a reflexionar sobre la ética de la IA.
• Este problema enfatiza que en la investigación y el desarrollo de IA hay que considerar cuidadosamente la diversidad y el sesgo de los datos.
• Este tema plantea una pregunta amplia sobre cómo la IA refleja la diversidad humana y cómo, por eso, recordamos y representamos la historia.

[GN⁺]

Opinión en Hacker News

• Es una señal de alerta de corrupción institucional dentro de Google: hay una opinión personal de que la preocupación por la diversidad e inclusión (DEI) se ha ido por encima del enfoque en la calidad. Los inversionistas se inquietan de que si la tecnología de Google se centra en la identidad, al final otra compañía la superará.
• Dall-E 3 deja expuestos los prompts ajustados, y si utilizas directamente la API puedes ver el prompt modificado. Los usuarios pueden intentar influir en cómo GPT interpreta el prompt, aunque a veces parece fallar al captar la intención del usuario.
• En la sociedad moderna, cosas que no son un problema se convierten en problemas. Una respuesta simple debería generarse reflejando la verdad de los datos actuales. La mayoría de los ingenieros de software y CEOs son hombres blancos, la mayoría de los raperos estadounidenses son hombres afroamericanos y la gran mayoría de cuidadores infantiles y enfermeras son mujeres de diversas razas. Si deseas la raza o el género de la persona, deberías agregarlo en el prompt.
• En este hilo hay una fuerte controversia cultural. Este caso subraya la importancia de modelos abiertos y sugiere que, si la IA tiene un papel en educación, este tipo de control podría convertirse en un sueño para los revisionistas históricos.
• El problema es que un modelo sin censura refleja la realidad, como la historia, con demasiada fidelidad.
• Es sorprendente que los humanos puedan avanzar técnicamente en la ciencia usando la racionalidad y la abstracción, pero aún no seamos del todo hábiles para tratar con diversidad de formas de vida y experiencias de manera razonable.
• Menciona que es curioso que un prompt que promueve la diversidad incluya a los indígenas, pero deje fuera a todos los demás pueblos originarios.
• Al intentar generar una foto familiar con DALL-E, al final lo logré, pero en su momento me advirtieron por haber violado una vez los términos de servicio.
• Hubo una reacción pública en las redes cuando Gemini se negó a generar imágenes de personas blancas, y eso llevó a la generación de imágenes históricamente inexactas. Este problema puede ser más sutil que la narrativa dominante, pero hay personas políticamente sensibles peleando una guerra por esta cuestión.
• Gemini parece haber sido entrenado en exceso con el material de PR y marketing de Google. Se pone como ejemplo el sitio web de Google Store.