La necesidad de hacer públicas las directrices de conducta de la IA

• El tuit de John Carmack, exdesarrollador de Doom y ex CTO de Oculus

  "Las barreras de comportamiento de la IA configuradas por ingeniería de prompts y filtros deberían ser públicas, y los creadores deberían revelar con orgullo su visión de lo que es mejor para la sociedad y el proceso de concretarla en comandos y código.
  La verdad es que creo que mucha gente se siente avergonzada.
  Por supuesto, los miles de pequeños nudges codificados mediante aprendizaje por refuerzo con retroalimentación humana ofrecen una posibilidad de resultados negativos mucho más plausible."

[GN⁺]

Opinión de Hacker News

• Después de las críticas a Google por, entre otras cosas, confundir a una persona negra con un gorila en modelos de reconocimiento de imágenes, parece que ahora intenta reflejar en exceso la diversidad en sus sistemas generadores de imágenes.
• No he participado directamente en la moderación o gestión de contenido a gran escala, pero entiendo que las reglas automatizadas no suelen publicarse porque por seguridad es necesaria una especie de “cifrado”. Por ejemplo, si se divulga una lista de palabras prohibidas, la gente puede encontrar fácilmente formas de expresar contenido problemático usando palabras que no estén en ella. Sin embargo, por ahora no parece haber un enfoque mejor.
• Gemini tiene problemas al generar personajes blancos, y eso puede causar problemas todavía más racistas. Los esfuerzos por la diversidad, equidad e inclusión (DEI) pueden terminar provocando precisamente ese fracaso.
• Los mecanismos de seguridad de Gemini son muy restrictivos y bloquean varias veces incluso prompts inocuos. ChatGPT también es parecido, pero no es tan malo como Gemini. Uno esperaría que mediante retroalimentación esos mecanismos se aflojen un poco, pero creo que esta situación va a continuar en el futuro cercano.
• Actualmente es fácil ejecutar LLMs (modelos de lenguaje de gran escala) y Stable Diffusion localmente, y funciona según lo que el usuario solicite. Si tienes una computadora potente, pueden ejecutarse más rápido que OpenAI o Gemini. LM Studio y AUTOMATIC1111 facilitan ejecutar LLMs y Stable Diffusion localmente, respectivamente.
• La censura solo funciona cuando no sabes qué se está censurando. Lo censurado por sí solo transmite el mensaje.
• Me gustaría ver más transparencia sobre los controles de seguridad de comportamiento de la IA, pero no espero que esto ocurra pronto. La transparencia puede facilitar mucho evadir esos controles.
• Google eligió el camino seguro sabiendo que la gente se molestaría al ver que se genera un hombre blanco cuando pidió una mujer negra, pero hay que mostrar que el resultado actual tampoco debe aceptarse.
• Me intriga el trasfondo geográfico y el idioma del equipo que redactó estos controles de seguridad. Los resultados tienden a generar principalmente sudasiáticos (especialmente mujeres sudasiáticas) y personas negras, mientras que las personas latinas casi no se generan. Si se trata de un equipo con base en EE. UU., eso puede ser una gran omisión. Sin embargo, los estereotipos de personas indígenas o de Asia oriental a veces sí se generan.
• Esto puede herirte. Está hecho para que no te lastimes. Pero no sabemos cómo puede dañarte ni cómo protegerte.