Reflexión sobre el valle inquietante de la IA generativa

• La IA generativa, a diferencia de otras tecnologías, tiene el poder de sorprender
  • A veces eso es algo bueno, pero a veces puede no serlo
  • En el centro de esta experiencia tecnológica están las preguntas que esperamos responder
    • "¿Es realmente lo que esperaba? ¿La salida es lo suficientemente buena? ¿O me está engañando?"
• En teoría, a medida que la IA generativa avance, este problema debería volverse menos importante, pero en la práctica, al volverse más 'humana', puede resultar inquietante e incómoda
  • Esto nos lleva a una situación que en robótica desde hace mucho tiempo se ha descrito como el "valle inquietante (uncanny valley)"
• Puede ser tentador pasarlo por alto diciendo que se corregirá con conjuntos de datos más grandes o un mejor entrenamiento, pero mientras hablemos de la confusión en nuestros modelos mentales sobre esta tecnología, este es un "problema que debemos reconocer y resolver"

Modelos mentales y antipatrones

• Los modelos mentales son un concepto importante en UX y diseño de producto, pero también deberían adoptarse de forma más activa en la comunidad de IA
  • En la vida diaria muchas veces no se hacen evidentes: asumir cosas sobre los sistemas de IA se ha vuelto un patrón cotidiano
• Con el aumento de la popularidad de los asistentes de programación con IA, se señalan como dos prácticas que hay que evitar la "excesiva confianza en el código generado por IA" y "reemplazar la programación en pareja con IA generativa"
  • Ambas provienen de "modelos mentales equivocados que no reconocen cómo funciona realmente esta tecnología" ni sus límites
  • Cuanto más convincentes y 'humanas' se vuelven estas herramientas, más difícil se vuelve reconocer cómo funciona realmente la tecnología y los límites de las 'soluciones' que ofrece
• Para quienes despliegan IA generativa en el mundo, el riesgo puede ser similar o incluso más pronunciado
  • En general, la intención es crear algo convincente y usable, pero si termina desorientando, engañando o incomodando al usuario, pierde su valor
  • No sorprende que estén surgiendo leyes, como la EU AI Act, que exigen etiquetar el contenido generado por IA a quienes crean deepfakes
• Existen problemas similares no solo en IA y robótica, sino también al construir apps móviles multiplataforma
  • Como las distintas plataformas se usan de manera diferente, es necesario cambiar el diseño de la experiencia completa
  • Del mismo modo, en la IA generativa hay distintas suposiciones y modelos mentales según el contexto y el caso de uso, y cambia el punto en el que el usuario cae en el valle inquietante
  • Estos matices modifican la experiencia o la percepción de la salida de un LLM
• Para investigadores farmacéuticos que necesitan enormes volúmenes de datos sintéticos, la precisión a nivel micro puede no ser tan importante, pero para un abogado que intenta entender documentos legales, la precisión es crucial
  • Caer en el valle inquietante puede ser una señal para dar un paso atrás y reevaluar las expectativas

"Los modelos mentales y conceptos existentes sobre la IA generativa no son un problema secundario que pueda ignorarse, sino un problema fundamental de diseño"
Ken Mugrage & Srinivasan Raguraman

Cambio de perspectiva

• El valle inquietante de la IA generativa puede ser un problema, pero también es una herramienta que nos recuerda las limitaciones de la tecnología
• Ha habido intentos interesantes en toda la industria para abordarlo
  • El profesor Ethan Mollick, de la Universidad de Pensilvania, sostiene que la IA debería entenderse no como buen software, sino como "personas bastante buenas"
    • Como la IA, al igual que los humanos, tiene fortalezas y debilidades peculiares, es difícil saber qué tareas se le pueden asignar
    • Como no hay manual, la única forma de descubrir en qué es buena la IA es trabajar con ella e ir aprendiendo
  • Es decir, las expectativas sobre lo que la IA generativa puede hacer y dónde resulta efectiva deben ser provisionales y flexibles
  • Reflexionar hasta cierto punto sobre nuestras suposiciones y expectativas puede ser una manera de superar el valle inquietante

Desarmando la caja negra

• No basta con exigir un cambio de mentalidad
  • Es un primer paso, pero también existen prácticas y herramientas que ayudan a pensar de otra manera sobre la IA generativa y a enfrentar los desafíos que plantean los modelos mentales
• Un ejemplo es la técnica de "obtener salidas estructuradas de los LLM" identificada en el Technology Radar más reciente
  • Puede lograrse indicando en el prompt que responda en un formato específico o mediante fine-tuning
  • Gracias a herramientas como Instructor, hoy es más fácil que antes
  • Tiene la ventaja de ofrecer una mayor alineación entre las expectativas y la salida del LLM
    • Sigue siendo posible que aparezca algo inesperado o que no encaje del todo, pero esta técnica ayuda a resolver ese problema en cierta medida
• Además de eso, hay otras técnicas
  • Retrieval-augmented generation suele ser una mejor forma de controlar la complicada tarea de manejar la 'ventana de contexto'
  • Es alentador ver marcos y herramientas con los que se puede evaluar y medir el éxito de estas técnicas
    • Ragas es una biblioteca útil que ofrece a los desarrolladores de IA métricas sobre aspectos como fidelidad y relevancia
    • DeepEval también aparece en el Radar
• La medición es importante, pero también lo es pensar en directrices y políticas relevantes para los LLM
  • Por eso se recomienda explorar LLM Guardrails
  • También hay que tomar medidas para entender mejor qué está ocurriendo realmente dentro de estos modelos
    • Puede que sea imposible desarmar por completo estas cajas negras, pero gracias a herramientas como Langfuse, los equipos y las organizaciones pueden obtener una perspectiva más clara sobre cómo funcionan
    • Esto puede ayudar mucho a redefinir nuestra relación con esta tecnología, cambiar los modelos mentales y eliminar la posibilidad de caer en el valle inquietante

No es un defecto, sino una oportunidad

• Estas herramientas, descritas como una "explosión cámbrica de herramientas de IA generativa", pueden ayudar a quienes están en el núcleo de la industria a replantearse la IA generativa y construir mejores productos
• Pero para el mundo en general, este trabajo será invisible
  • Por eso, además de seguir desarrollando la cadena de herramientas para controlar y entender mejor la IA generativa, es importante reconocer que los modelos mentales existentes y el propio concepto de IA generativa son un problema fundamental de diseño
  • No es un problema secundario que pueda ignorarse de aquí en adelante

"El valle inquietante de la IA generativa no es un problema que haya que arreglar, sino una oportunidad para reevaluar lo que realmente queremos y esperamos de esta tecnología"