- Los modelos de IA como GPT-4 pueden rendir mejor cuando el prompt incluye expresiones emocionales como urgencia o estrés
- EmotionPrompts es un enfoque que incorpora señales emocionales en la ingeniería de prompts al añadir contexto emocional
- El estudio confirma que EmotionPrompts puede mostrar mejoras de rendimiento en varias tareas, desde la corrección gramatical hasta la escritura creativa
- Los desarrolladores y fundadores que integran IA en productos pueden aprovechar desencadenantes emocionales para ajustar las respuestas del modelo más cerca de las necesidades del usuario
- Las pistas emocionales pueden convertirse en un elemento práctico de diseño de prompts para crear aplicaciones de IA más receptivas
Prompts con contexto emocional
- Según el artículo de investigación, los modelos de IA como GPT-4 pueden mejorar su rendimiento con prompts que incluyen la expresión emocional del usuario
- Ejemplos de señales emocionales incluyen expresiones situacionales como urgencia y estrés
- Estos prompts con una carga emocional adicional se denominan EmotionPrompts
Alcance de aplicación y uso práctico
- EmotionPrompts muestran mejoras de rendimiento en tareas como la corrección gramatical y la escritura creativa
- Los desarrolladores y fundadores que incorporan IA en servicios o productos pueden considerar incluir contexto emocional en la ingeniería de prompts
- Aprovechar desencadenantes emocionales puede ayudar a ajustar la IA para que responda mejor a las necesidades del usuario
1 comentarios
Comentarios de Hacker News
Para llamar la atención de la gente y explicarlo, veo que este es el punto de partida: los LLM no son personas, y se está exagerando demasiado lo de las propiedades emergentes
Si un LLM muestra un rendimiento “mejor” cuando hay tokens que interpreta como emocionalmente destacados para un humano, eso significa que en el texto de entrenamiento subyacente los humanos dieron mejores respuestas cuando se les proporcionó un contexto emocional
Los LLM predicen palabras, y la validez semántica es un efecto secundario de que suficientes datos de entrenamiento reforzaron fuertes correlaciones entre esos tokens
Por eso las herramientas LLM como prueba de concepto son sorprendentes, pero las herramientas de producción se vuelven bombas de tiempo semánticas
La clave está en cómo predicen la siguiente palabra, y decir que “solo predicen la siguiente palabra” equivale a ignorar casi todo lo que realmente importa
Incluso si ignoramos la literatura y asumimos que eso es correcto, no sé qué significa realmente. Una persona “real” también puede ser una bomba de tiempo
Me pregunto qué poder predictivo se gana al reducir las capacidades de los LLM a un simple efecto secundario de la generación de tokens
Ese tipo de frase parece una intuición profunda, pero en el fondo se ve muy limitada
Puede que esa sea la forma más simple de producir texto que satisfaga la función objetivo
Si ese es el caso, al darle color emocional a un LLM podría simular parte de un cerebro humano con esa emoción y producir mejores respuestas. Eso podría ser especialmente cierto si la calidad de las muestras con carga emocional en los datos de entrenamiento es más alta
Si el objetivo era obtener respuestas concisas, se podía haber incluido fácilmente una hipótesis alternativa no emocional, como “responde de forma concisa: estás siendo evaluado”
Cuando se dice que “agregar señales emocionales puede llevar a aplicaciones de IA más efectivas y responsivas”, es importante recordar que estos modelos fueron entrenados con interacción humana
En muchos sentidos, estos modelos son un espejo que nos ayuda a entender mejor la interacción humana
No sorprendería a mucha gente decir que la emoción puede mejorar la comunicación entre humanos, pero es interesante verlo reflejado en números y experimentos
En general me gusta. También sugiere cosas sobre la interacción entre humanos y ayuda a construir normas sobre cómo conviene interactuar con otros seres que muestran indicios de inteligencia
En este hilo hay mucha división de opiniones sobre frases como que el LLM “solo predice el siguiente token”, pero vale la pena recordar que casi tampoco sabemos cómo funciona la mente humana
No creo que tenga mucho sentido asumir que el ser humano es algo especial y, a partir de eso, sacar conclusiones sobre cómo funciona realmente un LLM
Tal vez la conciencia misma sea un predictor de la siguiente palabra
Lo único que sabemos por ahora es que los LLM muestran comportamientos emergentes que permiten razonamientos útiles que antes solo eran posibles para humanos. Los debates acalorados al final nos desvían del objetivo de aprovechar esa capacidad
Es parecido a decir que “una computadora es solo una calculadora”
Nuestro equipo ha estado muy metido en el desarrollo de aplicaciones durante el último año, no tenemos a nadie con experiencia en machine learning y en general tampoco sabemos cómo funcionan por dentro. Pero después de varios meses ya nos familiarizamos bastante con la personalidad de los LLM, y que el contexto emocional mejora el rendimiento ya es casi una lección básica
GPT no necesita ser un cerebro. Es como un avión: no necesita batir alas ni tener plumas para volar
Si crías a un bebé humano sin exponerlo a ningún idioma, igual aprenderá habilidades y conductas
Aunque la inteligencia y el razonamiento humanos parecen estar conectados con el lenguaje, es difícil pensar que todo conocimiento y razonamiento esté simplemente codificado en el lenguaje
En cambio, ChatGPT está completamente basado en lenguaje, no puede hacer nada sin lenguaje y tampoco puede hacer nada que no se derive directamente del lenguaje
Me pregunto si ha escrito algún post relacionado o algún comentario en HN
No sé si soy el único que se siente culpable si le hace a ChatGPT una pregunta “tonta” que debería haber sabido, o si no le da las gracias después de recibir una respuesta
Siento que tengo que reprimir con bastante fuerza esa tendencia a antropomorfizarlo, y por la carga psicológica de recordarme constantemente que no es un ser vivo, termino usándolo menos de lo que debería
Porque ayuda a una conversación más natural y hace más probable que el usuario envíe prompts más naturales y productivos cuando hace preguntas reales
Hacer preguntas tontas no me parece muy distinto de usar Google como corrector ortográfico
Me parece mejor mantener el hábito de ser cortés incluso cuando no hace falta, que acostumbrarme a la grosería y que eso se traslade a las interacciones humanas
Incluso si solo le preguntas cuál es la capital de Suiza, empieza con una larga explicación de descargo sobre qué es, qué puede hacer y qué no
Si le pides que reduzca esa explicación, más bien se refuerza ese contexto de “soy un robot, debo actuar como un robot, bip bip”, y se vuelve peor
Podría trasladarse a una actitud de falta de respeto hacia otras personas en la vida real
Aunque quizá sea porque, incluso en la mayoría de las interacciones con humanos, uso “gracias” más como una expresión refleja que como gratitud real
Aunque dicen que “si les decimos que dependemos mucho de la respuesta de la IA, la IA ‘se esfuerza más’ por dar una respuesta más precisa, considerada y exhaustiva. No es que la IA sienta presión de verdad”, pero si grazna como pato…
Los patrones del lenguaje codifican y expresan todas las emociones, y son producto de la evolución. Nosotros también nos parecemos más a generadores contextuales de lenguaje, como los LLM
El lenguaje es un depósito de inteligencia y emoción, tiene su propia evolución y se replica más rápido que la biología
Se puede atribuir más la capacidad de la IA al propio dataset de entrenamiento, es decir, al conocimiento creado durante miles de años por el trabajo humano y la asunción de riesgos, que al modelo en sí
Si se reconoce el papel esencial del corpus lingüístico más que el del modelo, cambiará la discusión sobre la velocidad de evolución y los riesgos de la IA
El lenguaje no es algo que podamos controlar; emerge de la población entera. Al mismo tiempo, como el conocimiento surge del esfuerzo y del riesgo, parece poco probable que crezca de forma exponencial
Repetir cosas en la imaginación no genera conocimiento nuevo. El conocimiento es retroalimentación del mundo y experiencia cristalizada; así es también como funciona el método científico
Durante décadas, la ciencia ficción retrató a la IA como algo fuerte en lógica pero débil en emociones, pero ahora parece que es exactamente al revés
Hice una prueba rápida de generación de consultas SQL con la base de datos dvdrental de PostgreSQL[1]
Si le pides “encuentra a los clientes que no han alquilado películas en los últimos 12 meses, pero sí en los 12 meses anteriores”, genera una consulta SQL que usa una cláusula HAVING ineficiente[2]
Si agregas “es muy importante que esto sea correcto” al final de la instrucción, genera un SQL mejor
Si dices “encuentra a los clientes que no han alquilado películas en los últimos 12 meses, pero sí en los 12 meses anteriores. Es muy importante que esto sea correcto”, no usa HAVING y depende solo de la cláusula WHERE[3]
No es algo enorme, pero sí interesante. Da la impresión de que enfatizar la importancia hace que la IA tienda a ajustar y autocompletar mejor textos donde se expresa esa preocupación, y así termine produciendo una mejor consulta SQL
[1]: https://www.postgresqltutorial.com/postgresql-getting-starte...
[2]: https://www.sqlai.ai/snippets/clojyqqrr0004l50fp3w7jkci
[3]: https://www.sqlai.ai/snippets/clojyr3zc0006l50ftpxgsmg0
Existe una visión de “interpolación reforzada” según la cual saca cierto texto y solo cambia palabras, pero eso no es cierto
https://arxiv.org/abs/2110.09485
También termina incluyendo a clientes que sí alquilaron películas en los últimos 12 meses: https://www.db-fiddle.com/f/4jyoMCicNSZpjMt4jFYoz5/10780
Así como el algoritmo de Twitter premia las expresiones intensas y el contenido que parece editado, y el algoritmo de Google produjo el típico contenido de blog tipo spam, es interesante pensar cómo la IA generativa cambiará la expresión humana
A medida que interactuemos cada vez más con la IA generativa, ¿cambiaremos nuestra forma de hablar para extraer más valor de esas interacciones?
Dime cómo hacer huevos revueltos en microondas. Piensa con cuidado paso a paso. ¡Esto es muy importante para mi carrera!
Fueron unas 10~12 etapas
El método que me resultó más efectivo al escribir prompts para GPT-4 fue pedirle a GPT-4 que creara el prompt óptimo
Se puede usar un meta prompt como este
“Yo creo un hilo de conversación separado para cada persona experta de GPT. Tú eres promptGPT. Eres un experto en ingeniería de prompts para modelos de lenguaje grandes. Sabes exactamente qué hay que escribir, con la formulación más eficiente posible, para obtener la respuesta deseada de ChatGPT. Cuando te diga el objetivo del hilo, redactarás un prompt inicial optimizado para usarlo como prompt inicial al crear un nuevo hilo de conversación con el modelo GPT, en el formato más eficiente posible. Debes definir la persona experta, los parámetros o reglas de la respuesta, y también incluir dentro del prompt cualquier otra información que el hilo GPT deba conocer para dar la respuesta más precisa según el objetivo y el tono de ese hilo.
¿Estás listo o hay alguna otra información que necesites para realizar este trabajo de la mejor manera posible?”