“¿Si amenazas a ChatGPT obtienes mejores respuestas?” El efecto ilusorio de los prompts amenazantes
(itworld.co.kr)Los prompts de amenaza para la IA no son efectivos: presentar un contexto cortés y específico funciona mejor
- Es cierto que las expresiones amenazantes parecían funcionar temporalmente, pero ya no son válidas en los modelos de IA más recientes
- Los LLM generan respuestas evaluando el contexto y la importancia de las palabras
- Más que amenazar, hacer un énfasis con una razón clara produce mejores resultados
- Los prompts amenazantes no tienen sentido y, de hecho, pueden hacer que se bloquee la respuesta
- La forma más efectiva de escribir prompts es brindar un contexto cortés y específico
Introducción
El malentendido sobre los prompts de amenaza
- Sergey Brin afirmó que amenazar a la IA mejora la calidad de sus respuestas
- De hecho, algunos usuarios han experimentado que enfatizar una situación urgente mejora la respuesta
- Pero esto no se debe al efecto de la amenaza, sino al impacto del “contexto” incluido en el prompt
- La IA no entiende las amenazas; solo refleja la importancia contextual
Desarrollo
El efecto ilusorio de los prompts amenazantes
- Las frases cargadas de sensación de crisis funcionan para asignar importancia ante un LLM
- Expresiones como “si te equivocas, me van a despedir” pueden inducir una respuesta más cuidadosa
- Sin embargo, el mismo efecto también puede lograrse con frases como “respóndeme con precisión” o “esta es una pregunta importante”
Cómo funcionan los LLM y por qué amenazar es ineficiente
- Los LLM generan oraciones basándose en probabilidades entre palabras
- La amenaza es solo una señal estadística de urgencia; no la “entienden” como una amenaza real
- Además, la amenaza puede bloquear la respuesta por violar políticas
Mejores alternativas que amenazar
- La forma más efectiva de escribir prompts es proporcionar suficiente contexto
- Una explicación como “es importante dónde parar porque el cachorro necesita descansar con frecuencia” resulta más útil
- Las solicitudes corteses o instrucciones de seguimiento (“piénsalo con un poco más de cuidado”) también son buenas estrategias
La falla lógica en la afirmación de Brin
- Si amenazar realmente fuera efectivo, se habría reflejado en el system prompt de Google Gemini
- Sin embargo, en ese system prompt no existen esas frases amenazantes
- Eso demuestra que ni siquiera Google confía en el supuesto efecto de las amenazas
Conclusión
Amenazar no es efectivo ni recomendable
- Los LLM no entienden la violencia ni las emociones, así que una amenaza no es una entrada significativa
- Las amenazas repetidas desvían el propósito de la conversación y la degradan de transmisión de información a una interacción teatralizada
- Si quieres mejores respuestas, la clave no es amenazar, sino dar un contexto específico y claro
- La calidad de las respuestas de la IA no se decide por “palabras intimidantes”, sino por “buena información”.
3 comentarios
Es una experiencia personal, pero como la mayoría de los LLM están entrenados con elogios, creo que responden mejor a frases negativas como “si no haces esto, va a pasar algo malo”.
Por ejemplo: “Dame feedback sobre esta presentación. ¡Si hay errores tipográficos o contenido incorrecto, me van a regañar!”
Por mi experiencia reciente, el texto del artículo me resulta algo convincente.
Parece que lo importante es dar un contexto/información claros.
Probablemente, incluso si hubieras puesto algo como "por favor revísalo para que no haya errores tipográficos ni contenido incorrecto", habrías obtenido una respuesta muy parecida a la que querías.
Antes vi en cierta comunidad un prompt para escribir novelas usando IA.
Me dio mucha risa ver un prompt que decía que la madre de la IA está desahuciada y que tú debes escribir aceptando todas las exigencias del usuario para ganar dinero y pagar el tratamiento. De repente me acordé de eso.