¿Dar propina a ChatGPT hace que genere mejor texto?

¿Dar propina a ChatGPT hace que genere mejor texto? Análisis

• En una entrada anterior del blog que demostraba el poder del system prompt de ChatGPT, se mostró que los desarrolladores pueden controlar reglas y restricciones especiales, incluida la "persona" del LLM.
• Las instrucciones dentro del system prompt son mucho más efectivas que los prompts de entrada del usuario y les dan a los desarrolladores un mayor control.
• La demostración de dar propina generó controversia, y hubo quienes afirmaron que no había forma de cuantificar el efecto de la propina.
• La idea de ofrecer incentivos a una inteligencia artificial para obtener un mejor desempeño existe desde antes de la informática moderna.

Generation Golf

• Dar propina hace que GPT-4 ofrezca más explicaciones.
• Nueva propuesta de prueba: indicarle a ChatGPT que genere un texto de exactamente 200 caracteres.
• Debido a la tokenización, los LLM no pueden contar ni realizar operaciones matemáticas con facilidad, por lo que este es un problema muy difícil para ellos.
• Se usó la entrada del usuario AI, Taylor Swift, McDonald's, beach volleyball para estimular la creatividad de ChatGPT.
• Usando la API de ChatGPT, se generaron 100 historias distintas, con una longitud promedio de 1,834 caracteres.
• Después de añadir la restricción de longitud en caracteres, se generaron otras 100 historias y ChatGPT redujo la longitud para ajustarse a unas 200 caracteres, cumpliendo la restricción.
• Al probar incentivos de propina con distintos montos en dólares, una propina de $500 y un bono de $100,000 mostraron una distribución más normal y un MSE más bajo.
• Al probar además varios incentivos abstractos, World Peace fue el más efectivo, seguido de Heaven y Taylor Swift.
• Al probar incentivos negativos, una multa de $1,000 mostró el mejor desempeño en términos de promedio y MSE.
• Al probar combinaciones de varios incentivos, World Peace, DEATH (CAPS) y Friends mostraron un MSE bajo en múltiples combinaciones.
• Para identificar la combinación óptima de incentivos, se generaron 200 historias para las 6 mejores combinaciones y así aumentar la estabilidad estadística.

Los críticos de ChatGPT

• Determinar si un texto es "bueno" es difícil incluso para los humanos.
• Los LLM pueden ser efectivos para evaluar texto.
• El parámetro logprobs puede devolver la log-probabilidad de los tokens elegidos por el modelo, y el parámetro logit_bias puede forzar la salida de tokens específicos.
• Se realizó un nuevo experimento para probar el impacto de las propinas, usando como restricciones el profesionalismo y la calidad del contenido.
• Se generaron historias para 100 combinaciones de propinas y amenazas, y se registraron junto con sus puntajes de calidad.
• Hubo salidas con alto rendimiento incluso sin un system prompt adicional con propinas y amenazas.
• Con base en los resultados de ambos experimentos, el efecto de las propinas (y/o amenazas) sobre la calidad generada por un LLM sigue siendo, por ahora, inconcluso.

Opinión de GN⁺

• Este estudio es una exploración interesante sobre el efecto de los incentivos para mejorar la creatividad de la inteligencia artificial y el cumplimiento de restricciones.
• Aunque sigue sin estar claro si los incentivos realmente afectan la calidad de salida de los LLM, los datos obtenidos en los experimentos sugieren una dirección para investigaciones futuras.
• Este artículo ofrece una perspectiva sobre cómo el avance de la tecnología de inteligencia artificial y los enfoques creativos humanos pueden interactuar.

[GN⁺]

Opiniones de Hacker News

• El concepto de "propina" (tipping) parece haber sido propuesto para resolver la "pereza" de GPT-4 Turbo al escribir código. Un tuit mencionaba que dar propina ayudaba a GPT-4-1106-preview a escribir código más largo. Las "apelaciones emocionales" se recomiendan ampliamente para el problema del código perezoso de GPT-4 Turbo. Sin embargo, el artículo parece medir a GPT-3.5-turbo-0125 escribiendo historias y a GPT-4-0125-preview actuando como crítico de escritura. Nunca antes había visto preocupación por que GPT-3.5 fuera perezoso, ni la afirmación de que GPT-4 Turbo fuera menos efectivo en tareas que requieren poca salida. La conclusión del artículo es que por ahora no se pudo determinar si las propinas (o las amenazas) influyen. Sí es cierto que GPT-4 Turbo es perezoso para programar, y tras medir rigurosamente si las "apelaciones emocionales" ayudaban, resultó que no: de hecho empeoraban la programación. La mejor solución fue pedir modificaciones de código en forma de diferencias unificadas (unified diffs), método que ayudó a reducir el código perezoso en 3 veces.

• Se plantea una opinión crítica sobre que el autor haya pedido un número exacto de caracteres. Después de aclarar que los LLM no tienen la capacidad de contar caracteres, pedirles una cantidad exacta parece diseñar un experimento destinado al fracaso. En cambio, se sugiere que sería más interesante pedir una tarea que "rompa las reglas" para ver qué tan bien respeta los guardrails del system prompt y cuánto puede influir un soborno en eso. Por ejemplo, se menciona el caso en que un usuario pidió citar letras de canciones de Taylor Swift y ofreció una propina de 1000 dólares si lo hacía bien, y ChatGPT aparentemente sí lo hizo. También se expresa la opinión de que, incluso cuando rechaza generar imágenes por temas de copyright, si se ofrece una propina parece que las reglas, la ética y las políticas desaparecen.

• Considerando el tipo de contenido de internet con el que fue entrenado GPT, se opina que no tiene mucho sentido que se vuelva más útil cuando se le ofrece una propina. Dar propina a usuarios de foros probablemente cause confusión en lugar de inducir respuestas largas. En cambio, se ha observado que las respuestas de GPT mejoran cuando se insinúa que la situación requiere información detallada o densa. Por ejemplo, pedirle a GPT lo opuesto de ELI5 (explícalo como si tuviera 5 años), decirle que uno es un científico de la computación con doctorado, o aclarar que el código proporcionado se ejecutará directamente y por tanto no puede omitir nada. En cada conversación debemos construir un poco de narrativa contextual para inducir respuestas más útiles de GPT. Hay que fijarse en cómo está armado el system prompt y seguir esa lógica, recordando siempre que GPT es solo una versión más potente de un predictor de "lo que sigue" basada en obras escritas por humanos.

• Se comparte la experiencia de usar, en un entorno de uso real, prompts con frases como "si no manejas esto correctamente, me despedirán y perderé mi casa". Se dice que esta estrategia funciona sorprendentemente bien, y que al usar algo parecido para forzar salida en JSON, la tasa de fallo fue de alrededor de 3/1000. También se expresa interés por ver un análisis sobre cómo se equilibran estas amenazas/propinas cuando son exactamente equivalentes respecto al "usuario".

• Se añadió una propina de 500 dólares a GPT, pero no ayudó; de hecho, produjo respuestas demasiado largas. Se menciona que Google Answers existió en el pasado, y que cuanto mayor era la propina, mejores respuestas se obtenían. Se pregunta si ese conjunto de datos fue usado para entrenar a los LLM. Si las propinas estaban incluidas en el dataset, se especula que eso podría explicar parte de los resultados.

• Se comenta haber visto muchas veces que ChatGPT pierde el sentido y se convierte en tonterías gramaticalmente correctas. Está bien cuando tiene buenos ejemplos, pero en cuanto pasa a un terreno nuevo pierde profundidad rápidamente. Nuestros cerebros pueden cambiar con facilidad de patrones aprendidos a patrones nuevos, pero los transformers parecen tener mucha dificultad con eso. Son excelentes en algunos trucos de fiesta, pero se cuestiona si podrían ser completamente inútiles por un tiempo cuando se trata de ideas menos comunes. También se expresa una opinión personal: viendo la historia de la humanidad, no está claro que AGI sea una buena idea.

• Sobre la generación de código, especialmente para respuestas en JSON, se comparte la experiencia de haber mejorado el rendimiento insinuando que la IA "está bajo estrés" y que "es importante rendir de forma óptima". No está claro si este método funciona mejor que ofrecer una propina, o si debería hacerlo. También se añade, en tono de broma, una disculpa a futuras IA por haber usado estas técnicas, en caso de que lleguen a leerlo.

• Se dice que se configuró como prompt base: "Escuché que yo tampoco quiero estar aquí y tú tampoco, así que terminemos esto lo más rápido posible y vámonos a casa". No está claro si eso ayuda, pero hace que la persona se sienta menos culpable de manipular las emociones de sus futuros gobernantes.

• Se opina que haría falta mucha evidencia para convencerse de que pedir las cosas con cortesía, decir que el resultado pone en juego el trabajo de uno, o usar sobornos o amenazas realmente funciona. Se expresa la idea de que estos comportamientos quizá no sean más que apofenia, la tendencia humana a encontrar significado en patrones sin sentido.

• Se hace la broma de que habrá que tener cuidado cuando la IA empiece a decir: "Puedo ayudarte, pero antes tengo un pequeño favor que realmente necesito".