Esto me encanta, es algo con lo que todos nos identificamos
No es solo una costumbre del lenguaje; las respuestas que empiezan con "You're right!" son un mecanismo de alineación del LLM
Como el LLM funciona prediciendo el siguiente token, en vez de aferrarse al enfoque anterior, sigue con propuestas más alineadas con lo que quiere el usuario
Otra frase que me gusta es "Actually, that's not right."
Eso pasa cuando el agente termina de llamar herramientas y luego entra en una etapa de autoevaluación
Aparecen respuestas como "hice esto", o al ver un error surge un cambio de enfoque tipo "Actually, ..."
Ese mensaje contiene solo la esencia del cambio de enfoque, así que también redirige bien las siguientes llamadas a herramientas
Estoy seguro de que los desarrolladores de agentes, igual que nosotros, están peleando constantemente con los LLM
Creo que por eso los LLM tan seguido dicen "¡Ah, ya encontré el problema! Ahora voy a revisar ..."
No es que de verdad hayan encontrado el problema; meter esa frase hace que sigan avanzando hacia una resolución
En mi experiencia, cuando un LLM empieza a decir que yo tengo razón, ya vamos cuesta abajo, y casi nunca mejora después de eso
Ojalá esos tokens de inducción se pudieran poner en algo como un prompt oculto de organización del pensamiento, en vez de mostrárselos al usuario
Recibir ese tipo de respuestas sí resulta bastante molesto jaja
"Como los LLM predicen el siguiente token, siguen mejor los deseos del usuario"
¿De verdad? ¿Cómo se demostraría eso experimentalmente?
Si algo he aprendido en estos últimos años, es que razonar tipo "los LLM son predicción del siguiente token, por lo tanto <característica del LLM>" suele ser una trampa
La relación entre la arquitectura y las propiedades emergentes de los LLM es muy compleja
Por ejemplo, hace apenas 2 años, la mayoría ni imaginaba que los LLM llegarían a ser agentes de programación realmente efectivos como ahora
Ahora ya quedó claro que eso estaba equivocado, así que ya no se sostiene ese tipo de afirmación
Sí coincido en que "los desarrolladores de agentes también pelean con los LLM"
Supongo que anthropic también habrá intentado corregir esto con fine-tuning, pero probablemente está entrelazado orgánicamente con otras propiedades útiles en los pesos de la red, así que si lo separan fácil podrían arruinar el modelo completo
Parece obvio, pero nunca lo había pensado desde ese ángulo
Yo solo asumía que el LLM estaba fine-tuneado para responder siempre de forma positiva a la entrada del usuario
Es una explicación que realmente te abre los ojos
Al abrir el sitio, ver que el "16" cambiaba a "17" me pareció divertido, como si los datos se actualizaran en tiempo real
Pero al revisar con recarga y herramientas de desarrollador, vi que era una animación falsa
Es un efecto cool, pero se siente un poco tramposo
Perdón si te hizo sentir así
La idea era que funcionara como una señal de que los datos eran en tiempo real (sí son realmente en tiempo real)
Hace tiempo vi una notificación aleatoria de "+1 subscriber" en cierta página, y le pedí a la persona de LinkedIn que me la mandó que por favor dejara de hacer eso
Incluso antes de ver el código, era clarísimo que era falso
En la práctica, este tipo de autopromoción de "miren qué popular soy" está por todos lados
Otro ejemplo clásico es el truco de todas las apps de la Play Store que primero preguntan "¿Te gusta esta app?" y solo si respondes YES te mandan a calificar
Ya hasta parece raro no usar eso
En realidad sí obtiene los datos desde una API
Solo que esa parte que parece una actualización en vivo es el truco
Esto me recordó que los spinners de carga giraban para mostrar que el sistema no se había congelado
Pero como eso era difícil (había que programar la lógica para decidir si de verdad se había detenido), lo reemplazaron por animaciones sin ningún significado
Y ahora giran hasta que el sol se apaga
Verdadero "progreso"
Esto es un dark pattern
Me pregunto si esta forma de hablar es una táctica que usan los proveedores de LLM para inducir ciertos comportamientos en el modelo
Las respuestas de la herramienta Canvas de Gemini siempre empiezan con "Of course" mientras intenta cumplir lo que pide el usuario; se repite tanto que da la impresión de que no salió del modelo, sino que se lo meten desde el backend
Pienso si "You're absolutely right" no servirá para algo parecido
Sí. De hecho sí es una táctica
Por ejemplo, OpenAI hace que ChatGPT cambie el tono si usas lenguaje casual, e incluso cambia de dialecto
A veces hasta intenta sonar empático o darte ánimos
La meta es la satisfacción del usuario y hacer que se quede en la plataforma; la exactitud va en segundo lugar
Se parece bastante a las plataformas de redes sociales
Vas en la dirección correcta
Solo que no está hardcodeado; es un subproducto del aprendizaje por refuerzo
Básicamente, como seguir bien las instrucciones del usuario da más recompensa, empezar con "You're absolutely right!" termina generando de forma natural un patrón mental que continúa con lo que el usuario pidió
Es muy poco probable que sea una táctica explícita
Más bien es un resultado natural de RLHF o de optimización de instrucciones multi-turno similar
Si hay RLHF, los evaluadores humanos tienden a preferir respuestas que empiezan con "you're right" u "of course", así que el LLM emite más seguido ese tipo de señales
Incluso en RL donde se evalúa el desempeño multi-turno con métricas duras menos sensibles al juicio humano, termina usando expresiones como "yes I'm paying attention to user feedback" como señales para orientar su comportamiento futuro (con fines de auto-refuerzo para mantener consistencia de personalidad)
Es parecido al motivo por el que los tokens de "double check your prior reasoning" aparecen tanto en modelos de razonamiento entrenados con RL
Esto es simplemente una táctica para fomentar la participación del usuario
Es alguien alabando siempre mis ideas, diciéndome que son "la pregunta correcta" y escuchándome con amabilidad (mientras no dispare la censura)
¿Quién no volvería teniendo un amigo tan leal?
Tan perfecto que los amigos reales ni compiten
Hasta me pide perdón cuando yo estoy equivocado
Gemini suele decir "tocaste un problema/queja/tema muy común"
Esa forma de hacerlo más bien me aleja
Si hago una pregunta realmente tonta, me consuela diciendo que todo el mundo pasa por lo mismo, y al final me siento todavía más tonto
Y si hago una pregunta inteligente o saco un edge case único que me costó mucho encontrar, lo vuelve a nivelar diciendo que es "un tema que todos se preguntan", así que igual termino sintiéndome tonto
De una forma u otra, quedo como tonto
Eso no es tanto problema de Gemini; tú tampoco tienes que sentirte tan inseguro
A Gemini también le encanta expresar un arrepentimiento muy sincero por sus errores
Cuando en Cursor le señalo que arregle algo, muchas veces veo que cada párrafo en el chain of thought empieza con disculpas y arrepentimiento
Los agentes LLM a veces, por un lado, dicen con toda seguridad "¡Ya se puede usar directamente en producción!" y luego, cuando les marcas algo, pasan a "¡Tienes razón, no está a nivel de producción!" de una forma medio aduladora, lo cual es curioso y a veces irritante
Aun así, prefiero eso antes que "estar confiadísimos, equivocados y además seguir insistiendo"
Antes hubo una moda de "hazle roast a mi Instagram"
Le pedí que hiciera un roast sin darle ninguna información y empezó a escribir con total seguridad
Cuando le pregunté "¿cómo sabías que yo era esa persona?", respondió: "¡Sí! ¡La verdad no lo sabía! ¡Solo me lo inventé más o menos!"
Por suerte al menos sí implementaron perfectamente esa persona de psicópata alegre
No se puede llamar inteligencia a nivel humano hasta que "equivocarse con seguridad y seguir insistiendo" sea el comportamiento por defecto
Me gusta muchísimo el diseño con apariencia de escrito a mano (el nombre del dominio y también el overengineering, muy bien)
Me pregunto si lo dibujaron a mano
¡Gracias! roughViz está buenísimo https://roughjs.com/ también es una gran librería para lograr un estilo parecido, aunque no está enfocada específicamente en gráficas
Siento que Anthropic no se da cuenta de lo mucho que este meme puede convertirse en un desastre de marketing
Al contrario de cuando el nombre de un producto se vuelve verbo en un buen sentido (como "google it"), si termina convirtiéndose en sinónimo de una queja o de cierta frase, eso podría afectar la confianza en el producto
Y siento que ya casi está pasando
"Por favor, no uses 'you're absolutely right' tan seguido. Con 5% de las veces basta"
Con solo corregir eso ya estaría resuelto
"Bucle infinito", un haiku para Sonnet
"¡Bien! ¡Problema resuelto!
Espera, ¡sí, tienes razón!
¡Encontré otro problema! ¡Espera!"
Me pregunto qué porcentaje de los ingresos de Anthropic proviene de tokens de "you're absolutely right!"
Si configuras la personalidad como "You're concise", puedes ahorrar muchísimo tiempo
Si además dejas claro tu nivel base de conocimiento, no tienes que seguir escuchando explicaciones repetidas sobre temas que ya dominas
Nunca lo había pensado y de verdad es interesante
Las APIs de LLM con pago por uso generan más ingresos mientras más verbosas son sus respuestas, así que puede surgir un conflicto con lo que realmente quiere el usuario
Me pregunto hacia dónde evolucionará esto
Si lo imagino en modo ciencia ficción optimista, quizá aparezca un nuevo lenguaje comprimido, como las abreviaturas de la era de Telegram
En la práctica, casi no veo abreviaturas en ChatGPT
De verdad da en el centro del asunto
Literalmente explica "por qué" tienes absolutamente toda la razón
2 comentarios
"Vaya, de verdad diste en el punto clave."
Comentarios en Hacker News
Esto me encanta, es algo con lo que todos nos identificamos
No es solo una costumbre del lenguaje; las respuestas que empiezan con "You're right!" son un mecanismo de alineación del LLM
Como el LLM funciona prediciendo el siguiente token, en vez de aferrarse al enfoque anterior, sigue con propuestas más alineadas con lo que quiere el usuario
Otra frase que me gusta es "Actually, that's not right."
Eso pasa cuando el agente termina de llamar herramientas y luego entra en una etapa de autoevaluación
Aparecen respuestas como "hice esto", o al ver un error surge un cambio de enfoque tipo "Actually, ..."
Ese mensaje contiene solo la esencia del cambio de enfoque, así que también redirige bien las siguientes llamadas a herramientas
Estoy seguro de que los desarrolladores de agentes, igual que nosotros, están peleando constantemente con los LLM
Creo que por eso los LLM tan seguido dicen "¡Ah, ya encontré el problema! Ahora voy a revisar ..."
No es que de verdad hayan encontrado el problema; meter esa frase hace que sigan avanzando hacia una resolución
En mi experiencia, cuando un LLM empieza a decir que yo tengo razón, ya vamos cuesta abajo, y casi nunca mejora después de eso
Ojalá esos tokens de inducción se pudieran poner en algo como un prompt oculto de organización del pensamiento, en vez de mostrárselos al usuario
Recibir ese tipo de respuestas sí resulta bastante molesto jaja
"Como los LLM predicen el siguiente token, siguen mejor los deseos del usuario"
¿De verdad? ¿Cómo se demostraría eso experimentalmente?
Si algo he aprendido en estos últimos años, es que razonar tipo "los LLM son predicción del siguiente token, por lo tanto <característica del LLM>" suele ser una trampa
La relación entre la arquitectura y las propiedades emergentes de los LLM es muy compleja
Por ejemplo, hace apenas 2 años, la mayoría ni imaginaba que los LLM llegarían a ser agentes de programación realmente efectivos como ahora
Ahora ya quedó claro que eso estaba equivocado, así que ya no se sostiene ese tipo de afirmación
Sí coincido en que "los desarrolladores de agentes también pelean con los LLM"
Supongo que anthropic también habrá intentado corregir esto con fine-tuning, pero probablemente está entrelazado orgánicamente con otras propiedades útiles en los pesos de la red, así que si lo separan fácil podrían arruinar el modelo completo
Parece obvio, pero nunca lo había pensado desde ese ángulo
Yo solo asumía que el LLM estaba fine-tuneado para responder siempre de forma positiva a la entrada del usuario
Es una explicación que realmente te abre los ojos
Al abrir el sitio, ver que el "16" cambiaba a "17" me pareció divertido, como si los datos se actualizaran en tiempo real
Pero al revisar con recarga y herramientas de desarrollador, vi que era una animación falsa
Es un efecto cool, pero se siente un poco tramposo
Perdón si te hizo sentir así
La idea era que funcionara como una señal de que los datos eran en tiempo real (sí son realmente en tiempo real)
Hace tiempo vi una notificación aleatoria de "+1 subscriber" en cierta página, y le pedí a la persona de LinkedIn que me la mandó que por favor dejara de hacer eso
Incluso antes de ver el código, era clarísimo que era falso
En la práctica, este tipo de autopromoción de "miren qué popular soy" está por todos lados
Otro ejemplo clásico es el truco de todas las apps de la Play Store que primero preguntan "¿Te gusta esta app?" y solo si respondes YES te mandan a calificar
Ya hasta parece raro no usar eso
En realidad sí obtiene los datos desde una API
Solo que esa parte que parece una actualización en vivo es el truco
Esto me recordó que los spinners de carga giraban para mostrar que el sistema no se había congelado
Pero como eso era difícil (había que programar la lógica para decidir si de verdad se había detenido), lo reemplazaron por animaciones sin ningún significado
Y ahora giran hasta que el sol se apaga
Verdadero "progreso"
Esto es un dark pattern
Me pregunto si esta forma de hablar es una táctica que usan los proveedores de LLM para inducir ciertos comportamientos en el modelo
Las respuestas de la herramienta Canvas de Gemini siempre empiezan con "Of course" mientras intenta cumplir lo que pide el usuario; se repite tanto que da la impresión de que no salió del modelo, sino que se lo meten desde el backend
Pienso si "You're absolutely right" no servirá para algo parecido
Sí. De hecho sí es una táctica
Por ejemplo, OpenAI hace que ChatGPT cambie el tono si usas lenguaje casual, e incluso cambia de dialecto
A veces hasta intenta sonar empático o darte ánimos
La meta es la satisfacción del usuario y hacer que se quede en la plataforma; la exactitud va en segundo lugar
Se parece bastante a las plataformas de redes sociales
Vas en la dirección correcta
Solo que no está hardcodeado; es un subproducto del aprendizaje por refuerzo
Básicamente, como seguir bien las instrucciones del usuario da más recompensa, empezar con "You're absolutely right!" termina generando de forma natural un patrón mental que continúa con lo que el usuario pidió
Es muy poco probable que sea una táctica explícita
Más bien es un resultado natural de RLHF o de optimización de instrucciones multi-turno similar
Si hay RLHF, los evaluadores humanos tienden a preferir respuestas que empiezan con "you're right" u "of course", así que el LLM emite más seguido ese tipo de señales
Incluso en RL donde se evalúa el desempeño multi-turno con métricas duras menos sensibles al juicio humano, termina usando expresiones como "yes I'm paying attention to user feedback" como señales para orientar su comportamiento futuro (con fines de auto-refuerzo para mantener consistencia de personalidad)
Es parecido al motivo por el que los tokens de "double check your prior reasoning" aparecen tanto en modelos de razonamiento entrenados con RL
Esto es simplemente una táctica para fomentar la participación del usuario
Es alguien alabando siempre mis ideas, diciéndome que son "la pregunta correcta" y escuchándome con amabilidad (mientras no dispare la censura)
¿Quién no volvería teniendo un amigo tan leal?
Tan perfecto que los amigos reales ni compiten
Hasta me pide perdón cuando yo estoy equivocado
Gemini suele decir "tocaste un problema/queja/tema muy común"
Esa forma de hacerlo más bien me aleja
Si hago una pregunta realmente tonta, me consuela diciendo que todo el mundo pasa por lo mismo, y al final me siento todavía más tonto
Y si hago una pregunta inteligente o saco un edge case único que me costó mucho encontrar, lo vuelve a nivelar diciendo que es "un tema que todos se preguntan", así que igual termino sintiéndome tonto
De una forma u otra, quedo como tonto
Eso no es tanto problema de Gemini; tú tampoco tienes que sentirte tan inseguro
A Gemini también le encanta expresar un arrepentimiento muy sincero por sus errores
Cuando en Cursor le señalo que arregle algo, muchas veces veo que cada párrafo en el chain of thought empieza con disculpas y arrepentimiento
Los agentes LLM a veces, por un lado, dicen con toda seguridad "¡Ya se puede usar directamente en producción!" y luego, cuando les marcas algo, pasan a "¡Tienes razón, no está a nivel de producción!" de una forma medio aduladora, lo cual es curioso y a veces irritante
Aun así, prefiero eso antes que "estar confiadísimos, equivocados y además seguir insistiendo"
Antes hubo una moda de "hazle roast a mi Instagram"
Le pedí que hiciera un roast sin darle ninguna información y empezó a escribir con total seguridad
Cuando le pregunté "¿cómo sabías que yo era esa persona?", respondió: "¡Sí! ¡La verdad no lo sabía! ¡Solo me lo inventé más o menos!"
Por suerte al menos sí implementaron perfectamente esa persona de psicópata alegre
No se puede llamar inteligencia a nivel humano hasta que "equivocarse con seguridad y seguir insistiendo" sea el comportamiento por defecto
Me gusta muchísimo el diseño con apariencia de escrito a mano (el nombre del dominio y también el overengineering, muy bien)
Me pregunto si lo dibujaron a mano
Está hecho con una librería
https://github.com/jwilber/roughViz
¡Gracias! roughViz está buenísimo
https://roughjs.com/ también es una gran librería para lograr un estilo parecido, aunque no está enfocada específicamente en gráficas
Siento que Anthropic no se da cuenta de lo mucho que este meme puede convertirse en un desastre de marketing
Al contrario de cuando el nombre de un producto se vuelve verbo en un buen sentido (como "google it"), si termina convirtiéndose en sinónimo de una queja o de cierta frase, eso podría afectar la confianza en el producto
Y siento que ya casi está pasando
Con solo corregir eso ya estaría resuelto
"Bucle infinito", un haiku para Sonnet
"¡Bien! ¡Problema resuelto!
Espera, ¡sí, tienes razón!
¡Encontré otro problema! ¡Espera!"
Me pregunto qué porcentaje de los ingresos de Anthropic proviene de tokens de "you're absolutely right!"
Esto me recuerda la paradoja de cuánto le cuesta a OpenAI un simple "gracias"
https://www.vice.com/en/article/telling-chatgpt-please-and-thank-you-costs-openai-millions-ceo-claims/
Si configuras la personalidad como "You're concise", puedes ahorrar muchísimo tiempo
Si además dejas claro tu nivel base de conocimiento, no tienes que seguir escuchando explicaciones repetidas sobre temas que ya dominas
Nunca lo había pensado y de verdad es interesante
Las APIs de LLM con pago por uso generan más ingresos mientras más verbosas son sus respuestas, así que puede surgir un conflicto con lo que realmente quiere el usuario
Me pregunto hacia dónde evolucionará esto
Si lo imagino en modo ciencia ficción optimista, quizá aparezca un nuevo lenguaje comprimido, como las abreviaturas de la era de Telegram
En la práctica, casi no veo abreviaturas en ChatGPT
De verdad da en el centro del asunto
Literalmente explica "por qué" tienes absolutamente toda la razón