Varias señales de olor a LLM

 (shvbsle.in)
1 puntos por GN⁺ 2 시간 전 | 1 comentarios | Compartir por WhatsApp
  • La escritura asistida por LLM al principio mejoraba el vocabulario y la estructura de las oraciones, por lo que no se sentía como texto mediocre hecho por IA, pero unos meses después esas mismas huellas empezaron a repetirse por todo internet
  • En la escritura aparecen con frecuencia frases de conclusión tajante y secuencias de oraciones cortas, y afirmaciones comprimidas como “Symmetry becomes a trap.” surgen como un patrón repetido
  • La estructura “X is the Y of Z” y las expresiones de contraste cercanas a “no solo X sino Y” también se consideran señales de estilo reconocibles en textos creados por LLM
  • En sitios web generados por IA aparecen repetidamente la tipografía JetBrains Mono, composiciones tipo step, viñetas similares y el punto parpadeante de ciertos botones, tarjetas e insignias
  • El punto central no es oponerse al uso de LLM/IA en la creación, sino observar en conjunto los patrones que se detectan repetidamente en la escritura y en los sitios web

Señales que aparecen repetidamente en el uso de LLM

  • A finales del año pasado, cuando se usó un LLM para pulir una entrada de blog sobre matemáticas, mejoró el vocabulario y la estructura de las oraciones, así que no se sentía como un texto de baja calidad hecho por IA
  • Unos 3 meses después, la misma estructura de oraciones empezó a aparecer repetidamente en internet en general, y se sintió como una huella reconocible en todo tipo de trabajo asistido por IA
  • Los ejemplos del HN Thread muestran ese “olor a IA” repetido en dos áreas: la escritura y los sitios web

Patrones repetidos que se ven en la escritura y en los sitios web

  • Escritura con LLM

    • Las frases de conclusión tajante aparecen con demasiada frecuencia
      • “Humans trust symmetry because it feels like intelligence made visible.”
      • “The Tiger fit the story. Jin-yong fit the physics.”
      • “Symmetry becomes a trap.”
    • Se repiten secuencias de oraciones cortas
      • “Yet the tilt is not an accident. It is the shape of the optimum.”
      • “Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.”
      • “These examples are not decorative. They form a distributed argument.”
    • La estructura de oración “X is the Y of Z” aparece con frecuencia
      • “Cringe is the visible signature of moving along a gradient you chose.”
    • También se repiten expresiones de contraste cercanas a “no solo X sino Y”
      • “solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts”

  • Sitios web generados por IA

    • La tipografía JetBrains Mono aparece repetidamente
    • En varias páginas web aparecen composiciones “step” y viñetas similares que usan la misma tipografía
    • Ciertos botones, tarjetas y el punto parpadeante dentro de insignias también parecen elementos repetidos en sitios web generados por IA

  • Precaución

    • No se trata de oponerse al uso de LLM/IA en trabajos creativos, sino más bien de una observación que reúne patrones detectados repetidamente

Lecturas relacionadas

1 comentarios

 
GN⁺ 2 시간 전
Comentarios de Hacker News

  • Los LLM tienden a parecer especialmente buenos cuando hacen cosas que yo no puedo hacer. Si siento que la salida de un LLM es mucho mejor que la mía en un área específica, hay una alta probabilidad de que me falte la capacidad para juzgar bien esa calidad

    • Esto aplica igual de bien a la programación, y en cierta medida explica por qué en HN las evaluaciones sobre la calidad del código generado por LLM están tan polarizadas
      Un lado dice: “la IA produce código que yo jamás podría escribir, termina de una vez tareas que me tomarían días y multiplicó mi productividad por 10”; el otro dice: “la IA sigue produciendo código pésimo, requiere rehacer trabajo, comete errores y hay que vigilarla, y al final me hace perder tiempo”. Si la salida del mismo producto se ve tan distinta, hay malas noticias para el primer bando
    • Me gano la vida en parte escribiendo, y la prosa de Claude me parece tan mala que casi me provoca náuseas
      En cambio, casi no escribo código y solo lo hice profesionalmente una vez, pero cuando Claude escupe código en segundos siento que soy un superhumano y que pronto seré multimillonario. Luego recuerdo que Claude ni siquiera puede escribir texto legible, y que yo escribo bien pero programo mal, así que borro el código y vuelvo a hacer algo que me deja más dinero
    • Estoy de acuerdo con esa posibilidad, pero los modelos de frontera actuales no son completamente inútiles ni siquiera al escribir sobre temas que conozco bastante bien
      Creo que no habría dicho esto hace un año. Todavía hay que vigilarlos como halcón porque lanzan tonterías plausibles de formas que incluso a un experto le cuesta detectar, pero los dados internos se están inclinando cada vez más hacia lo correcto y útil que hacia lo equivocado o inútil
    • Sinceramente, me cuesta entender cómo alguien puede pensar que la escritura de los LLM es siquiera medianamente aceptable. Si sientes eso, deberías leer más libros
      Un libro al mes ni siquiera es una meta tan alta. No hace falta irse hasta Melville, Hemingway, Chaucer o Shakespeare; basta con agarrar cualquier best seller del NYT y será muchísimo mejor que cualquier texto que pueda generar un LLM
    • No estoy de acuerdo con la idea de que los LLM parecen buenos cuando hacen cosas que yo no puedo hacer. Los LLM son buenos haciendo creer que la buena escritura solo tiene una forma
      Los LLM prefieren estilos codificados, tipo “libro de texto/manual técnico”, probablemente porque así resultan más útiles para los humanos. Pero escribir bien no es solo producir la oración más elegante; a veces un gran texto también puede ser algo como este meme de dibujo de perrito: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...

  • Expresiones como “honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, “The smoking gun:” se sienten como una fuerte señal de LLM
    En especial las oraciones que empiezan con “The ___:”; también “load bearing” cuando no se está hablando de arquitectura, “blast radius” cuando no se habla de explosiones reales, usar “smoke test” donde “sanity check” sería más correcto, las listas de tres elementos donde el tercero solo combina los dos anteriores, llamar metafóricamente a las cosas “shape”, las publicaciones sociales que terminan con “Curious if anyone...”, y también usar “Oh. Oh.” en una anécdota, con el segundo Oh en cursiva. Algunas son expresiones que los desarrolladores sí usan de verdad, pero vale la pena examinar su frecuencia real de uso, y estos rastros siguen apareciendo en la prosa de los modelos más recientes

    • Estos modismos de LLM se están consumiendo a diario, así que parece inevitable que terminen entrando al habla cotidiana de la próxima generación, e incluso de la actual. Siento que se va a volver insoportable
    • Si te referías a “load bearing” y “blast radius”, yo los veía con muchísima frecuencia en discusiones en línea incluso antes de los LLM, y yo mismo también los usaba mucho
      En particular, load bearing era una expresión bastante común en conversaciones cotidianas de operaciones. Pero nunca he visto que “smoke test” se use en la vida real
    • Le pedí a GPT que investigara expresiones al estilo Claude 4.7: https://chatgpt.com/share/6a18e3b4-1308-832a-9263-bed823de3f...
      Los patrones recopilados por Wikipedia también están bien documentados: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
    • De las cosas que aparecen regularmente, la más graciosa es belt-and-suspenders/belt-and-braces, pero nunca he visto a una persona real usar esa expresión. Me molestaba tanto que tuve que decirle a la IA que dejara de usarla
    • Personalmente, la que más me irrita es “escape hatch”
      Todo termina siendo un escape hatch. Un try/catch es un escape hatch, un flag de CLI es un escape hatch. No tiene sentido, y al final terminó en mi archivo Markdown de “palabras y frases prohibidas”

  • La uniformidad de la escritura con LLM es mala. Está bien usar un LLM para ayudar a escribir, pero conviene no meter en el texto final ni una sola palabra generada por el LLM, ni siquiera con un ajuste de vocabulario
    Sí sirve pedirle que critique la estructura y el flujo, y que detecte palabras excesivamente repetidas, voz pasiva y elecciones torpes de oraciones temáticas. Eso mejora el texto de forma objetiva sin arruinar el estilo
    En cambio, la uniformidad de los LLM en diseño web sí es buena. La mayoría de los sitios no necesitan esforzarse por ser raros. El buen diseño de un sitio práctico es la legibilidad, y el LLM lo hace mejor que el desarrollador promedio. Está bien seguir usando la misma disposición de botones y el mismo sistema de tamaños de letra. Si a mí me parece que se ve bien, probablemente quedó mejor que si lo hubiera hecho solo, y si lo hubiera hecho solo, probablemente habría quedado peor

    • Lo que me molesta del diseño web con LLM es que añade muchos elementos inútiles por todas partes
      GPT-5.x es especialmente grave en eso. Por ejemplo, si le pides un dashboard, mete montones de números y fragmentos de texto aquí y allá, y la mayoría básicamente repite lo mismo dos veces. Claro, esto probablemente no sea un problema esencial de la estructura en sí, sino algo que pronto podría corregirse, y si preparas primero todo el texto antes de hacer el sitio, puede salir un buen resultado
    • Estoy usando Claude para hacer un nuevo sitio personal, y me gusta que, si le digo “quiero un menú bonito con enlaces a otras páginas”, me escupe algo bastante decente
      Usar LLM para escribir se siente muy raro en muchos casos. Tal vez llenar formularios tontos sea una excepción. He visto a colaboradores usar LLM para documentación técnica, y casi siempre era palabrería al borde del sinsentido con una estética de sonar correcto. Si usas mucho LLM en escritura creativa, se siente como si el propósito mismo desapareciera
    • Sea con LLM o con un SaaS de fundador solitario, no me parece que la uniformidad sea algo bueno en diseño web
    • Uso el LLM como buscador de analogías y como un diccionario avanzado. Todas las palabras las escribo yo, pero me ayuda a mejorar mi inglés y a encontrar expresiones que no conozco bien
      Todavía no lo he usado para revisar mi escritura, pero tengo curiosidad por saber si realmente funciona tan bien
    • Totalmente de acuerdo. Hace poco escribí un discurso, y ni me imagino lo trillado que habría sido si hubiera tomado frases del LLM como si fueran mías
      Cuando imagino a alguien escribiendo algo importante para o sobre una persona que ama, y metiendo entre medio esas frases azucaradas y basura que le sugirieron, me da vergüenza ajena. Es puro sinsentido, y una señal enorme de que no le importa lo suficiente su audiencia como para aportar sus propias palabras

  • Tampoco hay que olvidar la negación contrastiva
    Es una estructura retórica donde se niega una idea en la primera parte de la oración y se afirma una alternativa en la segunda. Suele aparecer en fórmulas como “no es X, es Y” o “no es solo X, es Y”
    También hay un buen recurso en Wikipedia sobre patrones comunes de escritura con LLM: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

    • Como alguien a quien a menudo le marcan falsamente su escritura como AI, agradezco la advertencia al inicio de ese documento
      Sobre todo me gusta esa perspectiva de que el problema no son esos patrones en sí. No basta con corregir los patrones; el problema es que esos patrones apuntan a contenido escrito a la rápida o con descuido
    • Eso está en el texto principal
    • Cuánto tardará un LLM en entrenarse para evitar los patrones de esa página de wiki

  • Estructuras como “No ___, no ____. Just _____”, o usar “honest” al explicar un enfoque, también delatan mucho

    • “honest”, “straight”, “genuine”, “actual”, “real” me suenan todas a palabras que tapan una afirmación débil
      Ya es tanto que estoy pensando en un gancho para que un subagente meta verificación de hechos tipo “¿de verdad estás seguro?”. La falsa distinción de “no es X, es Y” se usa de forma parecida. Por ejemplo, cuando un autodenominado ciudadano soberano dice que “no está conduciendo, sino desplazándose en un automóvil”
    • Yo veo ese patrón como jab, jab, thrust. Si quieres, también puedes llamarlo “tap tap whack”
      También aparece en positivo. Algo como “Smooth. Effortless. A perfect fit for your needs.”. Sale una y otra vez en escritura informal o persuasiva, como si hubiera que clavar la idea principal a golpes
      Da un poco de pena seguir diciendo en público cuáles son esas señales. Era bueno poder detectarlo con bastante precisión, aunque supongo que no iba a durar para siempre
    • Eso ya era un cliché de marketing cansino desde mucho antes de los LLM, y parece que el modelo lo recogió de sus datos de entrenamiento
    • Tampoco hay que olvidar “the uncomfortable truth”

  • Lo interesante es que no siento que el estilo de los LLM haya mejorado mucho últimamente
    Hace tiempo ya llegaron a un nivel “decente”, pero los modelos más nuevos no han traído mejoras al punto de que se prefieran por encima de escritores humanos profesionales. Me pregunto si otras áreas también terminarán así en la carrera por la superinteligencia

  • Ahora, en la mayoría de los textos como posts de blog o mensajes de Slack, prefiero ver escritura más cruda, más humana, aunque tenga algunos errores ortográficos o gramaticales
    Los LLM son excelentes para generar ideas, escribir código y quizá pulir texto, pero ojalá no escribieran textos completos en tu lugar. En ese tipo de escritura, quiero escuchar lo que tú tienes que decir, no lo que diga la IA

    • Yo lo digo así: si ni siquiera te importa lo suficiente como para escribirlo tú mismo, no hay razón para que nadie quiera leerlo

  • Si en tu empresa puedes usar Claude y no pasa nada con mostrarle tus correos, vale la pena probar con “lee todos los emails que he enviado y crea una skill para redactar borradores de correo con mi voz”
    Aunque no uses realmente esa skill, leer el archivo de skill generado es divertido. Se siente extraño, como preguntarle a Claude “¿quién soy yo?”
    No lo he probado con mensajes de Slack, porque da un poco de miedo leer eso. Aun así, aplicaría el mismo concepto
    En la empresa hay algunas personas que usan Claude activamente para escribir mensajes de Slack, y se nota fácil cuando hasta cierto día escribían un inglés apenas comprensible repartido en varios mensajes, y al día siguiente empezaron a mandar una sola pieza de prosa perfectamente consistente

  • Últimamente da risa bajar por el feed de LinkedIn
    Mi favorita de hoy fue “Los impuestos no son el problema. La mentalidad es el problema.”

    • El kool-aid estilo LinkedIn ya existía desde antes de que aparecieran los LLM

  • Al ver que hablaban de la fuente “JetBrains Mono”, di por hecho que saldría la crítica al abuso de Inter. Aun así, JetBrains Mono es una gran fuente

    • Me preocupa que terminemos cayendo en algo como la trampa en la que caen los partidos políticos: asumir que, por definición, cualquier cosa que se le ocurra al otro bando es mala
      Si JetBrains Mono sirve para el trabajo, entonces hay que usarla; no hace falta evitarla solo porque la IA la use seguido
    • Esto ya es salirme del tema, pero si se llama JetBrains Mono, ¿es propiedad intelectual de JetBrains?
      Me da curiosidad si legalmente se puede usar en cualquier sitio web
    • Esto sí me dolió un poco
    • Como es una fuente que uso todos los días, al ver esa lista me dio un pequeño sobresalto. Supongo que no me había dado cuenta porque de todos modos ya la estaba usando