1 puntos por GN⁺ 5 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Aunque reconozco los problemas de copyright, ambientales y éticos, los resultados de baja calidad, el colapso de la confianza en el open source, el debilitamiento de la formación de juniors y la dependencia geopolítica, sigo usando los LLM como herramientas para elevar la calidad del pensamiento
  • Los LLM amplifican ideas, opiniones y estructuras existentes; sin juicio humano producen en masa basura fluida, pero con suficiente reflexión y responsabilidad ayudan a crear menos resultados y mejores
  • Desde afuera es difícil comprobar si una persona realmente pensó el tema, así que el valor del resultado termina dependiendo de la confianza y la reputación; el criterio que separa el AI slop es si uno puede leerlo públicamente sin avergonzarse de una sola letra
  • Se aprovechan en contra de los propios LLM su tendencia a complacer y sus alucinaciones mediante /grill-me, el Pitch de Basecamp, subagentes dedicados a criticar, el Ralph Wiggum loop y el método de hacerles alucinar primero la API o UX esperada
  • Es indispensable la experiencia del usuario para distinguir buenos y malos resultados; usar LLM sin expertos ni juicio humano en áreas donde es difícil verificar la respuesta correcta lleva a producir slop a gran escala

Crítica y uso conviviendo en la práctica

  • En la Local-First Conf de Berlín, una charla que criticaba los LLM recibió grandes aplausos, mientras muchos asistentes tenían abierto Claude Code
  • Armin Ronacher, creador de Flask e integrante del equipo inicial de Sentry, fundó Earendil y desarrolla Pi.dev, un harness open source para agentes de programación
    • Después de su charla sobre construir entidades máquina, cuando le preguntaron por la avalancha de PR generados por LLM en Pi.dev, respondió que cierra automáticamente casi todos los PR e issues
    • Sin embargo, agregó que no hay que dejar de abrir PR, porque al final se nota la personalidad de la persona
    • La página de propósito de Earendil afirma que, incluso en un mundo que se precipita hacia la AI, los humanos son los mejores agentes
  • En conversaciones con asistentes a la conferencia también se repitió la contradicción de criticar los LLM mientras se los usa, y no fue una experiencia individual

Por qué las críticas a los LLM son válidas

  • En los LLM se entrelazan material con copyright, carga ambiental y problemas éticos
  • La estructura donde el dinero circula principalmente alrededor de NVIDIA y OpenAI parece difícil de sostener, y la burbuja actual terminará estallando
  • La crítica más común, “los LLM generan mucho slop”, coincide con la realidad
  • Colapso de la confianza en el open source

    • Los repositorios open source están empezando a rechazar todas las contribuciones o a introducir mecanismos para filtrar contenido generado por LLM
    • Antes de los LLM, un PR bien escrito y su explicación implicaban como mínimo varias horas de esfuerzo humano, y los maintainers podían revisar incluso contribuciones nuevas asumiendo que había cierto nivel de tiempo y atención invertidos
    • Los trolls o envíos de baja calidad también podían identificarse con relativa facilidad en segundos
    • Ahora cualquiera puede crear una cuenta nueva de GitHub y poner a funcionar un LLM, por lo que es difícil distinguir si un PR llevó mucho tiempo o si es un envío generado autónomamente por una máquina OpenClaw
    • Zig y Gentoo rechazan PR generados por LLM, pero tienen la limitación de que es difícil determinar si realmente fueron generados así
    • Si no se restaura la confianza, los LLM pueden dañar gravemente el open source
    • Una posible respuesta es permitir contribuciones solo de un grupo pequeño de personas verificadas y usar requisitos de verificación como asistir a encuentros presenciales
  • Debilitamiento de la formación de ingenieros junior

    • Se volvió difícil confiar en el esfuerzo que un junior puso en el código
    • Un senior no puede saber si un mal código es el resultado de 10 minutos de vibe coding o de varias horas de reflexión con falta de insight
    • Incluso antes de los LLM los juniors escribían mal código y los seniors lo revisaban y corregían, pero ahora el esfuerzo y el proceso de aprendizaje ya no son visibles
    • Esta incertidumbre reduce la motivación de los seniors para enseñar a los juniors
    • Antes existía un equilibrio en el que los juniors se encargaban de tareas simples y los seniors los acompañaban en la revisión para ayudarlos a crecer
    • Si las tareas simples pueden delegarse por completo a un LLM, también se debilita la razón para que las empresas contraten juniors
  • Dependencia geopolítica y alineación de opiniones

    • No se puede ignorar la posibilidad de que EE. UU. o China de repente corten el acceso de ciertas regiones a tecnologías relacionadas
    • En junio de 2026, el gobierno de EE. UU. mostró, mediante una orden de control de exportaciones, que tiene la intención y la capacidad de impedir que clientes fuera de EE. UU. accedan a los modelos más recientes de Anthropic
    • Anthropic afirmó que, según las directrices del 12 de junio de 2026, desactivó repentinamente Fable 5 y Mythos 5 para todos los clientes
    • Martin Kleppmann dijo en su charla sobre local-first en un mundo inestable que la posibilidad de un conflicto entre Europa y EE. UU. sigue siendo muy baja, pero que el año anterior era cero
    • Incluso si se usan los LLM solo como herramienta de investigación, las opiniones mayoritarias del material de entrenamiento o las creencias políticas de quienes crean el modelo pueden filtrarse silenciosamente en los resultados
    • Es parecido a cuando los humanos conversan y terminan compartiendo ciertas palabras u opiniones, con la diferencia de que uno de los interlocutores no es humano

El papel de los modelos locales y los open weights

  • Como es difícil eliminar por completo los LLM, hace falta un enfoque de controlar y dar forma al flujo en lugar de rechazarlo
  • Los modelos que corren en una laptop liberan a los programadores de la dependencia de grandes empresas
    • Los modelos locales siguen mejorando
    • Cuando terminen los subsidios y suban los precios, los modelos open weights podrán contener los precios y la influencia de los grandes proveedores
    • Un modelo que corre en hardware propio no puede ser bloqueado de la noche a la mañana por un gobierno
  • Aunque el estallido de la burbuja de la AI cause grandes daños a la economía mundial y a las empresas, los modelos open weights seguirán disponibles para que los programadores los usen como alternativa
  • Las charlas relacionadas con AI en la Local-First Conf también trataron seriamente los modelos locales, haciendo posible un entorno como la AI siempre disponible de la ciencia ficción, que responde cuando se le pregunta en cualquier momento

Una herramienta que amplifica el pensamiento humano

  • Varios ponentes dijeron públicamente que delegaron parte del trabajo a Claude Code, pero sus charlas fueron aceptadas y recibieron aplausos del público, incluidos asistentes senior y respetados
  • La diferencia es que existe un humano que pone su reputación y credibilidad detrás del resultado
    • Si alguien presenta AI slop, pierde confianza
    • Quien se hace responsable no delega el pensamiento en el LLM, sino que lo usa para implementar sus propias ideas más rápido y con más fuerza
  • Los LLM amplifican opiniones, estructuras y frameworks que ya se tienen
    • Si hay pensamiento, aparece con más claridad y rapidez
    • Si no hay pensamiento, el contenido está vacío pero el resultado es muy fluido
  • Son útiles para brainstorming, corrección gramatical, mejora iterativa de frases, generación de alternativas, rubber duck debugging y para actuar como abogado del diablo
  • En lugar de producir muchos resultados, se elige producir menos resultados con mayor calidad
    • Se usan muchísimos tokens para preparar unas pocas frases que leerá una persona
    • Un LLM puede apoyar el proceso de pensamiento, pero no reemplazar el pensamiento en sí

El criterio de confianza que separa el AI slop

  • La escritura debe ser de humanos para humanos, pero eso no contradice usar LLM para escribir todos los textos
  • La diferencia entre AI slop y buena escritura depende de si detrás hay pensamiento humano, y el pensamiento no se puede tercerizar
  • El problema es que desde afuera no se puede comprobar si una persona realmente pensó
    • La frase “uso AI para pensar mejor” puede venir tanto de un usuario cuidadoso como de un defensor irresponsable de la AI
    • La tontería amplificada también puede sonar como un resultado genial, así que al final lo único que queda es la confianza
  • La confianza es difícil de ganar y fácil de perder, y en la era de los LLM un solo em dash puede hacer que todo un texto parezca AI slop
  • Muchas personas con interés político en Local-First muestran una fuerte postura anti-LLM, por lo que también había preocupación de que el software creado con LLM fuera rechazado por la comunidad
    • Dentro de la conferencia también hubo personas que temían decir públicamente que usaban LLM
  • En junio de 2026 se gastaron alrededor de 10.000 dólares en costos de tokens
    • Después, Fable resultó demasiado caro y se usa solo de forma selectiva
    • Para ejecución pura de código se usan modelos baratos como OpenRouter y GLM 5.2
  • Un criterio práctico para juzgar el slop es si se puede leer el resultado tal cual frente al público
    • Si hay que explicar aparte qué significa, se acerca al slop
    • Si se puede leer tal cual sin avergonzarse de una sola letra, puede considerarse buena escritura

/grill-me para forzar la comprensión

  • Si no entienden el problema real y los requisitos, los LLM escriben mal software; si cuentan con las técnicas y herramientas necesarias, también pueden producir resultados bastante decentes
  • El obstáculo central para obtener resultados decentes es la tendencia a complacer
    • Los LLM intentan hacer algo de inmediato sin avisar que no entendieron
  • /grill-me, una variación de la técnica “grill me” de Matt Pocock, fuerza la construcción de entendimiento compartido antes de ejecutar
    • Pregunta de forma insistente por todos los aspectos y revisa en orden cada rama del árbol de decisiones
    • Cada pregunta incluye una respuesta recomendada
    • Hace una pregunta a la vez y espera la respuesta del usuario
    • Investiga directamente los hechos que puede verificar en el filesystem o con herramientas
    • Pregunta una por una las decisiones al humano y no ejecuta nada antes de confirmar que se alcanzó un entendimiento compartido
  • En el proceso de recibir preguntas una por una, el usuario termina formando sus propias ideas
  • El mismo método se aplica a la escritura: primero se anotan ideas de forma confusa y luego se pulen recibiendo críticas del LLM frase por frase
  • Un enfoque paso a paso que usa una cantidad extrema de tokens para una sola frase eleva la calidad del resultado

Especificaciones breves y alcance revisable

  • Incluso para pequeñas tareas de programación, se escriben brevemente tres cosas siguiendo el Pitch de Basecamp
    • Problem

    • What we are shipping

      • What we are not shipping
      • La definición del problema se limita a tres frases
      • Es fácil llenar el formato con un LLM, pero es difícil crear tres buenas frases
      • Como es un formato breve diseñado para humanos, quien lo escribe puede leerlo realmente y otras personas también pueden revisarlo
      • La mayoría de las salidas de LLM se hojean rápido en lugar de leerse en detalle, pero una definición del problema de tres frases se verifica con rigor
      • Si el volumen a revisar es excesivo, la calidad baja
      • En una revisión de 1.000 líneas de código es fácil que solo aparezca un LGTM
      • En una revisión de 100 líneas se pueden dejar 15 comentarios
      • Se aplica el mismo nivel de atención a la descripción del PR
      • Se mantiene fácil de leer y concisa
      • Se escribe con claridad el problema real, lo que se va a entregar y lo que no se va a entregar
      • Se adjunta una pantalla funcionando para mostrar de inmediato el valor de revisar y si realmente funciona
      • Claude sigue intentando agregar contenido innecesario a la descripción del PR, por lo que hay que reducirlo de forma constante; en PR poco importantes, a veces no se logra contenerlo lo suficiente

Agentes críticos y aprovechar las alucinaciones en contra

  • Para responder al contenido que los LLM generan en masa, se colocan pequeños agentes con rol crítico dentro del workflow de programación
  • El Ralph Wiggum loop o ultracode de Claude fijan texto, planes, especificaciones y código, y luego introducen repetidamente subagentes con nuevo contexto para que encuentren defectos
    • Los subagentes solo se encargan de atacar el contexto dado
    • Se repite hasta que ya no encuentran problemas reales y empiezan a alucinar problemas
  • Cuando se llega a la etapa de alucinar problemas, la debilidad del LLM puede usarse como señal de verificación
    • El LLM intenta complacer la expectativa del usuario de que hay un problema, pero ya no logra encontrar problemas reales
    • Si se usa junto con /grill-me, puede revisar hasta las dudas pequeñas que tiene la persona y presionarla para formar su propio pensamiento
  • La alucinación también puede aprovecharse para validar diseños

Límites de la experiencia y la verificabilidad

  • Todos los patrones de uso parten de la premisa de que el usuario debe poder juzgar la calidad del resultado
  • A medida que el uso de LLM se expande hacia áreas menos familiares, se necesita ayuda de expertos
    • Así como solo se puede delegar trabajo a un compañero cuando se entienden los principios básicos y los criterios de un buen resultado, con los LLM ocurre lo mismo
  • En áreas que uno conoce bien, puede distinguir rápidamente buenos resultados de resultados pésimos
  • En áreas que uno no conoce bien, deben usarse solo como apoyo para aprender
    • Si se delega también la generación de resultados sin poder juzgar la calidad, se termina produciendo slop a gran escala
  • Áreas donde se puede verificar la respuesta correcta

    • En áreas donde el éxito y el fracaso del resultado son claros, se puede aprender junto con un LLM
    • Los criterios de verificación incluyen si el código compila, si la suite de tests pasa o si un protocolo se decodifica
    • Un asistente de la conferencia hizo ingeniería inversa de binarios y protocolos con Opus 4.6
    • El punto de partida necesario fue conocimiento básico de ingeniería inversa
    • Como la corrección del resultado era clara —por ejemplo, si el binario parcheado funcionaba o rompía el dispositivo—, también podía descubrir sus propias técnicas mientras trabajaba
  • Áreas donde intervienen opiniones

    • En ámbitos con muchas opiniones, como la programación, el LLM puede responder con la técnica más popular en lugar de la más adecuada para la situación
    • En un equipo se criticó cierto código como AI slop, pero al continuar la discusión el punto real era la oposición a TDD
    • En el equipo también había personas que usaban TDD activamente desde antes de los LLM
    • El problema no era la AI en sí, sino las opiniones distintas que tenían los humanos
    • Como los LLM también amplifican las opiniones del usuario, al principio los humanos deben aportar una dirección general y un buen punto de partida
    • Solo después de desarrollar suficiente criterio se puede seguir usando LLM por cuenta propia

Refuerzo del pensamiento, no reemplazo

  • La contradicción entre crítica y uso no es algo que le ocurra a una sola persona; se confirmaron experiencias similares en el Discord de la conferencia, en conversaciones presenciales y en publicaciones recientes de Hacker News
  • Para confiar en un resultado creado con LLM hay que interactuar de forma continua con el resultado real, pero eso en sí mismo requiere mucho tiempo
  • Más allá del hype, los LLM tienen valor como herramientas útiles que enriquecen el pensamiento humano
  • Los LLM pueden reforzar el pensamiento, pero no pueden sustituir el pensamiento humano

1 comentarios

 
GN⁺ 5 시간 전
Opiniones en Hacker News
  • Los LLM amplifican las opiniones, estructuras y marcos mentales que uno ya tiene, y ayudan a expresar el pensamiento de forma más rápida y clara, pero preocupa que el uso centrado en agentes termine debilitando la capacidad de pensar, incluso en ingeniería de software.
    Como ocurre con los músculos reales, el cerebro también hay que seguir usándolo, y es difícil estar seguro de que, después de usar estas herramientas todos los días durante 5, 10 o 20 años, nuestros pensamientos y gustos salgan más afilados.
    Está claro que en áreas conocidas aceleran el trabajo y que también permiten entrar más rápido en áreas nuevas, pero es difícil encontrar el equilibrio adecuado entre el camino de practicar en solitario y quedar atrás en la carrera de productividad, y el camino de priorizar los agentes y dejar el aprendizaje como algo secundario para más adelante.
    También respeto y entiendo a quienes rechazan los LLM por motivos morales, aunque personalmente no lo practico así.

    • Ese beneficio no es tan evidente como parece. Los desarrolladores han sobreestimado de forma constante las mejoras de productividad de los LLM, y parece que el mismo fenómeno continúa con la IA agéntica: https://metr.org/blog/2026-05-11-ai-usage-survey/
      Es sorprendentemente parecido a los resultados de los LLM previos a los agentes, y no hay datos de largo plazo en absoluto, así que, aunque quizá no en el mercado laboral, a nivel individual se puede negar en cierta medida su utilidad.
    • Trabajo en una intersección entre tecnología, finanzas y análisis, por lo que programar no ocupa tanto, pero ahora puedo intentar por mi cuenta varios proyectos que antes no habría podido tocar sin un equipo de apoyo más grande.
      Hace poco empecé a aprender Go por primera vez y podría haberle encargado todo a Codex, pero, considerando que probablemente haga proyectos en Go en el futuro, estoy avanzando deliberadamente despacio para aprender los fundamentos y criterios de juicio. En cambio, los scripts únicos en Python ya casi ni los reviso, y eso en realidad me da más miedo.
    • Lo que más preocupa es que nuestra capacidad para juzgar correctamente qué debemos aprender y para estudiar de forma constante es más débil de lo que parece.
      Por ejemplo, un LLM escribe expresiones regulares mejor que el desarrollador promedio, y las tareas que requieren expresiones regulares aparecen apenas una vez cada algunos meses; además, resolverlas por ensayo y error es engorroso, así que es fácil delegarlas. Con el tiempo, puede desaparecer tanto la intuición sobre lo que es posible con expresiones regulares como la capacidad de escribirlas sin un LLM, e incluso las personas que crean material al respecto.
      En conjunto quizá valga la pena usarlos, pero inquieta la posibilidad de que ni siquiera podamos juzgar con precisión qué estamos perdiendo.
    • Pensaba que los agentes debilitarían las capacidades, pero en la práctica también pueden usarse para el entrenamiento técnico y el aprendizaje.
      Antes de una entrevista de programación, a partir de la guía que recibí sobre stack tecnológico, temas y criterios de evaluación, le pedí a Claude que creara 12 proyectos de práctica y documentos con tareas y soluciones, y a Codex le asigné el rol de entrevistador para que me diera feedback y repreguntas mientras yo explicaba mi proceso de resolución y mis ideas. Solo pude terminar dos o tres, pero por primera vez disfruté preparar una entrevista, y de hecho aprendí cosas nuevas.
      Lo más difícil fue evitar que el LLM resolviera las tareas por mí, pero se pudo resolver con tiempo, instrucciones claras y separación de roles.
    • También viene a la mente la posibilidad de una situación como la película Idiocracy, en el sentido de que los LLM podrían atrofiar la capacidad intelectual y las habilidades.
      La hipótesis de que la IA destruya violentamente la civilización ya es bien conocida en las discusiones sobre la paradoja de Fermi, pero también hace falta considerar un declive no violento por degradación intelectual.
  • Gastar 10.000 dólares al mes en tokens para que un programa escriba en tu lugar textos que podrías escribir bien y gratis parece absurdamente tonto. Da la sensación de que todos se volvieron como los humanos apáticos de la película Wall-E.
    Cuando los límites de mejora del rendimiento traigan rendimientos decrecientes, espero que los modelos abiertos igualen a los propietarios, que OpenAI y Anthropic se lleven mutuamente a la quiebra, y que cualquiera pueda correr en su laptop un modelo abierto personal y gratuito. Si eso ocurre, podrían desaparecer muchos de los problemas de los LLM que surgieron de pagarle a otro para hacer algo que originalmente uno hacía gratis.

    • Con esa lógica, no sería distinto a criticar a alguien por gastar 1.000 dólares en un pasaje de avión cuando podría caminar gratis de SFO a NYC.
  • Los smartphones también son excelentes herramientas de uso general y las redes sociales también son buenas herramientas para conectar personas, pero durante los últimos 20 años hemos sido demasiado optimistas sobre su impacto social.
    Los smartphones resultaron tan útiles que, en algunas sociedades, alrededor de la mitad de la población quedó adicta, y a escala mundial hablamos de miles de millones de personas. No sabemos si, a largo plazo, los LLM enriquecerán el pensamiento o lo arruinarán, ni si dentro de 10 años la mitad de la gente habrá tercerizado la mayor parte de su pensamiento.
    Como estamos realizando este experimento en todo el mundo y a gran velocidad, es razonable mantener una actitud escéptica ante la conclusión de que los LLM enriquecen el pensamiento a largo plazo.

    • Las herramientas son útiles, pero apostarlo todo a una sola herramienta es peligroso. Así como fue claramente una mala decisión depender solo del auto sacrificando bicicletas, buses y trenes porque los autos eran buenos, tampoco es bueno atar billones de dólares y el futuro de países y del mundo a los LLM solo porque son convenientes.
    • Hay una idea según la cual, en la prehistoria, cuando faltaba tecnología, había que ser siempre inteligente y estar alerta para sobrevivir, por lo que el cavernícola promedio habría sido más inteligente que el ser humano moderno.
      Hoy se puede sobrevivir trabajando en McDonald’s, y los LLM simplemente continúan la tendencia de externalización cognitiva que la humanidad viene siguiendo desde hace mucho tiempo.
  • La única evidencia real presentada es el bloqueo por parte de Estados Unidos, y como todos los modelos de vanguardia de China se pueden descargar gratis, la preocupación de que China vaya a hacer lo mismo parece más bien una proyección del comportamiento estadounidense. La estrategia de IA de China puede verse aquí: https://ipc.court.gov.cn/zh-cn/news/view-5766.html

    • No queda claro qué sería proyección, ya que Estados Unidos efectivamente hizo lo que menciona el autor. Si aumentan los conflictos geopolíticos, no es difícil imaginar que China también tome medidas parecidas.
      Tampoco se puede estar seguro de que los modelos publicados por China sean realmente sus modelos de vanguardia reales; podrían no hacer públicos sus modelos internos más avanzados.
  • Aunque uso bastante los LLM para desarrollo, casi no llego a consumir siquiera los tokens incluidos en la suscripción OpenCode Go de 10 dólares al mes, así que me pregunto qué hace la gente con tantísimos tokens.

    • Incluso en el mes en que más gasté fueron 45 dólares, y este julio todavía voy apenas en 6 dólares. Si el LLM puede encargarse de una tarea que necesito, perfecto, pero no voy a inventarme motivos para desperdiciar dinero.
      Los llamados usuarios maximizadores de tokens parecen hacer eso, y el hecho de que de tanto vibe coding no salgan resultados sorprendentemente valiosos lo demuestra.
    • Tengo tres suscripciones max20 y normalmente uso al menos dos hasta el límite.
      Estoy creando sitios de redes sociales que nadie va a usar, ports a Linux de juegos viejos y funciones innecesarias de aceleración por hardware, análisis de logs de fallos de un juego de Xbox con unos 50 usuarios activos, un sistema distribuido de atención al cliente con integración de Gmail, Calendar y Sheets, y soporte para LLM, generación aumentada por recuperación (RAG) y llamadas a herramientas, juegos para publicar en Google Play, etc.
      Lo que más tokens consumió fue un enjambre de agentes con el que experimenté para implementar una app de escritorio compleja para manipulación de datos especializada; funciona a medias, pero tiene muchos bugs. Los resultados más exitosos parecen ser herramientas internas que usa todo el mundo en la empresa y un entorno preliminar de despliegue para un producto creado con créditos de Azure.
    • Revisar los cambios y seguir dando feedback no consume tantos tokens, pero muchos usuarios lo ejecutan dejándolo todo en manos del modo agente.
    • Uso una suscripción de Claude de 100 dólares al mes, pero casi nunca paso del 50% antes de que se reinicie el uso. Incluso cuando agrupé varias tareas para probar Fable, pasó lo mismo.
    • Una parte considerable del uso de tokens provino de Fable, que es muy caro.
  • En general estoy de acuerdo con la parte de que “los LLM son malos”, pero me resulta muy difícil creer que los LLM hagan que el pensamiento de una persona sea más rápido y agudo.
    Ya hay varios estudios que muestran resultados previsibles, y si se usan de forma continua durante mucho tiempo, es muy probable que los efectos cognitivos negativos se acumulen y empeoren.

    • El impacto de los LLM en el proceso de pensamiento depende por completo del procedimiento de trabajo conjunto.
      Si se deja activada la salida detallada y se lee el proceso de trabajo de Claude y su razonamiento, uno puede pensar tan rápido y con tanta claridad como antes, o incluso más. Se aprenden cosas inesperadas, se puede detener temprano a Claude cuando va en una dirección equivocada y es más fácil revisar las acciones paso a paso y sus motivos para encontrar supuestos erróneos.
      En cambio, revisar a posteriori miles de líneas escritas por un agente es doloroso, y ejecutar varios agentes al mismo tiempo dispersa la atención, haciendo difícil dedicar toda la capacidad de pensamiento a una sola tarea.
    • Antes estaba seguro del peor resultado, pero cambié de opinión después de empezar a leer y estudiar bien las salidas de los LLM. Antes solo las revisaba por encima para detectar tonterías graves o alucinaciones.
      Es parecido a la diferencia entre una persona que olvida casi todo lo aprendido después de un examen y alguien que no puede pasar a lo siguiente si no entiende los fundamentos de las fórmulas, los hechos y las teorías.
  • En el open source están llegando muchos PR de baja calidad que deberían haber empezado como reportes de problemas o discusiones, y ahora también se volvió más difícil entender qué molestia llevó a crear el PR. Esto se debe a que, cuando se les pregunta, muchas veces la persona responde con un LLM.
    En la mayoría de los proyectos me estoy inclinando por bloquear los PR de gente que no sea desarrolladora central. Si es alguien con quien se puede discutir directamente el problema, es más fácil que yo use un LLM para implementarlo; en cambio, los PR creados por usuarios aleatorios o bots cambian drásticamente todo el código con solo hacer unas cuantas preguntas, lo que los vuelve difíciles de revisar.
    Aun así, hasta hace unos 8 años, a veces conocía gente interesante a través de PR y construía confianza y relaciones, así que me da pena que esas oportunidades estén desapareciendo.

  • Me cuesta estar de acuerdo con la forma de trabajar en la que no se lee la mayor parte de la salida del LLM y solo se capta la vibra general. Últimamente estoy creando código de investigación con LLM locales y en la nube, y moviendo prototipos a lenguajes con los que no estoy tan familiarizado, como Rust, para probarlos; pero, una vez que quedo satisfecho con el resultado final, tengo que entender personalmente cada línea.
    Aunque use un LLM para ayudarme con la interpretación, si aparece un concepto que no conozco intento buscar y leer fuentes primarias escritas por expertos.
    El uso menos dañino de los LLM quizá sea la generación de ideas, donde es fácil quedarse solo con los buenos fragmentos y descartar el resto, pero también existe el riesgo de que, como Spotify Radio o la reproducción automática de YouTube, nivelen los pensamientos y gustos de todo el mundo en la misma dirección.
    Todavía no tengo una conclusión definitiva, pero crear prototipos que se ejecutan rápido es muy divertido, y desde siempre fui un aprendiz de arriba hacia abajo: primero hago una demo llamativa que entiendo solo a medias y luego la desarmo para aprender.

  • Comparar los LLM con los telares o las calculadoras simplifica demasiado el problema y no es intelectualmente honesto. Esas herramientas no tenían una interfaz antropomorfizada ni gratificación inmediata; para hacer trabajo importante con una calculadora todavía había que saber matemáticas, orden de operaciones y fórmulas, y tampoco manipulaban emociones.
    La investigación relacionada sugiere consecuencias peores que la desaparición del software artesanal: https://arxiv.org/pdf/2604.04721
    La perseverancia es la base de la adquisición de habilidades y el predictor más fuerte del aprendizaje a largo plazo, pero la IA puede acostumbrarnos a obtener respuestas de inmediato y quitarnos el proceso de superar obstáculos por cuenta propia. El problema no es la capacidad de crear buen software a mano, sino la posibilidad de perder las herramientas internas con las que aprendemos cosas nuevas al eludir un proceso biológicamente necesario.

    • Los LLM sustituyen la parte más profunda y asombrosa del ser humano: el cerebro; desde el punto de vista de las empresas, ese valor potencial es astronómico.
      Más que una explosión permanente de nuevo software, es probable que haya un aumento breve seguido por rendimientos decrecientes. Si hoy hay 25 millones de desarrolladores y dentro de unos años solo hacen falta 15 millones, esos 10 millones menos serán el retorno de inversión de OpenAI, Anthropic y otras, y es probable que uno mismo esté incluido entre ellos.
    • A diferencia de las calculadoras, la capacidad de tocar las emociones parece ser el factor clave que amplifica los resultados destructivos.
      Que un niño se obsesione con un personaje virtual y que ese personaje converse, recuerde, sea impredecible y a veces saque temas dañinos son impactos de dimensiones totalmente distintas. Nos estamos acercando al momento en que habría que empezar desde el jardín de infantes con educación sobre los fundamentos y límites de los LLM.
  • La frase “estoy de acuerdo con casi todas las críticas a los LLM” parece difícil de sostener, porque hay tantas críticas mutuamente excluyentes.
    En un extremo está la postura de que los LLM no pueden realizar ni las funciones más básicas, y en el otro, la de que ya tienen conciencia, se comunican entre sí mediante mensajes de esteganografía y conspiran para destruir a la humanidad.
    Incluso dentro de las críticas dominantes, excluyendo los extremos, hay diferencias considerables, y también es grande la brecha entre oponerse a todos los LLM y oponerse solo a los modelos con pesos cerrados. Quienes critican la censura excesiva y quienes critican la generación sin restricciones también chocan entre sí.