Vibe Coding - programación por vibra

• Andrej Karpathy habla de vibe coding como una nueva forma de crear software en la que, a medida que los LLM se vuelven lo suficientemente buenos, uno casi deja de ser consciente del código en sí
• Combina Cursor Composer con Sonnet y la entrada de voz de SuperWhisper para transmitir los requisitos hablando, casi sin usar el teclado
• Incluso solicitudes menores, como reducir el padding a la mitad, las delega sin buscarlo directamente, y presiona Accept All sin leer el diff
• Copia y pega los mensajes de error sin explicación, y si el LLM no logra corregir un bug, lo esquiva o repite cambios arbitrarios hasta que el problema desaparece
• Puede servir para proyectos desechables de fin de semana, pero el código puede crecer más allá de lo que uno entiende, por lo que se parece más a mirar, hablar, ejecutar y pegar que a programar

---

Cómo se trabaja con “vibe coding”

• vibe coding es un enfoque que consiste en delegar casi por completo en el LLM, hasta casi olvidar que el código existe
• Un ejemplo de herramienta es Cursor Composer with Sonnet, y para la entrada de voz usa SuperWhisper
• En lugar de buscar o modificar código directamente, repite el siguiente flujo
  • Ve en la pantalla el cambio necesario
  • Se lo pide hablando a Composer
  • Ejecuta el resultado
  • Copia y pega el mensaje de error
• Ya no lee los diffs y siempre presiona Accept All
• Si el código crece más allá de su nivel habitual de comprensión, queda en un estado en el que tendría que leer el código durante un buen rato para entenderlo de verdad

Limitaciones y ejemplos

• A veces el LLM no logra corregir un bug
  • En ese caso, esquiva el bug
  • O sigue pidiendo cambios arbitrarios hasta que el problema desaparezca
• Considera que este enfoque no está mal para throwaway weekend projects
• También creó un juego de Battleship con aproximadamente una hora de vibe coding
  • Tiene la forma de dos modelos LLM arbitrarios elegidos por el usuario que se enfrentan entre sí en tiempo real
  • Dice que todavía no hay estadísticas sólidas, pero parece que 4o le gana a 4o-mini

[GN⁺]

Opiniones de Hacker News

• Al probarlo directamente, está bastante bien, pero definitivamente hay que tener cuidado con las alucinaciones
  Por ejemplo, le pedí que redactara mi informe de presentación en 500 palabras y hubo al menos 3 errores. Decía que mi reputación en Stack Overflow era de 47,000 puntos, pero en realidad confundió las “47k personas alcanzadas” de mi perfil con mi reputación real de 525 puntos. También citó que yo había respondido una pregunta sobre monkey-patching en PHP, cuando en realidad fue una pregunta que hice yo hace 15 años y la respondió otra persona. Por último, una cita de una entrevista tampoco era mía, sino de mi hermano, con quien fundé la empresa
  Sirve como punto de partida, pero el resultado hay que verificarlo siguiendo los enlaces a las fuentes sí o sí

  • Decir “está bastante bien, pero cuidado con las alucinaciones” le resta demasiada importancia al problema. No contrataríamos ni mantendríamos mucho tiempo a alguien que se inventa cosas porque sí, así que no entiendo por qué se considera aceptable llamar a estas herramientas “IA” algo más que proyectos de investigación interesantes. Hasta que tengan cierto nivel de confiabilidad, quizá habría que devolver los grandes modelos de lenguaje a la fase de rediseño
  • Cuesta verlo como un punto de partida útil, incluso desde una postura optimista frente a la IA. Un informe lleno de errores de hecho que ni un practicante meticuloso cometería es peor que inútil
    Si la parte difícil es redactar, entonces es más rápido investigar uno mismo y hacer el esquema, y dejar que el gran modelo de lenguaje solo lo convierta en frases terminadas. Pero si haces eso, al final solo demuestras que el estilo en prosa era la parte menos valiosa del trabajo, y aunque me duele decirlo como alguien que estudió literatura inglesa, en general es cierto
  • Me pregunto qué es más rápido: escribir desde cero un informe de 500 palabras investigando por mi cuenta, o dejar que la IA lo escriba y luego hacer fact-checking de todo y corregirlo a mano. Por eso no uso IA para cosas donde necesito la “respuesta correcta”. Sí la uso para reescribir párrafos o frases y hacerlos más legibles, pero no confío en la información que entrega por sí sola
  • Que haya “recordado” mal que yo respondí en Stack Overflow se parece casi a una demencia artificial
    Hay empresas que están lanzando esto muchísimo antes de tener la capacidad real de sacar un producto bien hecho, y tampoco sé qué tan sólida será su defensa legal. Aun así, las salidas apoyadas por bases de datos pueden y deben limitar con fuerza este tipo de falsos recuerdos. Hace falta una verificación lineal: generar una idea y luego contrastarla con los datos, como haría una persona, y eso forma parte tanto de la diligencia como del proceso de razonamiento. Parece que movimientos en otra dirección, distintos de la evolución central del producto, están sacudiendo la I+D, y da la impresión de ser una especie de postergación
  • Durante los últimos años, mi evaluación de los productos basados en grandes modelos de lenguaje ha sido exactamente: “están bastante bien, pero cuidado con las alucinaciones”

• Cuando alguien dice “investigación profunda”, al final suena a que incluye acertar la respuesta
  Hoy en día, incluso si solo el 10% de las respuestas está completamente mal, ya sea por errores de sentido común o por contradicciones internas, mucha gente siente que eso destruye seriamente la confianza en todas las interacciones. Fuera de usarlo para volver a comprobar cosas que ya conoces, los modelos de lenguaje en realidad no son lo bastante grandes como para saberlo todo; solo suenan como si lo supieran
  Lo que uno quiere no es simplemente una respuesta correcta, sino una respuesta correcta más rápido de lo que tardaría en investigar por cuenta propia, e incluso más rápido de lo que tardaría en verificar la respuesta que dio la máquina. Hay una diferencia total entre poner a un estudiante a resolver un examen cuya respuesta ya conoces y tener que confiar en la respuesta a una pregunta cuya respuesta tú mismo no conoces

  • Las funciones recientes intentan reducir las alucinaciones apoyándose en una búsqueda web amplia, pero preocupa que la web misma se esté contaminando rápidamente con salidas no filtradas de grandes modelos de lenguaje. Puede que, a partir de cierto punto, para preguntas donde la actualidad no importe, darle a un agente de investigación una captura de la web de hace unos 5 años termine siendo más preciso que usar la web en tiempo real
  • Me considero escéptico en el sentido de “LLM ≠ IA”, pero me preocupa ver a la gente fingiendo que está sacando algo de los grandes modelos de lenguaje. Se parece casi a un mono mecanógrafo como servicio
    Es útil para usarlo de vez en cuando por aquí y por allá, pero no es tan útil como para justificar el dinero que se le está metiendo. Claro, sí será útil para las empresas que reciben ese dinero. Este sería un ejemplo donde uno esperaría que una IA de verdad pudiera resolverlo por sí sola, pero los grandes modelos de lenguaje actuales fracasan de forma estrepitosa: https://x.com/RadishHarmers/status/1885884032220643587
  • Por eso no he sentido que las herramientas de IA sean muy útiles. Muchas veces tardo más en verificar y corregir la respuesta que en simplemente hacerlo yo mismo o aprenderlo
  • Siempre he pensado que los problemas en los que la IA tipo gran modelo de lenguaje resulta útil en la práctica tienen un carácter un poco tipo NP. Es decir, resolver el problema puede ser difícil, pero verificar la solución tiene que ser rápido
    Si no es un ámbito donde puedas tolerar errores o alucinaciones, para que haya una ganancia real el tiempo que tarda una persona en verificar la respuesta tiene que ser exponencialmente menor que el tiempo que tarda la IA en encontrarla
  • Si la proporción de respuestas completamente erróneas era del 30% hace un año, del 60% hace unos años y ahora es del 10%, puede que en algún momento llegue a un punto suficientemente bueno. Hoy también están mejorando cada vez más las formas de verificar las respuestas
    No será la solución para todos los problemas, pero eso pasa con muchos problemas de ingeniería. Por ejemplo, un ORM no es bueno para todas las consultas, pero sí es suficientemente bueno para una parte considerable

• Esto se siente aterrador. Incluso si se reconocen los problemas de alucinaciones y errores, es muy probable que los usuarios reales los ignoren y metan la salida en su PowerPoint
  La consultoría de gestión ya era bastante mala de por sí, y si además se vuelve posible producir gráficos y estadísticas en masa a voluntad, será peor. Aun así, antes por lo menos había cierto entendimiento interno de de dónde salían los números y se podían dar fuentes
  Cuanto más poderosas se vuelvan estas herramientas, más común será el efecto de que estos resultados se filtren por todas partes

  • O te importa la precisión o no te importa. Si no te importa, da igual si lo inventó una persona o una IA. Si te importa, vas a verificar los datos antes de publicar. No veo por qué esta herramienta cambiaría eso
  • Si investigaciones creadas por alucinaciones se publican por escrito, y luego esos textos son citados por otras investigaciones de IA, la información falsa seguirá subiendo y después será difícil saber de dónde vino esa fuente de falsedad
  • También se puede ver como una especie de vacuna. La mayoría de los informes de consultores escritos por humanos ya son totalmente endebles: baja precisión, baja relación señal-ruido, y un formato que empuja generalidades por volumen
    Los modelos de lenguaje grandes están haciendo que la gente se vuelva inmune a este tipo de contenido de bajo valor informativo. Quienes producen resultados al nivel de un LLM ahora generan sospechas de que usaron un LLM, y ya no pueden fingir tan fácilmente que están agregando valor. Como resultado, se exigirá mayor calidad a los consultores, y quienes solo producen palabrería larga en vez de información precisa, perspicaz y contextual quedarán fuera
  • Siendo sincero, he hecho consultoría y todavía tengo muchos amigos que la hacen, y hasta un reporte de McKinsey tres de cada cuatro veces incluye mucha estimación y no está tan sólidamente anclado en la realidad
  • Yo diría que ese barco zarpó cuando Facebook dejó circular libremente la desinformación, o incluso antes

• Gemini también tenía un Deep Research con el mismo nombre desde hace uno o dos meses: https://blog.google/products/gemini/google-gemini-deep-resea...
  Como meta-pregunta, me da curiosidad por qué en la industria de IA se repiten tanto los nombres. Me vienen a la mente Triton (Nvidia, OpenAI) o Gro{k,q} (X.ai, groq, OpenAI)

  • Según el creador de OpenAI Triton, el nombre “Triton” se lo puso al publicar su tesis doctoral a mediados de 2019. Un año después, “TensorRT Inference Server” pasó a llamarse “Triton Inference Server”, pero dice que no lo cambió porque era el único nombre que sus asesores doctorales asociaban con el proyecto
  • Si es una “meta-pregunta”, entonces supongo que habría que poner “@Meta AI” al inicio de la consulta
  • Se siente como una especie de grupo industrial informal que impulsa en conjunto la redefinición de ciertos términos para ventas y relaciones públicas. Primero se apropiaron de “inteligencia”, luego de “open source”, después de “razonamiento”, y van a seguir
    Las palabras que necesitan para marketing pero que en realidad no han logrado se redefinen. “grok” es el ejemplo perfecto: en el libro de ciencia ficción original significaba “comprensión total”. Tritón, en la mitología, gobernaba el mar profundo, así que el discurso comercial de “deep learning” se lo apropió de inmediato
  • Quería probar la versión de Gemini cuando salió, pero parece que nací en el país equivocado. Da la impresión de que fuera de Estados Unidos no funciona. Es una lástima, porque con OpenAI y DeepSeek no tengo ese problema. Hasta estaría dispuesto a pagar y aun así no me aceptan
  • La versión de Gemini no me parece tan “profunda”. Muestra mucha información, pero es bastante superficial. La versión de OpenAI sí parece un paso más cerca de la profundidad real
    Cuando uno lo prueba por sí mismo, resulta que lograr que un modelo de lenguaje grande realmente profundice es bastante difícil. Deep Research de OpenAI se siente como uno de los primeros ejemplos de cómo un gran laboratorio puede hacer esto. Normalmente, la parte difícil no es el “agente” en sí, sino obligar al modelo a no olvidarse de profundizar

• No sé si lo notaron bien, pero esta función parece estar impulsada por un modelo o3 no publicado. Cuadra con por qué saca tanta ventaja en benchmarks y con la afirmación de que o3 es demasiado caro para un lanzamiento público. Da la impresión de ser un modelo impresionante, por delante de Google, DeepSeek y Perplexity

  • En los benchmarks públicos, solo esta herramienta/sistema tenía acceso a herramientas y a la web. Así que, estrictamente hablando, creo que la mejora de rendimiento probablemente se deba a eso
    Si o3 fuera demasiado caro para ponerlo a disposición del público, ¿por qué lo usarían en una herramienta que necesita hacer cientos de llamadas de razonamiento por cada pregunta? Usarían un modelo mucho más barato. Lo más probable es que hayan combinado o3-mini u o1-mini, y quizás o4-mini para algunas tareas
  • Que fuera caro quizá solo significaba que querían cobrar más, pero DeepSeek les forzó la mano
  • Me parece que el efecto en este entorno de trabajo va mucho más allá de un solo modelo específico. Sería una decisión tonta usar un único modelo del mismo tamaño para cada etapa del trabajo de investigación
    o3 podría ser útil al sintetizar la respuesta final o al elegir entre fuentes en conflicto, pero para llegar a ese punto hacen falta muchísimas etapas
  • Estoy seguro de que si o3 sale dentro de 10 meses, seguirá estando una generación por delante del DeepSeek, Google y Meta de ese momento. De verdad es impresionante
  • Me da curiosidad cuál es la base para creer que esto está impulsado por un o3 no publicado

• Para quienes trabajan en el ámbito académico, sí es una herramienta realmente interesante. Me gustaría probarla, pero ahora mismo no puedo pagar 200 dólares al mes
  Ojalá alguien pudiera probarla con el siguiente prompt. La solicitud sería que, como asistente de investigación en física de partículas, redacte un resumen técnico que compare el Future Circular Collider (FCC) del CERN, el International Linear Collider (ILC), el Compact Linear Collider (CLIC), varias propuestas de Muon Collider y los principales planes de colisionadores de partículas de próxima generación vigentes en 2024, cubriendo rango de energía, tipo de colisión, cronograma, ventajas y desventajas técnicas, costo, objetivos de física, reportes de diseño, colaboración internacional, relación costo-beneficio, potencial de descubrimiento, infraestructura, impacto ambiental y rutas de actualización

  • Lo corrí con o3-high y aquí está el enlace al resultado: https://chatgpt.com/share/67a0b227-8ee4-800f-a8ed-882e7bab97...
    La salida original era demasiado larga como para pegarla completa en HN, y tenía forma de informe comparando FCC, ILC, CLIC, Muon Collider, CEPC/SppC, etc., en formato de tablas y fuentes, cubriendo energía planificada, modo de colisión, cronograma, costo, desafíos técnicos, objetivos de física, apoyo internacional, impacto ambiental y rutas de actualización a largo plazo

• Dudo que esta capacidad sea realmente una condición previa para AGI y ASI
  El razonamiento, la resolución de problemas y la verificación de investigación son, en esencia, cosas más cercanas al pensamiento depurado. La investigación sigue siendo un área donde hay escepticismo sobre su importancia, porque una prueba válida no sale de una respuesta bien ordenada, sino de los resultados de la ejecución
  Por ejemplo, aunque investigues muchísimo cuál es la mejor aspiradora en internet, hasta que no la uses tú mismo quedas atrapado entre marketing, reseñas falsas e influencers. La ciencia quizá esté algo protegida de este problema por ser aburrida, pero da miedo pensar que una farmacéutica podría llenar internet con posts de blog personalizados que contengan sofisticados “resultados de investigación” médica para crear el ambiente deseado alrededor de ciertos papers. En algún punto podría volverse imposible confiar en internet, y ese momento quizá llegue pronto
  Con la explosión del texto generado, parece que el valor de la investigación va a caer mucho por culpa de una enorme cantidad de basura informativa. Puede que termine siendo algo propio de la época en que internet todavía era “real”

  • Para ese tipo de uso, simplemente no uses esta herramienta. Aun así, la observación es válida
    Antes busqué artículos con mediciones reales para comparar cómo se comportaban Hydroflask, Klean Kanteen y Thermos con bebidas frías/calientes, pero la mayoría de los resultados de Google eran comparaciones genéricas sin datos duros. Aun así, textos como “Hydroflask es mejor para bebidas calientes” aparecían arriba en los resultados
    La clave es si esta herramienta podrá ignorar ese tipo de artículos y apoyarse solo en textos con experimentos reales, y también si podrá filtrar resultados duplicados cuando varios blogueros citan una y otra vez un mismo experimento hecho por una sola persona
  • Eso depende por completo de cómo definas “AGI”
  • Esto no es tanto una sola función como una dirección dentro de un territorio enorme. Volverse mejor en varias tareas, como la búsqueda, y en investigación combinada con razonamiento, acerca más a los modelos a la AGI
    Una AGI podría hacer tareas de este tipo, y mientras crece el diagrama de Venn de estas capacidades, podemos acotar qué podría ser el mecanismo fundamental de la AGI. Moravec hablaba de la imagen de un paisaje de capacidades humanas que poco a poco queda sumergido por las capacidades de la IA; sabremos que llegamos a una verdadera IA general cuando la IA pueda hacer, en la práctica o en principio, todo lo que los humanos pueden hacer. Deep Research es solo otra isla más que se está hundiendo en esa inundación

• Si entendí bien la gráfica, parece que la tasa de aprobación en pruebas internas apenas llega al 20%. Si es así, ¿significa que después de esperar 30 minutos y pagar caro igual te toca revisar, por lo general, un enorme muro de texto que probablemente esté mal?
  Si la posibilidad de alucinación no es lo bastante baja como para ignorarla, entonces hay demasiado que revisar de una sola vez. Da la impresión de que el proceso tendría que ser mucho más iterativo

  • Un ejemplo del tipo de problema con el que logran ese 20% es algo de este nivel: expresar una transformación natural entre dos funtoras como un end, definir una cotransformación natural como un coend, luego situar una ∞-categoría bajo el delooping nerve de los grupos simétricos Σ4 y Σ7, y preguntar por la cantidad de cotransformaciones naturales
    O sea, no es una consulta común, sino algo más cercano a un benchmark de matemáticas de frontera
  • En Humanity’s Last Exam, una tasa de aprobación de 26.6% es, de hecho, impresionante. La tasa de aprobación hay que verla en el contexto de la dificultad de la tarea
  • Eso solo aplica cuando haces preguntas al nivel de benchmarks de frontera
  • Hay muy pocos datos para afirmarlo con seguridad. Si asumes que una sola consulta hace el trabajo de un día entero, entonces puede ser razonable usarlo siempre que revisar cinco días de trabajo tome menos de un día
    En casos como la investigación real, donde la carga de trabajo preparatoria es mayor que el resultado final, conceptualmente podría encajar bastante bien. Viendo el benchmark por encima, parece posible que para fin de año supere el 50% por consulta, y da la impresión de que salta al doble con cada una o dos generaciones de modelos
  • Es una cifra obtenida con problemas que incluso a expertos del área les costaría responder con exactitud

• En la blogósfera hay expertos conocidos dentro de nichos concretos o personas famosas en ese campo, y también mucha más gente que escribe cosas útiles. Al menos escriben con la idea de que otro ser humano los lea
  Pero si todos los lectores pasan a ser bots, me pregunto si seguirán escribiendo. Se siente como si se acercara el internet muerto

  • A mí me parecería bien incluso escribir para que solo lo lean bots, si supiéramos cómo hacerlo. Los papers académicos en la práctica tampoco se leen de verdad; muchas veces solo se hojean rápido para citar, y eso pasa todavía más con publicaciones grandes como artículos de revista o tesis
    Aun así, como autor sigue siendo atractivo poder contribuir a un mundo de conocimiento fácilmente accesible cuando alguien quiera escribir. Ya no haría falta sufrir revisando papers cuyo título apenas parece relacionado, y tampoco importaría si otra persona no quiere leer mi paper con esfuerzo
  • Claro que seguirán escribiendo. También hay mucha gente que carga la cámara más grande que puede permitirse para tomar cientos de fotos que nadie va a mirar por voluntad propia

• Me pregunto si de verdad hay alguien con acceso a esta función. En el sitio web dice que desde hoy está disponible para usuarios Pro, pero aunque tengo Pro con una cuenta de empresa, no me aparece la opción Deep Research en el compositor de mensajes

  • Soy Pro y estoy en EE. UU., y todavía no me aparece
  • A mí me apareció hace unas 3 horas. También se ve en la app de escritorio de Windows, donde algunas funciones suelen tardar más en llegar
    Si abres cualquier modelo, aparece la etiqueta (Deep research) en el cuadro de entrada, junto a la opción de búsqueda web. No borré caché ni hice nada así
  • Tengo Pro y todavía no me aparece
  • Dos conocidos que tienen suscripción Pro tampoco tienen acceso todavía
  • Vivo en EE. UU., uso Pro y todavía no tengo acceso

[GN⁺]

Comentarios de Hacker News

• Cada año pienso que los estándares de calidad del software ya no pueden bajar más, pero cada vez termino descubriendo que estaba equivocado

  • No entiendo por qué hacer algo que ni siquiera se va a hacer bien
  • Es como clavar pedazos de madera mal cortados para hacer algo parecido a una silla y luego sentarse ahí
  • Algunos dicen: “A veces solo necesitas un lugar donde sentarte”, pero aun así siento que debería haber un mínimo de acabado
  • He visto a personas que, por no sentirse seguras con su inglés, terminan dependiendo por completo de un LLM, y como resultado pierden capacidad de expresión y confianza en sí mismas
  • En software, rara vez se sabe desde el principio que se está construyendo una ‘silla’
    • Al final no es más que otro nombre para la programación exploratoria o el prototipado
  • A veces el destino no importa; solo quieres llegar rápido a algún lado
    • Es como regañar a alguien cansado por sentarse un momento en el piso
  • Me preocupa que últimamente se esté perdiendo la noción de realidad de que el código se ejecuta en hardware real
    • Muchos desarrolladores jóvenes no entienden las consecuencias físicas del código
    • Creo que la IA y todo su hype eventualmente colapsarán, pero la lucha por mantener la calidad tiene que continuar

• Yo también disfruto este estilo cuando hago proyectos ligeros

  • Pero en seguridad no se puede improvisar jamás
  • Muchas veces un asistente de código con IA ha creado APIs sin autenticación o plantillas con riesgo de XSS
  • Uso LLM todos los días, pero estoy convencido de que el rol del ingeniero de seguridad seguirá siendo muy necesario en el futuro

• Al ver este enfoque, da la impresión de que el resultado lo entrega alguien que “come y codea”

• Me preocupa si empezar a programar de esta forma podría atrofiar la capacidad de resolver problemas difíciles

  • Pero otra persona dice que todavía puede hacer a mano, con cuidado, las partes que realmente lo requieren
  • En cambio, baja la barrera de entrada para probar cosas nuevas y permite explorar con mucha más libertad

• Últimamente están apareciendo muchos desarrolladores nativos de IA que aprenden de esta forma desde el principio

  • Ya parece menos programación y más una época de gestión de coders de IA

• Herramientas tipo “WYSIWYG editable con instrucciones en lenguaje natural” parecen tener un abrupto muro de dificultad, como las limitaciones de las herramientas RAD

• Algunos dicen que “no se debería aprender así”, pero yo creo que lo importante es ajustar el nivel de acabado según el esfuerzo invertido

  • Vibe Coding es un buen método para aprender y explorar
  • Puede abrir un nuevo espectro esfuerzo–acabado
  • Pero, como decía Fred Brooks, si el primer intento es deficiente, hay que saber desecharlo sin miedo
    • Si te aferras a la primera implementación generada por un LLM, puedes quedar atado a un punto de referencia equivocado sin haber entendido bien el problema

• Creo que para CSS, Vibe Coding es más que suficiente

  • Pero otros responden que, si consideras la accesibilidad y el diseño responsivo, no es tan simple
  • Un CSS bien hecho puede ser incluso conciso y fácil de mantener
  • Meter IA a la fuerza puede terminar siendo un estorbo
  • Otra persona comentó que logró implementar por completo una pequeña utilidad web con Claude
  • Alguien más dijo que hizo de la misma manera un DSL de búsqueda basado en React y un editor de pipelines con GUI, y explicó que este enfoque va mucho más allá de algo tan simple como CSS