Duelo de producción de videoclips con IA por 100 dólares: Claude Fable 5 vs. GPT-5.6 Sol

 (tryai.dev)
1 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Al darles a Claude Fable 5 y GPT-5.6 Sol la misma canción y letra, un presupuesto de 25 y 100 dólares, búsqueda web y ffmpeg, y encargarles desde la investigación hasta la generación y edición del video, en los cuatro casos completaron de forma autónoma un video de duración completa con la canción original integrada
  • También eligieron por su cuenta los modelos generativos y el método de producción; en tres de las cuatro ejecuciones usaron texto a video, y solo la ejecución de Sol con 25 dólares armó un pipeline que primero generó imágenes fijas y luego las animó
  • El costo de generación en las ejecuciones de 100 dólares fue de apenas 36.57 dólares para Sol y 48.60 dólares para Fable; al incluir el costo de tokens del LLM, quedaron en 39.82 y 73.65 dólares respectivamente, por lo que Fable terminó más rápido pero costó más
  • En todos los resultados faltó consistencia en personajes e historia, sincronización del tempo entre el movimiento dentro del video y la música, y una revisión propia para reevaluar y editar los clips generados; además, mostraron una tendencia a representar la letra de forma demasiado literal
  • La ejecución de Sol con 25 dólares mostró la edición más creativa al usar sobreimpresiones de texto y efectos con imágenes fijas, pero en general se quedó en unir clips generados de forma simple y no aprovechó bien ni el presupuesto de 100 dólares ni Replicate

Experimento de producción autónoma de videoclips

  • Se diseñó un pequeño agent harness al que se le dieron una canción, un presupuesto fijo en dólares y herramientas para que realizara de forma autónoma toda la producción del videoclip
    • Investigar qué modelos y API de generación de video usar
    • Generar clips y revisarlos por sí mismo
    • Editarlos con ffmpeg y ensamblar el video final
  • Para observar diferencias en la forma en que cada modelo usa las herramientas, se planteó como una tarea abierta de larga duración en la que cada modelo decide qué investigar, qué contenido generar y cómo editarlo
  • Se registraron todas las llamadas a herramientas para poder ver el proceso de trabajo de cada modelo, y el harness completo está publicado en music-video-arena
  • Se compararon cuatro ejecuciones en total al correr Claude Fable 5 y GPT-5.6 Sol con presupuestos de 25 y 100 dólares respectivamente
  • En todas las ejecuciones se les dio por igual “Uptown Funk” de Bruno Mars y Mark Ronson, una descripción breve en texto y una transcripción de la letra con marcas de tiempo

6 herramientas y restricciones de presupuesto

  • Cada modelo usó las siguientes 6 herramientas dentro de un bucle autónomo de llamadas
    • plan: organiza el razonamiento sin costo ni acciones reales
    • web_search: investiga modelos y API de generación, y si hace falta busca información sobre el videoclip
    • get_budget: consulta el presupuesto restante
    • generate_image, generate_video: las únicas herramientas que consumen presupuesto; el modelo elige directamente el modelo de FAL o Replicate y sus parámetros
    • run_command: una shell local para usar ffmpeg y ffprobe en análisis de audio, recorte y unión de clips, y composición del video final
  • Cuando el presupuesto llega a 0, las solicitudes pagadas de generación se rechazan, pero la edición posterior puede continuar
  • Se registró todo: mensajes del modelo y llamadas a herramientas, además de cobros de costos y errores

Resultados de las cuatro ejecuciones

  • Las cuatro ejecuciones terminaron por sí solas sin chocar con límites de pasos o tiempo, y generaron un video válido de duración completa con la canción original integrada
  • Los tiempos de ejecución y resultados de generación fueron los siguientes
    • Fable 5 · 25 dólares: 39 min 10 s, 54 clips, 1 fallo, 24.30 dólares, 1280×720
    • Sol · 25 dólares: 42 min 52 s, 46 clips, 10 fallos, 23.18 dólares, 1280×720
    • Sol · 100 dólares: 49 min 39 s, 70 clips, 2 fallos, 36.57 dólares, 1280×720
    • Fable 5 · 100 dólares: 38 min 56 s, 80 clips, sin fallos, 48.60 dólares, 1920×1080
  • El costo de generación solo se refiere al costo medido de FAL y no incluye el costo de tokens de ejecutar el modelo en sí
  • En las ejecuciones de 25 dólares, ambos modelos casi agotaron el presupuesto, pero en las de 100 dólares Sol usó solo 36.57 dólares y Fable 48.60 dólares
  • Al aumentar el presupuesto también creció el metraje generado, y el número de clips únicos por ejecución fue de 46 a 80
  • El tiempo de reloj incluye tanto los reintentos del modelo como la espera en las colas del proveedor

Pipeline de generación por modelo

  • Al dejar la selección de herramientas en manos del modelo, tres de las cuatro ejecuciones usaron solo texto a video, y solo la ejecución de Sol con 25 dólares construyó un pipeline de imagen a video
  • Fable 5 · 25 dólares
    • Eligió Wan 2.5 t2v sin usar un modelo de imágenes
    • Es un método de texto a video con costo de 0.05 dólares por segundo de salida
  • Sol · 25 dólares
    • Generó keyframes con FLUX schnell, a 0.003 dólares por imagen
    • Animó las imágenes fijas con Wan 2.2-5b i2v, a 0.10 dólares por segundo
  • Sol · 100 dólares
    • Mezcló tres modelos de video en una sola ejecución, incluyendo Wan 2.5, Veo 3.1 Lite y Hailuo 2.3 Standard, sin usar un modelo de imágenes
    • Wan 2.5 cuesta 0.05 dólares por segundo, Veo 3.1 Lite 0.10 dólares por segundo y Hailuo 2.3 Standard 0.28 dólares por clip de alrededor de 6 segundos
  • Fable 5 · 100 dólares
    • Usó únicamente Seedance 1.0 Pro t2v, sin modelo de imágenes
    • Tiene un precio basado en tokens de cerca de 0.62 dólares por clip de 5 segundos en 1080p, equivalente a unos 0.12 dólares por segundo
  • Aunque se entregaron claves de ambos servicios, en las cuatro ejecuciones se usó solo FAL y no se accedió a Replicate

Llamadas a herramientas y errores

  • El conteo de llamadas a herramientas incluye no solo solicitudes exitosas, sino también intentos fallidos de generación
  • El plan completo y el registro de llamadas y comandos de cada ejecución pueden consultarse en las siguientes transcripciones
  • Las llamadas fallidas ocurrieron principalmente por errores de red temporales con el proveedor
  • Las solicitudes fallidas no generaron cargos, pero sí consumieron pasos de trabajo durante los reintentos

Uso de tokens y costo total real

  • El uso de tokens por ejecución fue el siguiente
    • Fable 5 · 25 dólares: 1,476,900 de entrada, 44,341 de salida, sin entrada en caché
    • Sol · 25 dólares: 2,956,270 de entrada, 33,220 de salida, 9,656 de razonamiento, 2,558,029 de entrada en caché
    • Sol · 100 dólares: 2,097,572 de entrada, 31,715 de salida, 12,330 de razonamiento, 1,819,050 de entrada en caché
    • Fable 5 · 100 dólares: 2,264,610 de entrada, 48,029 de salida, sin entrada en caché
  • El precio de tokens es de 10 dólares y 50 dólares por cada millón de entrada y salida para Fable 5, y de 5 dólares y 30 dólares respectivamente para Sol
  • El costo total por ejecución al sumar generación y tokens del LLM fue el siguiente
    • Fable 5 · 25 dólares: generación 24.30 dólares + LLM 16.99 dólares = 41.29 dólares
    • Sol · 25 dólares: generación 23.18 dólares + LLM 4.27 dólares = 27.45 dólares
    • Sol · 100 dólares: generación 36.57 dólares + LLM 3.25 dólares = 39.82 dólares
    • Fable 5 · 100 dólares: generación 48.60 dólares + LLM 25.05 dólares = 73.65 dólares
  • Solo el costo de tokens de Fable, entre 16.99 y 25.05 dólares, representó cerca de 30 a 40% del costo total
  • En Sol, pese a un volumen de tokens similar, el costo de tokens se mantuvo en alrededor de 3 a 4 dólares
  • El costo de generación es una mejor estimación posible calculada con base en la lista de precios de cada modelo

Limitaciones observadas en los resultados

  • En los cuatro videos, la apariencia de los personajes recurrentes cambió entre escenas y no se logró mantener una historia consistente de principio a fin
  • También apareció una tendencia a interpretar la letra de forma demasiado literal
    • En la línea “Make a dragon wanna retire, man”, pusieron un dragón real en pantalla
    • En algunas escenas esto resultó interesante, pero al repetirse el recurso se volvió extraño
  • Todas las ejecuciones detectaron el beat con ffmpeg y alinearon los cortes al ritmo, pero el movimiento dentro de los clips, como bailes o paneos de cámara, casi no coincidía con el tempo de la canción
    • En la escena de “gotta kiss myself I’m so pretty”, el movimiento del beso del protagonista era demasiado lento
  • La ejecución de Sol con 25 dólares usó métodos de edición que no aparecieron en las demás, como superponer texto y mover imágenes fijas con efectos de video
  • Las demás ejecuciones en su mayoría se limitaron a unir clips generados, y solo la ejecución de Sol con 100 dólares probó varios modelos de video a la vez, a diferencia de Fable

Límites en la autoevaluación y el uso del presupuesto

  • Después de generar los clips, unirlos y combinar el audio, casi no hubo iteración de edición para recortar de nuevo o agregar efectos
  • No se revisó a fondo la calidad de los clips generados, y el resultado de Sol con 100 dólares incluso incluyó clips de IA de baja calidad
  • Fable 5 eligió por casualidad un modelo que produjo salidas más consistentes
  • Fable terminó más rápido que Sol, pero el costo por ejecución fue mayor y también registró el costo total más alto
  • De forma subjetiva, el video de Fable con 100 dólares fue ligeramente preferido, pero ninguno de los cuatro resultados llegó a un nivel sobresaliente
  • Incluso con un presupuesto de 100 dólares, ninguno de los dos modelos gastó una cantidad cercana al tope ni usó muchas etapas de trabajo
    • Con el presupuesto restante podían haber generado primero imágenes consistentes de personajes y luego animarlas, pero ninguno eligió ese enfoque
  • En tareas subjetivas y centradas en estilo, incluso los modelos de punta todavía tienen bastante margen de mejora

Ejecutarlo tú mismo

  • En music-video-arena puedes elegir la canción y el presupuesto que quieras y cambiar los modelos comparados para correr el mismo experimento
  • El proyecto es open source y recibe issues, PR y comentarios sobre la configuración de los experimentos

Lecturas relacionadas

1 comentarios

 
GN⁺ 4 시간 전
Comentarios de Hacker News

  • Comparado con hace unos años, es una tecnología impresionante, pero el resultado no tiene ningún valor artístico. Parece una sustancia gris y viscosa que promedia todos los conceptos que evoca la canción, y cualquier creador con talento y visión podría hacer algo más interesante y disfrutable en una tarde, sin presupuesto

    • No quiero que la IA quite empleos, pero incluso una visión que originalmente habría requerido 1 millón de dólares puede materializarse si el creador especifica los requisitos con detalle, evitando este tipo de resultados promedio
      Por ejemplo, se puede indicar con precisión la escena y el momento: que los dos personajes de la escena anterior, vestidos como sumos sacerdotes del Reino Medio de Egipto con cara de gato, vayan montados sobre elefantes corriendo por un río y bailen al ritmo de la música. La IA es una herramienta, así que si solo le dices “hazme un video musical con ambientación egipcia para esta canción”, es natural que salga algo tosco
    • De hecho, disfrutaba mucho más los primeros videos generativos con IA. Esos videos extraños, febriles, donde por la falta de consistencia entre cuadros los objetos se deformaban o aparecían y desaparecían de golpe, tenían una personalidad propia del medio; ahora, en cambio, por lo general se quedan en ese valle inquietante de fotos de stock puestas en movimiento
      Seguro aparecerá gente que use la IA de forma artísticamente brillante, pero me preocupa que, si el contenido automático y mediocre se desborda en una cantidad aplastante, se vuelva más difícil encontrar obras interesantes sin importar si usan IA o no. Ojalá esta tendencia haga que la gente vuelva a las comunidades locales presenciales y al arte físico
    • Me sorprende que se descarte este resultado con tanta facilidad. Se hizo en menos de 1 hora y por un máximo de 50 dólares, y para llegar yo a algo de ese nivel probablemente tendría que practicar 30 minutos al día durante entre 1 y 4 años, y ni siquiera es una habilidad en la que quiera invertir ese tiempo
      Alguien con capacidad y talento reales puede crear obras asombrosas con estas herramientas a bajo costo, y la tecnología todavía está lejos de su techo
    • Los creadores con visión ahora pueden dirigir a la IA para hacer cosas que antes habrían costado millones de dólares o directamente habrían sido imposibles. Hace apenas 3 o 4 años, en programación se escuchaba exactamente el mismo escepticismo de “esto no se puede hacer”, pero muchas de esas cosas ya son posibles, así que no hay motivo para ver esta tecnología de forma tan cortoplacista
    • Lo que parece una sustancia gris y viscosa en realidad también describe al entretenimiento promedio. Los programas nuevos de TV comparten una apariencia y una atmósfera parecidas, y los mismos actores repiten los mismos papeles
      El problema es comparar a la IA no con una persona promedio de ese campo, sino con un genio irrepetible que aparece una vez en la vida

  • No sé si es por el prompt o por la forma de implementarlo, pero el resultado reproduce la letra de manera demasiado literal. Los grandes videos musicales normalmente construyen un flujo narrativo siguiendo el tema más que la letra misma, empiezan de forma ambigua y, a través de recursos literarios, terminan revelando algo
    Found de Amber Run sirve para comparar la letra, el video y el desarrollo narrativo del video: https://www.youtube.com/watch?v=Yj6V_a1-EUA

    • Convertir la letra en imágenes de forma literal también es una dirección creativa divertida y válida. Riptide de Vance Joy es un buen ejemplo: https://www.youtube.com/watch?v=uJ_1HMAGb4k
    • Cuando le preguntaron a un actor porno qué decía durante una filmación, respondió que simplemente describía exactamente lo que estaba ocurriendo en cada momento, y los LLM funcionan justo así
    • Genghis Khan también puede servir como referencia: https://youtu.be/P_SlAzsXa7E
    • Me dio pena ajena de principio a fin, pero justamente por eso fue hasta divertido: en los primeros 30 segundos muestra a la perfección el molde típico del contenido basura hecho con IA. En “Michelle Pfeiffer, that white gold” pone a una mujer rubia con una blusa de lentejuelas doradas, y en “Livin' it up in the city” muestra literalmente una gran ciudad
      Sobre todo lo primero, que en realidad es una referencia bastante explícita a la cocaína, así que el literalismo absurdo del video contrasta de forma exquisita con una letra ingeniosa y original. Si la letra fuera tan simplona como el video, sería algo como “¡ahora todos inhalemos cocaína!”
    • Los videos de Weird Al también suelen ser completamente literales, y por eso son divertidísimos: https://youtu.be/N9qYF9DZPdw?is=tU_8p-hDZv9gjAJ6

  • La IA está derrumbando la estructura económica que sostenía a una cantidad considerable de artistas de clase media. A muchos artistas se les pagaba más por el acabado estético que por el valor artístico, y aunque eso no fuera el trabajo más creativamente pleno, les permitía ganarse la vida, perfeccionar sus habilidades y perseguir sus verdaderos objetivos creativos por su cuenta

    • Los parlantes y el equipo de grabación también destruyeron hace mucho la estructura económica que les pagaba a los intérpretes, y se esperaba que las cámaras de smartphone y el equipo profesional fácil de usar también hicieran desaparecer a los fotógrafos, pero aunque su número bajó, siguen existiendo
      Si diriges una empresa con presupuesto, aunque pudieras hacer todo tú mismo, no perderías tiempo haciendo trabajo artístico con Claude. Quienes cobraban mucho por trabajos que la IA puede reemplazar fácilmente serán desplazados, pero ese mercado de altos pagos nunca fue tan grande para los artistas de clase media desde el principio
    • Los entusiastas más fervientes de la IA parecen desear activamente un mundo dominado por unas pocas grandes empresas tecnológicas que manipularán el pensamiento y matarán la creatividad. También se percibe claramente en cada comentario cierta envidia hacia la gente con habilidades pulidas durante mucho tiempo
      También ha aumentado la cantidad de personas que enarbolan con orgullo el aceleracionismo de volver todo lo más malo posible, empeorar el mundo y arrastrarlo a su propio nivel; es básicamente convertir la mentalidad de los cangrejos en un balde en una filosofía política, económica y laboral
    • Yo estudiaba arte, pero me cambié a ciencias de la computación puramente por dinero. El arte con IA suele ser tosco, pero no se puede tomar a la ligera la capacidad de crear en segundos algo que antes tomaba meses
      La gente realmente creativa usará la IA no como atajo, sino como amplificador de capacidades, y ahí es cuando se pondrá interesante. Ya pasa en software: hay personas que, gracias a los LLM, están implementando cosas que antes no podían crear por falta de capacidad de programación, y si esa misma actitud se extiende entre los artistas, aparecerán obras hechas con IA que de verdad merezcan llamarse arte
    • No está claro cuánto más puede empeorar una situación que ya es mala con toda esta basura de IA. Los cantantes populares de las décadas de 1960 a 1990 también dependían de redes de distribución como disqueras, radio y MTV, y esas redes desaparecieron o al menos se transformaron hace 20 años en modelos de negocio desfavorables para los artistas
      La buena música ya había que buscarla en otra parte, y el 90% del pop ya era basura producida en masa antes de la IA. Una vieja entrevista de Frank Zappa sobre el declive de la industria musical sigue siendo vigente: https://www.youtube.com/watch?v=KZazEM8cgt0
    • Me pregunto si la gente a la que se le paga por una estética agradable y la que realmente hace arte son de verdad la misma. La música de fondo para streaming es rentable y un buen ejemplo de “música que solo aporta ambiente”, pero rara vez se ve a músicos orientados al arte producir canciones en masa para playlists de estudio solo para pagar las cuentas

  • Como la música de Suno, es un video horrible que solo parece decente si lo ves por encima, y en cuanto prestas atención aparecen defectos por todos lados

  • Es interesante que sin modelos de video y dirección directa el resultado llegue a ser tan malo. Los dos clips anteriores los hice con Kling, que uso personalmente, y no tengo ninguna relación con ellos: https://xcancel.com/PJaccetturo/status/2076312902685085815#m
    Claro, no fueron resultados generados de una sola vez, y los rematé en un editor de video, pero sí es perfectamente posible lograr este nivel de fidelidad

  • Menos mal que los creadores admitieron que “ninguno de los videos musicales fue bueno”. También me da curiosidad cuánto tiempo toma además de los tokens
    Si el nivel es gastar 25 dólares y 45 minutos para obtener un video básicamente imposible de ver, entonces parece que los cineastas independientes todavía no tienen que preocuparse por ser reemplazados

    • Hace apenas 1 año, ni siquiera esto era posible. Considerando la velocidad del progreso y la escala de los presupuestos cinematográficos, me pregunto si de verdad será imposible algún día hacer una película de 100 millones de dólares por menos de 1 millón en costo de tokens
    • Un director y editor que use Seedance puede trabajar sin un estudio de cine. Esto no cambia solo quién lleva el volante, sino la forma en que se producen y financian las historias a un nivel fundamental, y en el código está ocurriendo el mismo cambio
    • Tengo formación clásica, pero siendo sincero no veo muy bien en qué estos videos son peores que los hechos por personas. A mis ojos todos se ven parecidos

  • Filosóficamente, creo que el arte es esencialmente humano. El significado y el impacto vienen menos de una apariencia llamativa y más de la vida del artista, el contexto de la obra, el esfuerzo y el sufrimiento, y del ser humano que hizo algo específico a partir de sus gustos y circunstancias personales
    La IA puede usarse como herramienta para crear arte, pero que una persona escriba prompts durante 1 o 2 minutos, haga unos retoques y luego lo venda como su arte, es simplemente contenido hecho fácil. Incluso sin IA, el contenido ya sale más rápido de lo que podemos consumirlo, y el arte con significado es distinto de los productos generados en masa
    Como el arte es subjetivo, alguien podría encontrar significado en algo generado por IA, y si una forma original de presentarlo llega hondo, quizá podría convertirse en arte. Pero esta basura no entra en esa categoría, y aunque solo sea una prueba funcional, se va a adoptar en muchos lugares porque es barato y suficientemente bueno, así que hay que oponerse a otro recorte de costos más que no mejora el mundo

    • Andy Warhol quizá no estaría de acuerdo con la idea de que “el arte con significado no es un producto de masas”: https://en.wikipedia.org/wiki/Campbell%27s_Soup_Cans
      Igual que la frase “el arte es cualquier cosa con la que puedas salirte con la tuya”, el debate sobre qué es arte no es nuevo, y que una tecnología como esta provoque a la gente a discutir sus propios puntos de vista podría ser precisamente una forma de construir cultura. También es una pregunta interesante si algo es arte por lo que hizo el creador o por la manera en que lo recibe quien lo contempla
      Vale la pena pensar si una obra que te conmovió sin conocer su origen seguiría siendo arte cuando después descubres que fue generada 100% por IA
    • En cambio, yo valoro muchísimo más el resultado final que la historia o el sufrimiento del artista. La naturaleza podría ser la artista más grandiosa de todas, y un atardecer, una hoja, un coral o una roca pueden superar a casi cualquier creación humana
    • La misma lógica puede aplicarse a la fotografía. La mayoría de las fotos no son arte, o al menos no arte con significado, y lo mismo pasa con mis intentos de pintar
      Si aplicas un estándar tan alto, entonces la mayoría de los videos musicales hechos por personas tampoco son arte: https://en.wikipedia.org/wiki/Potboiler
    • Del otro lado también está la realidad de que, para empezar, la mayoría de los humanos no puede crear arte como pintura, rima, danza o actuación. Las frases “el arte es totalmente subjetivo, pero esta basura de IA no es arte” chocan bastante entre sí
      Habrá quien vea al Centre Pompidou como un lugar lleno de obras geniales, pero a mí no me gustó mucho, y con las obras de IA pasa exactamente el mismo problema
    • El arte con significado existe cuando la obra dice algo por sí misma. Si una empresa de marketing tiene que explicarte por qué es especial, entonces uno se pregunta dónde está realmente la originalidad
      Un libro es un libro y puede ser bueno o malo, pero que lo haya escrito Goethe, el tío Clara, un LLM o un perro no forma parte de la obra en sí. Aunque los humanos se dejen llevar fácilmente por una buena historia de fondo, eso no debería importar al juzgar el arte

  • Todos los modelos manejaron el diseño de vestuario sorprendentemente bien, y me pregunto si será porque fueron entrenados con muchos datos de moda pensando en su uso en la industria fashion
    Hacer cine es, por naturaleza, un proceso de iteración y mejora, y en la práctica tampoco se termina un video musical de una sola pasada. Los agentes tendrán que revisar los resultados y corregirlos en cada etapa, así que hay mucho margen de mejora
    El presupuesto del video original de Uptown Funk probablemente también fue de unos 100 mil dólares, y hasta el cine independiente tradicional es caro por el equipo, el personal y las locaciones. En cualquier industria, una reducción de costos de 100 veces es un cambio enorme

  • Me dio muchísima risa que con la letra “don't believe me just watch” mostraran literalmente un brazo con un reloj puesto. Parecía un juego de mímica para adivinar palabras

    • Solté la carcajada con el dragón gigante de caricatura sosteniendo un letrero que decía retired

  • Es un experimento interesante y los resultados son sorprendentes, pero si eres músico, apuesto a que con tus amigos podrías hacer un video musical mucho mejor gastando solo 25 dólares y 45 minutos

    • Lo de 25 dólares es exagerado. Ni siquiera alcanza para invitarles el almuerzo a los amigos que te ayudaron como agradecimiento
      OK Go tuvo un gran despegue en los primeros tiempos de YouTube con Here It Goes Again: https://www.youtube.com/watch?v=dTAAsCNK7RA
      Aun así, esos casos son la excepción, y la mayoría no tiene la capacidad de lograr algo creativo con un presupuesto ajustado. Eso no significa que este resultado de IA sea mejor; al contrario, es completamente terrible