Qwen VLo: de “entender” el mundo a “describirlo”
(qwenlm.github.io)- Qwen VLo es un modelo en preview que extiende las capacidades de comprensión de imágenes de QwenVL y Qwen2.5 VL hacia la generación de imágenes, y puede probarse directamente en Qwen Chat
- En lugar de completar una imagen de una sola vez, usa generación progresiva, componiéndola de izquierda a derecha y de arriba hacia abajo, para mejorar la coherencia y armonía del resultado
- Se enfoca en la recreación de imágenes, cambiando color, estilo u objetos mientras conserva el significado y la estructura de la imagen original
- Con solo instrucciones en lenguaje natural, puede encargarse de reemplazar fondos, agregar o eliminar objetos, transformar estilos, editar texto, crear pósters y generar información de mapas de profundidad, segmentación, detección y bordes
- Como todavía está en preview, puede presentar imprecisiones, discrepancias con el original o no seguir instrucciones; algunas funciones, como entrada de múltiples imágenes y generación con proporciones extremas, aún no se lanzan oficialmente
Rol y enfoque de Qwen VLo
- Qwen VLo integra comprensión y generación multimodal: va más allá de entender imágenes para recrearlas a partir de esa comprensión
- La versión actual está en preview y está disponible en Qwen Chat
- Puede crear imágenes solo con texto, o modificar una imagen subida mediante lenguaje natural
- Permite generar imágenes con prompts de texto como “Generate a picture of a cute cat”
- También permite subir una imagen de un gato e indicar algo como “Add a cap on the cat’s head” para modificarla
Generación progresiva de izquierda a derecha
- Qwen VLo usa un método de generación progresiva que compone la imagen de forma secuencial
- Está diseñado para refinar y optimizar continuamente las predicciones durante la generación, elevando la coherencia y armonía de la imagen final
- Este mecanismo mejora la calidad visual y ofrece una experiencia creativa en la que el usuario puede controlar los resultados con mayor flexibilidad
- Combinado con generación de resolución dinámica, es adecuado para tareas que requieren control detallado, como anuncios con textos largos o paneles de cómic
- Permite revisar el proceso de generación de forma gradual y ajustarlo en tiempo real
Funciones ampliadas de comprensión a generación
-
Recreación conservando la estructura original
- Los modelos multimodales existentes pueden desviarse semánticamente durante la generación, confundir un auto con otro objeto o no conservar la estructura clave del original
- Qwen VLo busca mantener un alto nivel de coherencia semántica durante la generación mediante una mayor capacidad para capturar detalles
- Si se le pide “cambiar el color” en la foto de un auto, puede identificar el modelo del vehículo y cambiar el estilo de color manteniendo la estructura original
-
Edición de imágenes basada en lenguaje natural
- Puede procesar instrucciones como “cambia esta imagen al estilo de Van Gogh”, “haz que parezca una fotografía del siglo XIX” o “agrega un cielo despejado”
- Admite tareas como transformación de estilo artístico, reconstrucción de escenas y retoques detallados
- También puede realizar, como instrucciones de edición, tareas tradicionales de reconocimiento visual, como predicción de mapas de profundidad, mapas de segmentación, mapas de detección e información de bordes
- Puede procesar instrucciones complejas en un solo comando, como modificar objetos, editar texto o cambiar el fondo
-
Soporte para instrucciones multilingües
- Admite varios idiomas, incluidos chino e inglés
- Los usuarios pueden describir sus requisitos y recibir resultados sin importar el idioma
Tipos de tareas que se ven en la demo
-
Generación de imágenes y edición continua
- Muestra un flujo donde se genera un Shiba Inu adorable, luego se cambia el fondo por una pradera, se agregan un sombrero rojo y unos lentes de sol negros transparentes, y se inserta el texto “QwenVLo” en el sombrero
- También cambia la misma imagen a estilo Ghibli o estilo Q-version 3D, y sigue usando el objeto modificado dentro del contexto de edición continuo
- Incluye tareas como detectar un bolígrafo con una máscara azul o segmentar el borde del perro con una máscara rosa
-
Transformación de estilos y reinterpretación
- Puede convertir una caricatura en una foto real, reemplazar el fondo por la Eiffel Tower o hacer que una persona flote en el aire como un globo
- También incluye tareas como transformar una foto de pareja en un sticker de ilustración flat minimalista o en figuras coleccionables con render 3D, y agregar el texto “Happy Wedding”
- Cubre cambios de estilo a Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft y pixel art
- También hay ejemplos como convertir un gato al estilo Pixar 3D o transformar el skyline nocturno de Miami a un estilo de modelado con materiales especiales de textura gelatinosa
-
Procesamiento de prompts complejos
- Puede generar una foto que incluya a un hombre con sombrero negro en el metro, una mujer con lentes de sol rojos, un Husky, la Statue of Liberty fuera de la ventana y un letrero de estación con “Qwen VLo”
- También procesa instrucciones que continúan resultados anteriores, como una escena en primera persona dibujando un diagrama en un cuaderno o una escena donde Isaac Newton demuestra un experimento con un prisma
- Incluye prompts tipo póster para crear una foto gran angular de gran formato con un gato negro como protagonista, una multitud de animales, extraterrestres y un platillo volador enfrentándose
Generación de pósters e imágenes con texto
- Qwen VLo admite no solo tareas que combinan entrada de texto e imagen, sino también generación texto-a-imagen
- Además de imágenes generales, puede crear pósters bilingües que incluyen chino e inglés
- Arte animado nocturno de un mago hecho de energía con el texto “Qwen VLo!”
- Una escena selfie de un gato naranja con lentes de sol y orejeras
- Imágenes tipo póster que incluyen textos como “2025”, “A New Beginning”, “新的开始”, “长安” y “Father’s Day”
- En pósters publicitarios, aborda la disposición de elementos como una lata de café, una tetera para hand drip, una paleta de colores de café y el título “一杯咖啡，唤醒你的清晨”
- Otro ejemplo de póster coloca un producto de iluminación como elemento visual central, con fondo azul oscuro, un halo cálido anaranjado y el texto “Illuminating not just the desk, but an attitude.”
Generación que incluye percepción y reconocimiento de ubicación
- Además de generación y edición, Qwen VLo también puede agregar anotaciones sobre imágenes existentes
- Los ejemplos de tareas incluyen:
- Generar una mesa llena de frutas y luego predecir un mapa de detección de bordes
- Segmentar con una máscara roja el borde de las bananas en una imagen
- Marcar un teléfono con un recuadro rojo en la imagen de un escritorio desordenado
- Borrar el teléfono marcado y agregar café sobre el escritorio
- Convertir la imagen final en una imagen de detección de bordes
- Como es un modelo integrado de comprensión y generación, también puede volver a analizar las imágenes que genera
- En un ejemplo donde se generan un perro y un gato y se pregunta por sus razas, identifica al perro como Beagle o mezcla de Beagle, y al gato como Tabby cat
Resolución, relación de aspecto y entrada de múltiples imágenes
- Qwen VLo usa entrenamiento con resolución dinámica para admitir generación con resolución dinámica
- Acepta imágenes de resolución y relación de aspecto arbitrarias tanto en la entrada como en la salida
- Puede crear imágenes adaptadas a escenarios como pósters, ilustraciones, banners web y portadas para redes sociales, sin quedar limitado a un formato fijo
- También puede manejar formatos alargados como 4:1 o 1:3
- Sin embargo, la función de generación de imágenes con relaciones de aspecto extremas aún no se lanzó oficialmente
- También incluye capacidad para comprender y generar usando varias imágenes de entrada
- Como ejemplo, se usa una tarea de colocar una imagen de artículos de tocador dentro de una imagen de una canasta roja
- La función de entrada de múltiples imágenes aún no se lanzó oficialmente
Limitaciones de la etapa preview y próximos pasos
- Qwen VLo todavía está en preview, por lo que quedan varias limitaciones
- Pueden aparecer imprecisiones durante la generación
- Los resultados pueden no coincidir con la imagen original
- Puede no seguir las instrucciones
- Puede faltarle estabilidad para reconocer y comprender la intención de las imágenes generadas
- A futuro, planean seguir mejorando la estabilidad y robustez
- Al manejar entradas y salidas de texto y visuales en ambas direcciones, los modelos multimodales grandes pueden entregar respuestas no solo en texto, sino también en imágenes
- La generación de diagramas, el agregado de líneas guía y las anotaciones de áreas clave pueden aprovecharse como herramientas de comunicación más variadas
- También planean seguir explorando formas de generar resultados intermedios como mapas de segmentación o detección para que el modelo verifique su propia comprensión y mejore su rendimiento
1 comentarios
Opiniones en Hacker News
Es una lástima que no haya pesos abiertos. Históricamente, la fortaleza de Qwen fue su estrategia de pesos abiertos, y habría sido bueno ver un modelo realmente de pesos abiertos que compitiera con la generación de imágenes autorregresiva de 4o.
Hay muchas líneas de investigación interesantes que solo son posibles con acceso a los pesos. Si les preocupa recuperar los costos de desarrollo, podrían tomar como referencia el lanzamiento de Flux Kontext Dev de BFL: dar los pesos gratis a investigadores y particulares, y cobrar a las startups una licencia comercial a un precio razonable.
Por el tono anaranjado de las imágenes, parece bastante claro que se entrenó con salidas de OAI. Me pregunto si intentaron crear sus propios datos.
Al final se entrenó con OAI, es tan cerrado como OAI y, más importante aún, es peor que OAI. Es rara la estrategia de encerrarlo detrás de una API.
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
Por alguna razón, parece que la era de los pesos abiertos en China terminó. Se siente como un movimiento repentino y coordinado.
Alibaba dejó de abrir Qwen, Tencent dejó de abrir Hunyuan, y Seedream de Bytedance salió cerrado. Aun así, sigue pareciendo claro que entrenan con salidas de modelos occidentales. Estratégicamente, creo que tendría más sentido ir 100% abierto y vender infraestructura/servicios.
Si hablamos de hacer pesos abiertos, ¿no debería significar que la gente pueda usarlos libremente?
Lo que propones se parece más a pesos de prueba, pesos shareware o pesos para uso académico que a “pesos abiertos”. Si se elimina la idea de poder usarlos para cualquier cosa, como en el software de código abierto, la palabra “abierto” da una impresión equivocada.
Personalmente, soy escéptico de que solo con las tarifas de generación de imágenes puedan recuperar inversiones de decenas de millones de dólares, tiempo de GPU y sueldos de ingenieros.
A mis ojos, todas estas imágenes caen en el valle inquietante. Los colores y las sombras se ven desajustados.
Al ver el ejemplo de edición de la imagen del oso, parece que el modelo cambia más cosas de las que se le piden.
Le pidieron cambiar el fondo, pero el oso en sí también cambió por completo; la camisa es la misma, pero el pelaje y la cara son claramente distintos. Cuando cambia el oso por un globo, también cambia el fondo, elimina el pavimento y desaparece la semilla de la izquierda de la sandía. Me pregunto si esto se puede corregir con un mejor prompt, o si es una limitación del modelo/la arquitectura.
Como prueba casi obligatoria, intenté una imagen de un pelícano andando en bicicleta, no en SVG sino como imagen, y también generé algunas imágenes de acordeones. Tiene cierta dificultad para alinear correctamente los dedos y las teclas negras, pero es bastante rápido.
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
El desafío está en usar SVG en lugar de un formato basado en píxeles. Para crear SVG correctamente hace falta cierto grado de razonamiento.
Curiosamente, los ejemplos de modificación de imágenes —es decir, edición o transferencia de estilo— tienen ese ligero tinte amarillo que se ve en GPT Image 1, el modelo de imágenes más reciente de ChatGPT 4o. Flux Kontext no parece tener esa sensación; me pregunto por qué.
No sé cómo detener la lectura automática. ¿No podría el sitio web simplemente quedarse quieto y esperar hasta que yo le pida hacer algo?
En watch, un video empezó a reproducirse automáticamente en pantalla completa y enseguida también comenzó a leer. Como referencia, uso Firefox en iOS.
Esto es en Firefox para Android, así que no sé si la versión de iOS tiene la misma función. También existe en escritorio. Desde ahí también puedes bloquear por completo las solicitudes de los sitios web para enviar notificaciones.
Como investigador de machine learning y con un título en física, soy bastante cuidadoso al usar palabras como comprensión y “descripción” para este tipo de modelos. En particular, la palabra comprensión no ayuda mucho y, francamente, me parece dañina.
En física usamos matemáticas por su concreción, y programar es difícil por la misma razón. Creo que la gente subestima cuánto entiende del mundo. Lo importante son los matices, pero como son tan cotidianos solemos olvidar su importancia. Vale la pena leer “Relativity of Wrong” de Asimov. Para decir que estos sistemas entienden algo, deberían poder hacer deducción y abducción, refinar conceptos e ideas, y descubrir algo más que combinaciones de lo que ingirieron. Entrenarse con todo el conocimiento humano y luego repetir ese conocimiento no demuestra inteligencia. Es poco probable que hayan comprimido sin pérdida el conocimiento en un modelo de este tamaño, pero si no se profundiza en los datos y el conocimiento, es muy difícil saber qué sabe y qué memorizó. Crear algo útil y crear inteligencia son problemas distintos.
Para entender de verdad, debería poder proponer pensamiento contrafactual. Toda proposición de la física es una proposición contrafactual. Si tomamos F=ma como ejemplo, puedes cambiar la masa o la aceleración y aun así calcular la fuerza. Puedes observar una masa específica moviéndose con una aceleración específica y preguntar: “¿y si fuera el doble de pesada?”, y responderlo. El modelo del mundo de las personas también hace esto. Simplemente no lo explicamos con matemáticas, pero planteamos contrafactuales y los manejamos bastante bien con frecuencia. No creo que los sistemas modernos de machine learning hagan esto.
La imagen del artículo original es un buen ejemplo de falta de comprensión. A la derecha, no solo está mal la cantidad de dedos, sino que las teclas del teclado también son raras. Con entender un poco, se sabe que las teclas no deberían repetirse. La distribución también está hecha un desastre, como un objeto de un sueño; es muy probable que la cantidad de teclas no coincida con la cantidad de etiquetas, y los tamaños también parecen desajustados. En este tipo de sistemas es común que, cuanto más tiempo lo miras, peor se ve. A primera vista parece aceptable, pero mientras más lo observas, más te adentras en el valle inquietante.
https://youtube.com/watch?v=cDA3_5982h8
El código es matemática. Hay un isomorfismo entre los lenguajes Turing-completos y la matemática computable. Para verlo con más rigor, basta buscar a Church y Turing. Por supuesto, la física y la matemática no son lo mismo, pero la matemática es irrazonablemente efectiva.
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
Desde la perspectiva de alguien que construye cosas, este tipo de argumento del hombre de paja cansa.
Expresar la entrada y la salida con palabras ampliamente entendidas ayuda. Además, se usaron comillas para señalar que no se está exagerando con las implicaciones a largo plazo de esas palabras. Quien lea el release entenderá que Qwen antes era un VLM que veía/percibía/entendía, y que ahora puede generar/describir/dibujar imágenes. No hace falta fabricar una crisis más allá de eso.
Me pregunto si hay algún informe técnico sobre este modelo u otros modelos que generan imágenes de manera similar, como 4o. De verdad quiero entender la arquitectura de la generación de imágenes al estilo 4o.
Creo que el machine learning ha avanzado mucho más hacia describir el mundo que hacia “entenderlo”.
Decir “lo entiendo” en realidad no es más que un criterio personal arbitrario.
Las imágenes se comprimen en 256 tokens antes de que el modelo de lenguaje las vea. Si le pides que agregue un sombrero, la razón por la que vuelve a dibujar toda la cara es que los objetos no se almacenan por separado.
No hay un oso persistente en memoria; todo está en una sopa de espacio latente fusionado. Se vuelve a muestrear bajo la nueva restricción, y con cambiar apenas el prompt se reequilibra todo el embedding. Por eso incluso una edición pequeña se propaga por toda la imagen. Parece una composición de escena de un solo intento, y es útil para otros usos.
La edición de gpt-image-1 va bien para cambios de estilo completos, como “hazlo estilo Ghibli”, pero no tanto para agregar anteojos a una imagen realista manteniendo todos los detalles.