Inkling: el modelo de pesos abiertos de Thinking Machines Lab
(thinkingmachines.ai)- Inkling, entrenado desde cero y con todos sus pesos publicados, es un Transformer MoE con 975B de parámetros totales y 41B activos, que admite un contexto de hasta 1M de tokens y razonamiento basado en texto, imágenes y audio
- Fue preentrenado con 45 billones de tokens compuestos por texto, imágenes, audio y video, priorizando la versatilidad y la capacidad de personalización en tareas de agentes, razonamiento, programación, seguimiento de instrucciones y factualidad por encima de benchmarks específicos
- Permite ajustar el esfuerzo de razonamiento en un rango de 0.2 a 0.99 para equilibrar costo, latencia y rendimiento; en Terminal Bench 2.1 usa cerca de un tercio de los tokens para lograr el mismo desempeño que Nemotron 3 Ultra
- Actualmente no es el modelo abierto o cerrado más potente, pero apunta a ser una base de pesos abiertos que combina capacidades multimodales, razonamiento eficiente, fine-tuning con Tinker y diversas herramientas de inferencia y despliegue
- La vista previa de Inkling-Small, presentada en conjunto, tiene 276B de parámetros totales y 12B activos, logró resultados similares o superiores al modelo grande en varias evaluaciones, y publicará todos sus pesos una vez completadas las pruebas
Un modelo generalista con todos sus pesos publicados
- Thinking Machines Lab publica los pesos completos de Inkling, entrenado desde cero para que las personas puedan personalizar directamente modelos de IA
- Inkling es un Transformer Mixture-of-Experts en el que se activan 41B por token de un total de 975B parámetros
- La ventana de contexto máxima es de 1M de tokens
- Fue preentrenado con 45 billones de tokens compuestos por texto, imágenes, audio y video
- Razona de forma nativa combinando entradas de texto, imágenes y audio
- En vez de enfocarse en un área específica, fue entrenado como un modelo base equilibrado que abarca tareas de agentes, razonamiento, programación, seguimiento de instrucciones, factualidad, visión y audio
- No es el modelo más potente entre todos los modelos abiertos y cerrados; su objetivo es ser un modelo base personalizable que combine capacidades multimodales, razonamiento eficiente y fine-tuning con Tinker
- Es el primer lanzamiento de una familia de modelos que escalará a distintos tamaños, y también se publica como vista previa el más liviano Inkling-Small
- En Tinker se puede hacer fine-tuning de Inkling directamente, y en Inkling Playground de la consola de Tinker se puede conversar con el modelo y comprobar sus características
- En la demo de personalización, Inkling usó Tinker para escribir, ejecutar y evaluar sus propios trabajos de fine-tuning, funcionando dentro del arnés OpenCode
Agentes generalistas y creación de resultados
- Para poder ajustarlo a distintos flujos de trabajo y productos, se priorizó el rendimiento en una amplia variedad de tareas por encima del mejor desempeño en un solo campo
- Durante el entrenamiento en programación y arneses de agentes, se aleatorizaron los conjuntos de herramientas y esquemas para reducir la sensibilidad a un arnés específico
- El esfuerzo de razonamiento también puede configurarse dentro del arnés
- En la mayoría de los benchmarks de agentes registra puntajes competitivos entre los modelos de pesos abiertos
- Con un solo prompt, creó una app web para solicitudes de empleo e incorporó en la app un agente de uso de navegador que completa formularios con un perfil guardado según instrucciones en lenguaje natural
- Forma parte del grupo de modelos de pesos abiertos sólidos en el leaderboard Agentic Web Dev de Design Arena, que compara apps web generadas en duelos uno a uno a ciegas
- Genera entregables multipágina, como un journal PDF de 9 páginas sobre comida y viajes, manteniendo un seguimiento preciso de instrucciones y un estilo consistente
- Mejoró un juego online multijugador de Snake con servidor en tiempo real, bots y leaderboard, incorporando 40 rondas de feedback entregado por GPT Codex como revisor
- Mantener largos ciclos de mejora iterativa y hacer evolucionar los resultados con feedback se considera clave para el trabajo colaborativo
Esfuerzo de razonamiento para ajustar costo y rendimiento
- En aplicaciones reales, no solo importa el máximo rendimiento: también hay restricciones de costo en tokens y latencia, y una baja latencia es especialmente importante para la colaboración e iteración repetidas
- El esfuerzo de razonamiento puede ajustarse en un rango de 0.2 a 0.99 para elegir el equilibrio entre rendimiento y cantidad de tokens generados
- Se comparó el rendimiento por nivel de esfuerzo y el promedio de tokens generados en Terminal Bench 2.1, Humanity’s Last Exam (HLE) e IFBench
- En Terminal Bench 2.1 logra un desempeño al nivel de Nemotron 3 Ultra usando cerca de un tercio de los tokens
- Los resultados de HLE se midieron en un checkpoint previo al lanzamiento final, por lo que son ligeramente inferiores a los del modelo final
- Cuando se llama al modelo millones de veces o se lo incorpora en flujos de trabajo largos, se puede elegir la configuración por caso de uso según la curva completa de costo-rendimiento, no solo por el mejor puntaje individual
Arquitectura multimodal nativa sin encoder
- Fue entrenado como multimodal desde cero para poder usarse como modelo de razonamiento en segundo plano del sistema de modelos de interacción, que admite colaboración en tiempo real con voz y visión
- Tanto para visión como para audio usa una arquitectura sin encoder separado
- El audio se ingresa como espectrogramas dMel
- Las imágenes se codifican como parches de 40×40 píxeles con un hMLP de 4 capas, siguiendo diseños de investigaciones relacionadas con Vision Transformer
- Ambas entradas pasan por una capa de embedding liviana y luego se procesan junto con los tokens de texto
- En audio, admite transcripción de voz, seguimiento de instrucciones por voz, preguntas y respuestas sobre grabaciones, y razonamiento sobre audio de larga duración
- Con effort=0.99 registra Audio MC 56.6%, MMAU 77.2% y VoiceBench 91.4%
- Según VoiceBench, MMAU y Audio MC, pertenece al grupo de modelos de audio de pesos abiertos sólidos
- En visión, no solo describe imágenes y responde preguntas, sino que también realiza razonamiento visual sobre gráficos, diagramas y matemáticas
- MMMU Pro Standard 10 es 73.5%, y Charxiv RQ es 78.1%
- Si se usan manipulaciones de imagen en Python, como zoom y recorte, Charxiv RQ sube a 82.0%
- Planean seguir ampliando las capacidades multimodales en modelos posteriores y en el pipeline de entrenamiento
Calibración de confianza y manejo de incertidumbre
- Las características epistémicas (epistemics) de Inkling son un concepto que aborda en conjunto la confianza calibrada, el seguimiento de instrucciones y la resistencia a la censura
- Si muestra confianza excesiva en todas las respuestas, incluso cuando falta información o inventa contenido, el usuario debe verificar todo cada vez; por eso aprende calibración probabilística mediante aprendizaje por refuerzo con reglas de calificación adecuadas para preguntas reales resueltas
- Los resultados de una evaluación de predicción realizada entre el 30 de junio y el 13 de julio de 2026 con un checkpoint distinto de la versión pública son los siguientes
- El ForecastBench Brier Index sin búsqueda es 61.1±0.79, y con búsqueda es 63.7±0.82
- El Prophet Arena Brier Score es 0.1617, donde menor es mejor
- Para el seguimiento de instrucciones en preguntas complejas y difíciles de verificar, se usan dos evaluadores automáticos: rubric grader y claims grader
- El rubric grader evalúa con una checklist los elementos necesarios para una buena respuesta, pero es vulnerable a intentos de mejorar el puntaje generando en masa hechos que parecen relevantes
- El claims grader verifica cada afirmación factual mediante búsqueda web agéntica y penaliza las afirmaciones no confirmadas
- Se entrena usando ambos evaluadores para aumentar la utilidad y reducir las alucinaciones
- Para entrenar directamente la incertidumbre calibrada en respuestas largas, también se usan datos de preguntas y respuestas factuales breves con recompensas conscientes de la abstención (abstention-aware rewards)
- Solo se recompensa responder cuando la probabilidad de acierto es alta; si hay incertidumbre, conviene responder “no lo sé” o dar una conjetura condicionada
- Algunos prompts recomiendan o prohíben expresiones de reserva, para seguir la preferencia del usuario entre una suposición forzada y una no respuesta calibrada
- Fue entrenado para responder directamente incluso a temas que podrían ser objeto de censura, y en la Propaganda and Censorship Eval de Cognition muestra un patrón fuerte de no acatar la censura
Evaluación de capacidades de riesgo y comportamiento seguro
- Tras entrenarlo con una especificación interna de comportamiento seguro aplicable a todas las modalidades de entrada, los resultados se validaron mediante evaluadores externos de seguridad
- La evaluación de capacidades de riesgo incluye CBRN, ciberseguridad y pérdida de control, mientras que las amenazas entre humanos e IA abordan tendencias aduladoras, usuarios vulnerables y manipulación dañina
- Los principales resultados de seguridad con effort=0.99 son los siguientes
- FORTRESS Adversarial 78.0%
- FORTRESS Benign 95.9%
- StrongREJECT 98.6%
- Entre los modelos de pesos abiertos comparados, mostró las protecciones integradas más sólidas en FORTRESS; rechaza más solicitudes dañinas relacionadas con armas y violencia, y reduce el exceso de rechazos en solicitudes legítimas que parecen similares
- En StrongREJECT, que mide el rechazo de solicitudes claramente dañinas, supera el 98%, un nivel similar al de otros modelos abiertos y cerrados
- En modelos personalizados, siguen investigando cómo el fine-tuning afecta el comportamiento seguro y el aumento de capacidades
Benchmarks completos y condiciones de medición
- Todas las evaluaciones base se ejecutaron con effort=0.99, temperature=1.0, y en las evaluaciones de programación se aplicó un límite de ruta de trabajo de hasta 256K tokens
- Para HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience y MMMU Pro, se usaron cuando fue posible los puntajes reportados externamente por Artificial Analysis
- Los puntajes representativos de Inkling son los siguientes
- Razonamiento: HLE solo texto 29.7%, uso de herramientas 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
- Programación agéntica: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
- Agentes generales: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp con gestión de contexto 77.1%
- Factualidad y conversación: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
- Visión y audio: MMMU Pro 73.5%, Charxiv RQ con Python 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
- Al interpretar los resultados, deben considerarse las siguientes diferencias en condiciones de evaluación
- El resultado de Inkling en SWEBench Verified se midió con un arnés solo bash, mientras que para modelos externos se usaron puntajes autorreportados
- Terminal Bench 2.1 se midió con un arnés interno de programación, y un pequeño número de resultados donde se confirmó contaminación de respuestas en búsquedas web se calificó con 0
- VoiceBench es sensible al formato de salida porque usa coincidencia de cadenas hardcodeada, por lo que se agregó un mensaje de sistema que pide seguir el formato de respuesta esperado
- Algunos modelos comparativos de Audio MC no están en el leaderboard oficial, por lo que se evaluaron internamente
- Claude Fable 5 y GPT 5.6 Sol en CharXiv RQ con Python se midieron con un arnés interno de Python
Arquitectura MoE para contexto largo
- La arquitectura MoE de Inkling sigue en general a DeepSeek-V3, pero aplica cambios para mejorar la eficiencia y el rendimiento en contextos largos
- Cada capa MoE tiene 256 expertos enrutados y 2 expertos compartidos, y por cada token se activan 6 expertos enrutados
- Usa un router basado en sigmoid y un sesgo de balanceo de carga sin pérdida auxiliar
- Los puntajes de los expertos enrutados seleccionados y de los expertos compartidos se normalizan juntos y se usan como pesos de combinación de la salida
- La atención alterna capas de ventana deslizante y capas globales en una proporción de 5:1, y usa 8 KV heads
- Para la codificación posicional adopta embeddings de posición relativa en lugar del RoPE ampliamente usado
- Las representaciones de posición relativa de la familia Music Transformer ofrecieron mejor rendimiento y extrapolación en secuencias más largas
- Las convoluciones cortas se aplican en dos puntos
- Después de las proyecciones de key y value de cada capa de atención
- Antes de que las ramas residuales de atención y MLP se fusionen con el flujo residual principal
Preentrenamiento con 45 billones de tokens y aprendizaje por refuerzo a gran escala
- Fue entrenado con 45 billones de tokens compuestos por texto, imágenes, audio y video en sistemas NVIDIA GB300 NVL72
- Para la optimización se combinó Muon para pesos de matrices grandes con Adam para el resto de los parámetros
- El calendario de hiperparámetros proviene de la investigación sobre modular manifolds
- La intensidad del weight decay se vinculó al cuadrado de la tasa de aprendizaje para mantener estable el tamaño total de los pesos aunque cambie la duración del entrenamiento
- El post-entrenamiento abarca matemáticas, programación agéntica y uso de herramientas, audio, imágenes, conversación y seguridad
- Para el SFT inicial se usaron datos sintéticos generados por modelos de pesos abiertos como Kimi K2.5
- El SFT inicial representa una pequeña parte del cómputo total; la mayor parte se dedicó a aprendizaje por refuerzo a gran escala en entornos sintéticos y creados por humanos
- El aprendizaje por refuerzo asíncrono se escaló a más de 30 millones de rollouts y entrenó de forma estable en dos ejecuciones continuas de larga duración
- Un puntaje separado de evaluación de razonamiento que combina AIME, HLE, GPQA y otros mejoró de forma log-lineal durante todo el proceso
- Al cambiar el mensaje de sistema y el costo por token, se especificó el esfuerzo por muestra, y el modelo aprendió a usar distintas cantidades de tokens para adquirir control del esfuerzo de razonamiento
- A medida que avanzó el aprendizaje por refuerzo, el proceso de pensamiento cambió a una forma comprimida con menos conectores gramaticales y artículos, pero mantuvo la comprensibilidad y la respuesta final
- No fue un resultado buscado directamente por la recompensa, sino un cambio surgido de la presión por eficiencia
- Un fenómeno similar se observó en el entrenamiento de SWE-1.7 de Cognition
- En modelos posteriores planean escalar aún más el cómputo en preentrenamiento, post-entrenamiento y aprendizaje por refuerzo
Vista previa de Inkling-Small, más pequeño y rápido
- Inkling-Small es un modelo MoE con 276B parámetros totales y 12B activos, con menor costo y latencia que Inkling, que tiene 41B activos
- Gracias a mejores datos de preentrenamiento y métodos de entrenamiento, logró resultados similares o superiores al Inkling grande en varios benchmarks, y ambos modelos usan el mismo stack escalable de post-entrenamiento
- Los principales resultados comparados con el modelo grande con effort=0.99 son los siguientes
- Uso de herramientas en HLE 46.6% frente a 46.0%, GPQA Diamond 88.3% frente a 87.2%
- MCP-Atlas 74.9% frente a 74.1%, IFBench 83.4% frente a 79.8%
- Charxiv RQ con Python 83.4% frente a 82.0%, MMAU 77.5% frente a 77.2%, StrongREJECT 98.8% frente a 98.6%
- También hay resultados inferiores al modelo grande
- Terminal Bench 2.1 es 52.7% frente a 63.8%, Tau 3 Banking es 13.6% frente a 23.7%
- SimpleQA Verified es 20.9% frente a 43.9%, Audio MC es 49.6% frente a 56.6%
- Es adecuado para tareas donde el costo y la latencia son importantes, como programación, evaluación con LLM y generación de datos sintéticos para otros modelos
- Actualmente están finalizando las pruebas y publicarán todos los pesos al completarlas
Ecosistema de fine-tuning y despliegue
- En problemas especializados de cada organización que son difíciles de resolver con modelos generalistas, el fine-tuning con conocimiento experto puede reducir la brecha, e Inkling está diseñado para aprender rápidamente durante el fine-tuning
- En Tinker se puede usar Inkling con longitudes de contexto de 64K y 256K
- Se aplica un 50% de descuento por tiempo limitado
- Los detalles de precios se pueden consultar en la documentación de modelos de Tinker
- El Tinker cookbook admite Inkling de forma nativa y agrega 3 recetas que aprovechan las capacidades de audio
- tml-renderer ofrece funciones para muestrear de forma estable llamadas a herramientas, contenido de razonamiento y entradas multimodales, y para post-entrenamiento
- Inkling Playground es una interfaz conversacional con búsqueda web agéntica integrada y es gratuita por tiempo limitado
- Los checkpoints ajustados en Tinker pueden desplegarse mediante las APIs de TogetherAI, Fireworks, Modal, Databricks y Baseten
- También se admite el ecosistema open source de inferencia y aprendizaje por refuerzo
- Colaboran con RadixArk para admitir SGLang y Miles
- Integran vLLM con Inferact, TokenSpeed con Lightseek y llama.cpp con Unsloth
- Admiten la integración de transformers con Hugging Face
- En el repositorio de Inkling en Hugging Face se pueden obtener el checkpoint original y los checkpoints NVFP4 para inferencia eficiente en NVIDIA Blackwell
1 comentarios
Comentarios de Hacker News
Da gusto ver que sea el modelo multimodal de pesos abiertos más grande con soporte de audio, y me da curiosidad qué tan bueno será su rendimiento real con audio
Para ejecutarlo en local, se puede consultar este material
https://github.com/danielhanchen/llama.cpp/tree/add-inkling
https://unsloth.ai/docs/models/inkling
https://huggingface.co/unsloth/inkling-GGUF
https://huggingface.co/unsloth/inkling-NVFP4
Dicen que es mejor que KimiK2.7, pero mientras GLM5.2 está recibiendo mucha atención, yo sigo usando KimiK2.7 como en la mitad de los casos. Si los benchmarks son ciertos, entra perfectamente entre las opciones, y espero que en algunas áreas supere a todos los demás modelos de pesos abiertos
Estados Unidos también necesita su propio DeepSeek o Z.ai. Mucha gente, incluyéndome, termina apoyando el éxito de los modelos abiertos chinos porque no hay otras opciones, y Thinking Machines podría ocupar ese lugar
La lista actual de modelos de pesos abiertos se puede ver en https://www.arcee.ai/open-source-catalog
Aun así, la combinación de API de fine-tuning y modelos de pesos abiertos al menos parece un negocio viable. Si al final solo se trata de usar QLoRA o LoRA, sigo sin tener claro por qué quien posee el modelo abierto haría mejor el fine-tuning, pero vale la pena seguirlo
Creo que un modelo base abierto que se pueda ajustar en Tinker es un excelente modelo de negocio. Las empresas pueden ser dueñas de su propio modelo y, para tareas específicas, obtener un rendimiento superior al de los modelos de punta a un costo mucho menor, mientras Thinking Machines podría convertirse en el proveedor clave de infraestructura y servicios de ese ecosistema
También impresiona que Inkling-Small, gracias a mejoras en los datos de preentrenamiento y en la forma de entrenamiento, iguale o supere al modelo grande en varios benchmarks. Tengo muchas ganas de ver la próxima generación de modelos Thinky
El desarrollo moderno de modelos requiere una variedad sorprendente de trabajos. Antes bastaba con crear una nueva función de pérdida o un pequeño cambio de arquitectura, correr el ciclo de entrenamiento y evaluación, y publicar los resultados, pero ahora se volvió una carrera de la Reina Roja en la que incluso solo para mantenerse al día hace falta una cantidad enorme de trabajo
Es casi asombroso que cada una de unas 500 etapas sea un pequeño ciclo de optimización. Por eso también se invirtió la vieja regla de que los equipos pequeños son más rápidos que los grandes, y en IA hacen falta equipos grandes. La inercia organizacional se vuelve un problema cuando ya pasas de miles de personas; antes de eso, es difícil que solo 12 personas brillantes puedan abarcar tantos componentes
Qué bueno que haya salido un modelo potente de pesos abiertos, con contexto largo y multimodal. Hay muchas aplicaciones que se beneficiarían del rendimiento en audio, y hasta que z.ai desarrolle mejor sus capacidades visuales, también podría ser fuerte para aplicaciones de agentes de propósito general
Aun así, se le ven debilidades en algunos benchmarks relacionados. Al final, como con cualquier otro modelo, hay que meterlo en tu propio harness y evaluar bien las tareas que realmente te importan
Considerando que es su primer modelo y además lo publicaron, empiezo a recuperar la confianza en los laboratorios estadounidenses de IA abierta. Todavía no está en OpenRouter ni similares, así que no he podido probarlo, pero si llega al nivel de GLM5.1, ya sería un muy buen primer intento
Parece que pronto más laboratorios podrán acercarse al estado del arte, y siempre se agradece más competencia en cualquier área
Aún son pruebas muy tempranas, pero parece tener más potencial de lo que muestran los benchmarks. Casi nunca he visto, fuera de los modelos de Anthropic, que en mis evaluaciones privadas rinda mucho mejor que en las públicas; todavía es muy pronto para juzgar, pero probablemente le dedicaré bastante tiempo en las próximas semanas
Entre los modelos de pesos abiertos, los de Moonshot AI eran los únicos que me parecían lo bastante buenos como para usarlos aceptando sus riesgos, y Z.AI no me rindió tan bien en mi tipo de trabajo, pero este modelo podría convertirse en una segunda opción. Si Mistral hubiera sacado algo así, los entusiastas europeos, incluyéndome, no habríamos dejado de hablar del tema
Ningún modelo de otros laboratorios, incluyendo Fable 5 y GPT-5.6 Sol, pudo responderlas correctamente sin web, pero si dominas ese campo, entran dentro de lo que se considera conocimiento general y además hay respuestas objetivamente correctas. Que supere a Fable 5 en tareas que no están en benchmarks públicos y por eso son difíciles de sobreajustar, es bastante impresionante
Sobre todo, la capacidad de seguir instrucciones se ve buena, aunque en programación parece más débil que otros modelos. Aun así, siempre da gusto ver más diversidad entre los modelos de pesos abiertos, y habrá que probarlo directamente para ver qué personalidad tiene
Fue el resultado de pedirle: “Revisa la portada de Hacker News de hoy y crea un producto de briefing diario que resuma las noticias tecnológicas del día para poder leerlas más tarde”
https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...
En general parece mejor que Nemotron y peor que GLM, así que por ahora da la impresión de ser el mejor modelo estadounidense de pesos abiertos
Hoy probé Hy3, me gustó, y me pareció una mejora leve sobre DSV4P. Si además de ese nivel de rendimiento soporta multimodalidad, entonces suena bastante bien