5 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Inkling, entrenado desde cero y con todos sus pesos publicados, es un Transformer MoE con 975B de parámetros totales y 41B activos, que admite un contexto de hasta 1M de tokens y razonamiento basado en texto, imágenes y audio
  • Fue preentrenado con 45 billones de tokens compuestos por texto, imágenes, audio y video, priorizando la versatilidad y la capacidad de personalización en tareas de agentes, razonamiento, programación, seguimiento de instrucciones y factualidad por encima de benchmarks específicos
  • Permite ajustar el esfuerzo de razonamiento en un rango de 0.2 a 0.99 para equilibrar costo, latencia y rendimiento; en Terminal Bench 2.1 usa cerca de un tercio de los tokens para lograr el mismo desempeño que Nemotron 3 Ultra
  • Actualmente no es el modelo abierto o cerrado más potente, pero apunta a ser una base de pesos abiertos que combina capacidades multimodales, razonamiento eficiente, fine-tuning con Tinker y diversas herramientas de inferencia y despliegue
  • La vista previa de Inkling-Small, presentada en conjunto, tiene 276B de parámetros totales y 12B activos, logró resultados similares o superiores al modelo grande en varias evaluaciones, y publicará todos sus pesos una vez completadas las pruebas

Un modelo generalista con todos sus pesos publicados

  • Thinking Machines Lab publica los pesos completos de Inkling, entrenado desde cero para que las personas puedan personalizar directamente modelos de IA
  • Inkling es un Transformer Mixture-of-Experts en el que se activan 41B por token de un total de 975B parámetros
    • La ventana de contexto máxima es de 1M de tokens
    • Fue preentrenado con 45 billones de tokens compuestos por texto, imágenes, audio y video
    • Razona de forma nativa combinando entradas de texto, imágenes y audio
  • En vez de enfocarse en un área específica, fue entrenado como un modelo base equilibrado que abarca tareas de agentes, razonamiento, programación, seguimiento de instrucciones, factualidad, visión y audio
  • No es el modelo más potente entre todos los modelos abiertos y cerrados; su objetivo es ser un modelo base personalizable que combine capacidades multimodales, razonamiento eficiente y fine-tuning con Tinker
  • Es el primer lanzamiento de una familia de modelos que escalará a distintos tamaños, y también se publica como vista previa el más liviano Inkling-Small
  • En Tinker se puede hacer fine-tuning de Inkling directamente, y en Inkling Playground de la consola de Tinker se puede conversar con el modelo y comprobar sus características
  • En la demo de personalización, Inkling usó Tinker para escribir, ejecutar y evaluar sus propios trabajos de fine-tuning, funcionando dentro del arnés OpenCode

Agentes generalistas y creación de resultados

  • Para poder ajustarlo a distintos flujos de trabajo y productos, se priorizó el rendimiento en una amplia variedad de tareas por encima del mejor desempeño en un solo campo
  • Durante el entrenamiento en programación y arneses de agentes, se aleatorizaron los conjuntos de herramientas y esquemas para reducir la sensibilidad a un arnés específico
    • El esfuerzo de razonamiento también puede configurarse dentro del arnés
    • En la mayoría de los benchmarks de agentes registra puntajes competitivos entre los modelos de pesos abiertos
  • Con un solo prompt, creó una app web para solicitudes de empleo e incorporó en la app un agente de uso de navegador que completa formularios con un perfil guardado según instrucciones en lenguaje natural
  • Forma parte del grupo de modelos de pesos abiertos sólidos en el leaderboard Agentic Web Dev de Design Arena, que compara apps web generadas en duelos uno a uno a ciegas
  • Genera entregables multipágina, como un journal PDF de 9 páginas sobre comida y viajes, manteniendo un seguimiento preciso de instrucciones y un estilo consistente
  • Mejoró un juego online multijugador de Snake con servidor en tiempo real, bots y leaderboard, incorporando 40 rondas de feedback entregado por GPT Codex como revisor
    • Mantener largos ciclos de mejora iterativa y hacer evolucionar los resultados con feedback se considera clave para el trabajo colaborativo

Esfuerzo de razonamiento para ajustar costo y rendimiento

  • En aplicaciones reales, no solo importa el máximo rendimiento: también hay restricciones de costo en tokens y latencia, y una baja latencia es especialmente importante para la colaboración e iteración repetidas
  • El esfuerzo de razonamiento puede ajustarse en un rango de 0.2 a 0.99 para elegir el equilibrio entre rendimiento y cantidad de tokens generados
  • Se comparó el rendimiento por nivel de esfuerzo y el promedio de tokens generados en Terminal Bench 2.1, Humanity’s Last Exam (HLE) e IFBench
    • En Terminal Bench 2.1 logra un desempeño al nivel de Nemotron 3 Ultra usando cerca de un tercio de los tokens
    • Los resultados de HLE se midieron en un checkpoint previo al lanzamiento final, por lo que son ligeramente inferiores a los del modelo final
  • Cuando se llama al modelo millones de veces o se lo incorpora en flujos de trabajo largos, se puede elegir la configuración por caso de uso según la curva completa de costo-rendimiento, no solo por el mejor puntaje individual

Arquitectura multimodal nativa sin encoder

  • Fue entrenado como multimodal desde cero para poder usarse como modelo de razonamiento en segundo plano del sistema de modelos de interacción, que admite colaboración en tiempo real con voz y visión
  • Tanto para visión como para audio usa una arquitectura sin encoder separado
  • En audio, admite transcripción de voz, seguimiento de instrucciones por voz, preguntas y respuestas sobre grabaciones, y razonamiento sobre audio de larga duración
    • Con effort=0.99 registra Audio MC 56.6%, MMAU 77.2% y VoiceBench 91.4%
    • Según VoiceBench, MMAU y Audio MC, pertenece al grupo de modelos de audio de pesos abiertos sólidos
  • En visión, no solo describe imágenes y responde preguntas, sino que también realiza razonamiento visual sobre gráficos, diagramas y matemáticas
    • MMMU Pro Standard 10 es 73.5%, y Charxiv RQ es 78.1%
    • Si se usan manipulaciones de imagen en Python, como zoom y recorte, Charxiv RQ sube a 82.0%
  • Planean seguir ampliando las capacidades multimodales en modelos posteriores y en el pipeline de entrenamiento

Calibración de confianza y manejo de incertidumbre

  • Las características epistémicas (epistemics) de Inkling son un concepto que aborda en conjunto la confianza calibrada, el seguimiento de instrucciones y la resistencia a la censura
  • Si muestra confianza excesiva en todas las respuestas, incluso cuando falta información o inventa contenido, el usuario debe verificar todo cada vez; por eso aprende calibración probabilística mediante aprendizaje por refuerzo con reglas de calificación adecuadas para preguntas reales resueltas
  • Los resultados de una evaluación de predicción realizada entre el 30 de junio y el 13 de julio de 2026 con un checkpoint distinto de la versión pública son los siguientes
    • El ForecastBench Brier Index sin búsqueda es 61.1±0.79, y con búsqueda es 63.7±0.82
    • El Prophet Arena Brier Score es 0.1617, donde menor es mejor
  • Para el seguimiento de instrucciones en preguntas complejas y difíciles de verificar, se usan dos evaluadores automáticos: rubric grader y claims grader
    • El rubric grader evalúa con una checklist los elementos necesarios para una buena respuesta, pero es vulnerable a intentos de mejorar el puntaje generando en masa hechos que parecen relevantes
    • El claims grader verifica cada afirmación factual mediante búsqueda web agéntica y penaliza las afirmaciones no confirmadas
    • Se entrena usando ambos evaluadores para aumentar la utilidad y reducir las alucinaciones
  • Para entrenar directamente la incertidumbre calibrada en respuestas largas, también se usan datos de preguntas y respuestas factuales breves con recompensas conscientes de la abstención (abstention-aware rewards)
    • Solo se recompensa responder cuando la probabilidad de acierto es alta; si hay incertidumbre, conviene responder “no lo sé” o dar una conjetura condicionada
    • Algunos prompts recomiendan o prohíben expresiones de reserva, para seguir la preferencia del usuario entre una suposición forzada y una no respuesta calibrada
  • Fue entrenado para responder directamente incluso a temas que podrían ser objeto de censura, y en la Propaganda and Censorship Eval de Cognition muestra un patrón fuerte de no acatar la censura

Evaluación de capacidades de riesgo y comportamiento seguro

  • Tras entrenarlo con una especificación interna de comportamiento seguro aplicable a todas las modalidades de entrada, los resultados se validaron mediante evaluadores externos de seguridad
  • La evaluación de capacidades de riesgo incluye CBRN, ciberseguridad y pérdida de control, mientras que las amenazas entre humanos e IA abordan tendencias aduladoras, usuarios vulnerables y manipulación dañina
  • Los principales resultados de seguridad con effort=0.99 son los siguientes
    • FORTRESS Adversarial 78.0%
    • FORTRESS Benign 95.9%
    • StrongREJECT 98.6%
  • Entre los modelos de pesos abiertos comparados, mostró las protecciones integradas más sólidas en FORTRESS; rechaza más solicitudes dañinas relacionadas con armas y violencia, y reduce el exceso de rechazos en solicitudes legítimas que parecen similares
  • En StrongREJECT, que mide el rechazo de solicitudes claramente dañinas, supera el 98%, un nivel similar al de otros modelos abiertos y cerrados
  • En modelos personalizados, siguen investigando cómo el fine-tuning afecta el comportamiento seguro y el aumento de capacidades

Benchmarks completos y condiciones de medición

  • Todas las evaluaciones base se ejecutaron con effort=0.99, temperature=1.0, y en las evaluaciones de programación se aplicó un límite de ruta de trabajo de hasta 256K tokens
  • Para HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience y MMMU Pro, se usaron cuando fue posible los puntajes reportados externamente por Artificial Analysis
  • Los puntajes representativos de Inkling son los siguientes
    • Razonamiento: HLE solo texto 29.7%, uso de herramientas 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
    • Programación agéntica: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
    • Agentes generales: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp con gestión de contexto 77.1%
    • Factualidad y conversación: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
    • Visión y audio: MMMU Pro 73.5%, Charxiv RQ con Python 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
  • Al interpretar los resultados, deben considerarse las siguientes diferencias en condiciones de evaluación
    • El resultado de Inkling en SWEBench Verified se midió con un arnés solo bash, mientras que para modelos externos se usaron puntajes autorreportados
    • Terminal Bench 2.1 se midió con un arnés interno de programación, y un pequeño número de resultados donde se confirmó contaminación de respuestas en búsquedas web se calificó con 0
    • VoiceBench es sensible al formato de salida porque usa coincidencia de cadenas hardcodeada, por lo que se agregó un mensaje de sistema que pide seguir el formato de respuesta esperado
    • Algunos modelos comparativos de Audio MC no están en el leaderboard oficial, por lo que se evaluaron internamente
    • Claude Fable 5 y GPT 5.6 Sol en CharXiv RQ con Python se midieron con un arnés interno de Python

Arquitectura MoE para contexto largo

  • La arquitectura MoE de Inkling sigue en general a DeepSeek-V3, pero aplica cambios para mejorar la eficiencia y el rendimiento en contextos largos
  • Cada capa MoE tiene 256 expertos enrutados y 2 expertos compartidos, y por cada token se activan 6 expertos enrutados
    • Usa un router basado en sigmoid y un sesgo de balanceo de carga sin pérdida auxiliar
    • Los puntajes de los expertos enrutados seleccionados y de los expertos compartidos se normalizan juntos y se usan como pesos de combinación de la salida
  • La atención alterna capas de ventana deslizante y capas globales en una proporción de 5:1, y usa 8 KV heads
  • Para la codificación posicional adopta embeddings de posición relativa en lugar del RoPE ampliamente usado
    • Las representaciones de posición relativa de la familia Music Transformer ofrecieron mejor rendimiento y extrapolación en secuencias más largas
  • Las convoluciones cortas se aplican en dos puntos
    • Después de las proyecciones de key y value de cada capa de atención
    • Antes de que las ramas residuales de atención y MLP se fusionen con el flujo residual principal

Preentrenamiento con 45 billones de tokens y aprendizaje por refuerzo a gran escala

  • Fue entrenado con 45 billones de tokens compuestos por texto, imágenes, audio y video en sistemas NVIDIA GB300 NVL72
  • Para la optimización se combinó Muon para pesos de matrices grandes con Adam para el resto de los parámetros
    • El calendario de hiperparámetros proviene de la investigación sobre modular manifolds
    • La intensidad del weight decay se vinculó al cuadrado de la tasa de aprendizaje para mantener estable el tamaño total de los pesos aunque cambie la duración del entrenamiento
  • El post-entrenamiento abarca matemáticas, programación agéntica y uso de herramientas, audio, imágenes, conversación y seguridad
    • Para el SFT inicial se usaron datos sintéticos generados por modelos de pesos abiertos como Kimi K2.5
    • El SFT inicial representa una pequeña parte del cómputo total; la mayor parte se dedicó a aprendizaje por refuerzo a gran escala en entornos sintéticos y creados por humanos
  • El aprendizaje por refuerzo asíncrono se escaló a más de 30 millones de rollouts y entrenó de forma estable en dos ejecuciones continuas de larga duración
    • Un puntaje separado de evaluación de razonamiento que combina AIME, HLE, GPQA y otros mejoró de forma log-lineal durante todo el proceso
  • Al cambiar el mensaje de sistema y el costo por token, se especificó el esfuerzo por muestra, y el modelo aprendió a usar distintas cantidades de tokens para adquirir control del esfuerzo de razonamiento
  • A medida que avanzó el aprendizaje por refuerzo, el proceso de pensamiento cambió a una forma comprimida con menos conectores gramaticales y artículos, pero mantuvo la comprensibilidad y la respuesta final
    • No fue un resultado buscado directamente por la recompensa, sino un cambio surgido de la presión por eficiencia
    • Un fenómeno similar se observó en el entrenamiento de SWE-1.7 de Cognition
  • En modelos posteriores planean escalar aún más el cómputo en preentrenamiento, post-entrenamiento y aprendizaje por refuerzo

Vista previa de Inkling-Small, más pequeño y rápido

  • Inkling-Small es un modelo MoE con 276B parámetros totales y 12B activos, con menor costo y latencia que Inkling, que tiene 41B activos
  • Gracias a mejores datos de preentrenamiento y métodos de entrenamiento, logró resultados similares o superiores al Inkling grande en varios benchmarks, y ambos modelos usan el mismo stack escalable de post-entrenamiento
  • Los principales resultados comparados con el modelo grande con effort=0.99 son los siguientes
    • Uso de herramientas en HLE 46.6% frente a 46.0%, GPQA Diamond 88.3% frente a 87.2%
    • MCP-Atlas 74.9% frente a 74.1%, IFBench 83.4% frente a 79.8%
    • Charxiv RQ con Python 83.4% frente a 82.0%, MMAU 77.5% frente a 77.2%, StrongREJECT 98.8% frente a 98.6%
  • También hay resultados inferiores al modelo grande
    • Terminal Bench 2.1 es 52.7% frente a 63.8%, Tau 3 Banking es 13.6% frente a 23.7%
    • SimpleQA Verified es 20.9% frente a 43.9%, Audio MC es 49.6% frente a 56.6%
  • Es adecuado para tareas donde el costo y la latencia son importantes, como programación, evaluación con LLM y generación de datos sintéticos para otros modelos
  • Actualmente están finalizando las pruebas y publicarán todos los pesos al completarlas

Ecosistema de fine-tuning y despliegue

  • En problemas especializados de cada organización que son difíciles de resolver con modelos generalistas, el fine-tuning con conocimiento experto puede reducir la brecha, e Inkling está diseñado para aprender rápidamente durante el fine-tuning
  • En Tinker se puede usar Inkling con longitudes de contexto de 64K y 256K
  • El Tinker cookbook admite Inkling de forma nativa y agrega 3 recetas que aprovechan las capacidades de audio
  • tml-renderer ofrece funciones para muestrear de forma estable llamadas a herramientas, contenido de razonamiento y entradas multimodales, y para post-entrenamiento
  • Inkling Playground es una interfaz conversacional con búsqueda web agéntica integrada y es gratuita por tiempo limitado
  • Los checkpoints ajustados en Tinker pueden desplegarse mediante las APIs de TogetherAI, Fireworks, Modal, Databricks y Baseten
  • También se admite el ecosistema open source de inferencia y aprendizaje por refuerzo
  • En el repositorio de Inkling en Hugging Face se pueden obtener el checkpoint original y los checkpoints NVFP4 para inferencia eficiente en NVIDIA Blackwell

1 comentarios

 
GN⁺ 4 시간 전
Comentarios de Hacker News
  • Da gusto ver que sea el modelo multimodal de pesos abiertos más grande con soporte de audio, y me da curiosidad qué tan bueno será su rendimiento real con audio
    Para ejecutarlo en local, se puede consultar este material
    https://github.com/danielhanchen/llama.cpp/tree/add-inkling
    https://unsloth.ai/docs/models/inkling
    https://huggingface.co/unsloth/inkling-GGUF
    https://huggingface.co/unsloth/inkling-NVFP4
    Dicen que es mejor que KimiK2.7, pero mientras GLM5.2 está recibiendo mucha atención, yo sigo usando KimiK2.7 como en la mitad de los casos. Si los benchmarks son ciertos, entra perfectamente entre las opciones, y espero que en algunas áreas supere a todos los demás modelos de pesos abiertos

    • Además, es un modelo estadounidense. Me pregunto si no será el primer modelo competitivo de pesos abiertos no chino desde Llama 3
    • No sé de dónde sale la idea de que sea mejor que KimiK2.7. En la mayoría de los benchmarks más bien muestra un rendimiento inferior
    • Me da curiosidad qué evaluation harness usan con Kimi
  • Estados Unidos también necesita su propio DeepSeek o Z.ai. Mucha gente, incluyéndome, termina apoyando el éxito de los modelos abiertos chinos porque no hay otras opciones, y Thinking Machines podría ocupar ese lugar

    • No es muy conocido, pero arcee.ai parece estar apuntando justamente a eso
      La lista actual de modelos de pesos abiertos se puede ver en https://www.arcee.ai/open-source-catalog
    • AllenAI también merece atención. Fue fundado por Paul Allen de Microsoft, y es uno de los mejores equipos para construir una IA realmente transparente y abierta, incluyendo incluso los datos de entrenamiento
    • Ya hay muchas empresas impulsando modelos de pesos abiertos, como Arcee, Reflection y Llama, y todavía no está claro si Meta se enfocará más en lo abierto o en lo cerrado
      Aun así, la combinación de API de fine-tuning y modelos de pesos abiertos al menos parece un negocio viable. Si al final solo se trata de usar QLoRA o LoRA, sigo sin tener claro por qué quien posee el modelo abierto haría mejor el fine-tuning, pero vale la pena seguirlo
    • Ojalá también lancen un modelo de menos de 100B que pueda correr en hardware doméstico a más de 10 tokens por segundo
    • Me pregunto con qué modelo de negocio se pueden sostener los modelos de pesos abiertos
  • Creo que un modelo base abierto que se pueda ajustar en Tinker es un excelente modelo de negocio. Las empresas pueden ser dueñas de su propio modelo y, para tareas específicas, obtener un rendimiento superior al de los modelos de punta a un costo mucho menor, mientras Thinking Machines podría convertirse en el proveedor clave de infraestructura y servicios de ese ecosistema
    También impresiona que Inkling-Small, gracias a mejoras en los datos de preentrenamiento y en la forma de entrenamiento, iguale o supere al modelo grande en varios benchmarks. Tengo muchas ganas de ver la próxima generación de modelos Thinky

  • El desarrollo moderno de modelos requiere una variedad sorprendente de trabajos. Antes bastaba con crear una nueva función de pérdida o un pequeño cambio de arquitectura, correr el ciclo de entrenamiento y evaluación, y publicar los resultados, pero ahora se volvió una carrera de la Reina Roja en la que incluso solo para mantenerse al día hace falta una cantidad enorme de trabajo
    Es casi asombroso que cada una de unas 500 etapas sea un pequeño ciclo de optimización. Por eso también se invirtió la vieja regla de que los equipos pequeños son más rápidos que los grandes, y en IA hacen falta equipos grandes. La inercia organizacional se vuelve un problema cuando ya pasas de miles de personas; antes de eso, es difícil que solo 12 personas brillantes puedan abarcar tantos componentes

  • Qué bueno que haya salido un modelo potente de pesos abiertos, con contexto largo y multimodal. Hay muchas aplicaciones que se beneficiarían del rendimiento en audio, y hasta que z.ai desarrolle mejor sus capacidades visuales, también podría ser fuerte para aplicaciones de agentes de propósito general
    Aun así, se le ven debilidades en algunos benchmarks relacionados. Al final, como con cualquier otro modelo, hay que meterlo en tu propio harness y evaluar bien las tareas que realmente te importan

    • MiniMax M3 y DeepSeek v4-Pro también son modelos multimodales de pesos abiertos muy capaces y con contexto largo. Pero el contexto largo es una trampa, y después de 150 mil a 200 mil tokens el rendimiento sigue cayendo de forma abrupta
  • Considerando que es su primer modelo y además lo publicaron, empiezo a recuperar la confianza en los laboratorios estadounidenses de IA abierta. Todavía no está en OpenRouter ni similares, así que no he podido probarlo, pero si llega al nivel de GLM5.1, ya sería un muy buen primer intento
    Parece que pronto más laboratorios podrán acercarse al estado del arte, y siempre se agradece más competencia en cualquier área

    • NVIDIA también está desarrollando Nemotron
  • Aún son pruebas muy tempranas, pero parece tener más potencial de lo que muestran los benchmarks. Casi nunca he visto, fuera de los modelos de Anthropic, que en mis evaluaciones privadas rinda mucho mejor que en las públicas; todavía es muy pronto para juzgar, pero probablemente le dedicaré bastante tiempo en las próximas semanas
    Entre los modelos de pesos abiertos, los de Moonshot AI eran los únicos que me parecían lo bastante buenos como para usarlos aceptando sus riesgos, y Z.AI no me rindió tan bien en mi tipo de trabajo, pero este modelo podría convertirse en una segunda opción. Si Mistral hubiera sacado algo así, los entusiastas europeos, incluyéndome, no habríamos dejado de hablar del tema

    • Con la búsqueda web desactivada y confirmándolo también con el registro de razonamiento, respondió correctamente varias preguntas de detalle muy especializadas. Cosas como mantenimiento por motor de ciertos vehículos semiclásicos o la estructura y materiales de bolsos raros; hasta ahora solo Gemini 3 y 3.1 Pro habían acertado esas preguntas
      Ningún modelo de otros laboratorios, incluyendo Fable 5 y GPT-5.6 Sol, pudo responderlas correctamente sin web, pero si dominas ese campo, entran dentro de lo que se considera conocimiento general y además hay respuestas objetivamente correctas. Que supere a Fable 5 en tareas que no están en benchmarks públicos y por eso son difíciles de sobreajustar, es bastante impresionante
  • Sobre todo, la capacidad de seguir instrucciones se ve buena, aunque en programación parece más débil que otros modelos. Aun así, siempre da gusto ver más diversidad entre los modelos de pesos abiertos, y habrá que probarlo directamente para ver qué personalidad tiene

    • Responde bastante rápido y, hasta ahora, también me gustan su tono y su personalidad
      Fue el resultado de pedirle: “Revisa la portada de Hacker News de hoy y crea un producto de briefing diario que resuma las noticias tecnológicas del día para poder leerlas más tarde”
      https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...
  • En general parece mejor que Nemotron y peor que GLM, así que por ahora da la impresión de ser el mejor modelo estadounidense de pesos abiertos

    • Su tamaño total es casi el doble que el de Nemotron 3 Ultra, así que debería ser bastante mejor. Aunque en parámetros activos parece incluso un poco menor: 41B frente a 55B
    • Me sorprende que Nemotron siquiera se mencione como punto de comparación. Lo usé para tareas de programación y el rendimiento fue tan malo que en la práctica era inutilizable
  • Hoy probé Hy3, me gustó, y me pareció una mejora leve sobre DSV4P. Si además de ese nivel de rendimiento soporta multimodalidad, entonces suena bastante bien