Kimi K2 - modelo de lenguaje Mixture-of-Experts (MoE) de vanguardia

 (github.com/MoonshotAI)
4 puntos por GN⁺ 2025-07-13 | 1 comentarios | Compartir por WhatsApp
  • Kimi K2 de Moonshot AI es un modelo de lenguaje Mixture-of-Experts (MoE) de vanguardia con 1 billón de parámetros
  • Durante el entrenamiento, incorporó la técnica de optimización Muon para resolver problemas de estabilidad a gran escala
  • Se enfoca en la inteligencia agéntica para el uso de herramientas, razonamiento y resolución autónoma de problemas
  • Demuestra rendimiento de primer nivel en programación, matemáticas y tareas generales en diversos benchmarks
  • Su despliegue y uso son convenientes, con API compatible con OpenAI/Anthropic y soporte flexible de motores

Por qué importa Kimi K2

  • Kimi K2 es el más reciente modelo de lenguaje Mixture-of-Experts (MoE) desarrollado por Moonshot AI
  • Con una escala de 1 billón de parámetros y un método de optimización innovador (Muon), ofrece alto rendimiento y estabilidad en el ámbito de los modelos de lenguaje de gran escala
  • Frente a modelos open source de alto rendimiento ya existentes, logra nivel de vanguardia global (SOTA) y el mejor nivel open source en varios campos de aplicación reales como programación, matemáticas y uso de herramientas
  • Destaca por su capacidad para entrenar modelos grandes de forma rápida y estable, así como por su flexibilidad para soportar diversos escenarios de uso de inteligencia artificial

1. Introducción al modelo

  • Kimi K2 es un modelo de lenguaje MoE de vanguardia con 1 billón (1T) de parámetros totales y 32 mil millones (32B) de parámetros activos
  • Utiliza el optimizador Muon para resolver de manera efectiva la inestabilidad del entrenamiento de modelos a gran escala
  • Está especializado en capacidades de alto nivel como uso de herramientas, razonamiento complejo y agentes autónomos

Características principales

  • Entrenamiento a gran escala: el modelo de 1 billón de parámetros fue preentrenado con 15.5 billones de tokens, sin inestabilidad durante el entrenamiento
  • Optimizador MuonClip: asegura estabilidad al combinar el algoritmo Muon, especializado para modelos a gran escala, con nuevas técnicas de optimización
  • Agentic Intelligence: fue diseñado pensando en el uso de herramientas, el razonamiento complejo y la resolución autónoma de problemas

Tipos de modelo

  • Kimi-K2-Base: modelo base adecuado para fine-tuning personalizado y uso por investigadores
  • Kimi-K2-Instruct: modelo post-training optimizado para chat y operación de agentes generales

2. Resumen del modelo

  • Arquitectura: Mixture-of-Experts (MoE)
  • Parámetros totales: 1 billón (1,000,000,000,000)
  • Parámetros activos: 32 mil millones (32B)
  • Número de capas: 61 (incluye Dense layer)
  • Número de Dense Layer: 1
  • Attention hidden dimension: 7168
  • MoE hidden dimension (por experto): 2048
  • Attention Head: 64
  • Número de expertos: 384
  • Número de expertos seleccionados por token: 8
  • Número de expertos compartidos: 1
  • Tamaño de vocabulario: 160K
  • Longitud de contexto: 128K
  • Mecanismo de Attention: MLA
  • Función de activación: SwiGLU

3. Resultados de evaluación

Rendimiento del modelo Instruction

  • Registra rendimiento de primer nivel en diversos benchmarks de tareas de programación, uso de herramientas, matemáticas/ciencias e ingeniería y tareas generales
  • Muestra rendimiento SOTA o de máximo nivel equivalente en áreas de código y herramientas, matemáticas y lógica, y tareas generales, incluyendo SWE-bench, LiveCodeBench, OJBench, MultiPL-E, TerminalBench, AceBench, Tau2, AIME y MATH-500
  • Logró 65.8% de pass@1 en SWE-bench Verified y 47.3% en SWE-bench Multilingual, con resultados sobresalientes también en entornos de Agentic Coding
  • Ofrece precisión sobresaliente en pruebas de matemáticas y ciencias e ingeniería como MATH-500, AIME, HMMT y CNMO
  • También obtiene rendimiento superior frente a modelos open source y comerciales competidores en varias tareas generales como MMLU y SimpleQA

Rendimiento del modelo Base

  • Registra resultados de primer nivel entre modelos open source comparables en benchmarks representativos como MMLU, TriviaQA y GPQA-Diamond
  • Asegura una ventaja general frente a grandes modelos base open source en programación, matemáticas y evaluación en chino

4. Despliegue y ejecución en motores

5. Ejemplos de uso del modelo

Interfaz de chat

  • Tras ejecutar un servicio de inferencia local, es posible interactuar directamente desde un cliente compatible con OpenAI (como la Chat Completions API)
  • temperature recomendada: 0.6; también se recomienda usar el prompt de System en su forma predeterminada

Función de llamada de herramientas

  • Kimi-K2-Instruct tiene una potente capacidad de tool-calling
  • Si el usuario envía una lista de herramientas disponibles en cada solicitud, el modelo decide de forma autónoma cuándo usar y ejecutar las herramientas
  • Es posible demostrar ejemplos y mensajes de resultado a lo largo de todo el pipeline
  • Se requiere soporte de la lógica de parsing de herramientas de Kimi-K2 en el motor

6. Licencia

  • Tanto el código como los pesos del modelo se distribuyen como open source bajo la Modified MIT License

Lecturas relacionadas

1 comentarios

 
GN⁺ 2025-07-13
Comentarios de Hacker News
  • Probé Kimi con algunos problemas de programación, y funcionó bastante bien en casos donde Claude fallaba o daba vueltas; el modelo es enorme, así que no parece adecuado como modelo “local”, y creo que para correrlo harían falta unas 16 GPU H200; se sintió que tenía una personalidad algo distinta a otros modelos y me dejó satisfecho; al menos en un entorno de uso con ensamblado de modelos parece que podría ser útil
    • Con cuantización de 4 bits, da velocidades prácticas incluso con dos Mac Studio de 512GB (usando MLX TB4 Ring; más info en este enlace) o con un solo sistema Epyc con más de 1TB de RAM; se puede experimentar con algo así por unos 20 mil dólares, pero si de verdad quieres velocidad de nivel producción hace falta hardware mucho más potente; más que “local”, sería más correcto verlo como un “modelo personal con sello propio”
    • Hice varias pruebas comparándolo directamente con Claude; Kimi generó código más simple y fácil de leer, mientras que Claude se sentía mucho más sobreingenierizado; eso sí, Kimi también dejó pasar algunos edge cases sutiles que Claude sí cubría
    • Dijiste Claude, ¿pero Sonnet? ¿3.7? ¿3.5? ¿Opus? ¿4? Me da curiosidad saber qué versión era
    • La primera pregunta que le hice a Kimi era un problema de juego matemático bastante simple, y la respuesta estuvo terriblemente mal; siendo justos, los modelos de OpenAI también fallaron con esa pregunta; mejoró un poco con prompts adicionales, pero igual fue sorprendente
  • Como GPT 4o y la familia DeepSeek-V3, este modelo (Kimi K2) es un LLM generalista muy impresionante, y además es open source; creo que recibe menos atención estos días porque la frontera se movió hacia modelos de razonamiento y multimodales; si ves los benchmarks de precisión, todos los modelos punteros están especializados en razonamiento (enlace de referencia); si alguien entrenara un modelo especializado en razonamiento a partir de Kimi K2, me daría muchísima curiosidad ver su rendimiento
    • Cuando dices “si entrenaran un modelo especializado en razonamiento con Kimi K2”, probablemente MoonshotAI ya esté trabajando en eso
    • Me pregunto por qué los modelos actuales o pasados de Kimi todavía no se han agregado al benchmark de Artificial analysis
  • Más allá de sus ventajas técnicas, Kimi K2 también impresiona porque se siente menos robótico; como los mejores modelos de Anthropic, tiene una personalidad animada, inteligente y fluida; se siente como una pequeña victoria no tener que ver respuestas rígidas estilo bot
  • En mi opinión, el lanzamiento del modelo open source de OpenAI se retrasó porque Kimi K2 se quedó con la conversación y además lo superó en métricas
    • Desde OpenAI también han mencionado que “es demasiado grande como para autoalojarlo fácilmente en casa”, así que podría ser cierto; a estas alturas seguramente están corriendo benchmarks en OpenAI buscando en qué métrica pueden “ganar” todavía
    • Viéndolo por benchmarks, Kimi K2 supera a GPT-4.1 en varias áreas; si OpenAI quiere competir en serio, tendría que publicar los pesos de GPT-4.1 o de un modelo equivalente, pero no parece muy probable que lo hagan
  • No es open source, es una “licencia MIT modificada”; si se usa en servicios comerciales con 100 millones de usuarios activos mensuales o ingresos mensuales de 20 millones de dólares (o más), hay una condición de mostrar claramente “Kimi K2” en la UI del servicio
    • Esa condición parece una mezcla entre el requisito de visibilidad “Built with Llama” y la cláusula de “700 millones de usuarios mensuales” de Llama, y luego lo maquillaron un poco para presentarlo como algo tipo “MIT modificada”
    • No creo que esto viole la OSD (Open Source Definition), ni la definición de software libre de la FSF, ni los criterios de Debian; GPLv2, GPLv3 y BSD de 4 cláusulas también tienen obligaciones parecidas de atribución pública, aunque no con umbrales de usuarios o ingresos; además, las redes neuronales no se construyen a partir de código fuente de la misma manera, así que el término “open source” también es algo ambiguo aquí; si quisiéramos una analogía con open source de verdad, lo más cercano sería publicar también los datos y el proceso de entrenamiento, pero eso cuesta millones de dólares y tampoco es equivalente a compilar, así que es un tema separado del de la licencia
    • Me pregunto cuál de las cuatro libertades básicas del software libre se estaría vulnerando con esta condición; ¿podrías señalarlo de manera concreta?
    • De hecho, es menos restrictiva que la condición de OpenStreetMap
    • Parece que esa condición está puesta para evitar que Google haga una “adaptación” y lo saque como Gemini-3.0-pro
  • Para mí K2 es el nombre de una montaña y SOTA significa “summits on the air”, así que el titular me sorprendió bastante
  • Me gusta ver que un LLM nuevo y sólido, sin ser un modelo de razonamiento, siga empujando la frontera; estos modelos todavía tienen buenos casos de uso (áreas no relacionadas con STEM ni acertijos lógicos), y sirven cuando no quieres gastar en tokens de razonamiento
  • ¿“Open source”? En realidad es open weights; como siempre, no entregan dataset, scripts de entrenamiento, etc.
    • Ahora ni siquiera es open weights a secas; la publicación de los pesos viene con la condición de la “licencia MIT modificada” (mencionada arriba)
    • Con el sistema actual de copyright, desarrollar modelos SOTA sin texto con copyright es prácticamente imposible; me pregunto cómo se supone que eso pueda distribuirse
  • Me gusta la calidad y el tono de las respuestas (menos educadas y más directas que ChatGPT o DeepSeek), aunque sí siento que comete más errores al formatear respuestas o se salta cosas que los modelos SOTA actuales (incluido DeepSeek)
  • Últimamente todos los modelos de IA abusan del em dash (—); a ChatGPT le pedí que no lo usara, y aun así sigue haciéndolo; ¿alguien sabe por qué pasa eso?
    • Como a mí sí me gusta usar em dash, me da algo de pena que ahora se perciba como un símbolo de la tosquedad típica (sloppiness) de los LLM