Lo que todavía podemos aprender de Kimi K3 y el benchmark del pelícano

 (simonwillison.net)
1 puntos por GN⁺ 3 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Kimi K3, presentado por Moonshot AI, es su modelo de mayor rendimiento hasta ahora con 2.8 billones de parámetros; está disponible en el sitio web y vía API, y sus pesos abiertos se publicarán antes del 27 de julio de 2026
  • En sus benchmarks internos superó en general a Claude Opus 4.8 max y GPT-5.5 high, pero quedó por detrás de Claude Fable 5 y GPT-5.6 Sol; en Arena.ai Frontend Code arena alcanzó el primer lugar
  • Con un precio de $3 por millón de tokens de entrada y $15 por millón de tokens de salida, es el modelo más caro entre los publicados por laboratorios chinos de IA; generar un solo SVG del pelícano costó 16,658 tokens de salida, incluidos 13,241 tokens de razonamiento, y $0.25
  • La prueba del SVG de un pelícano andando en bicicleta no mide el importante uso de herramientas por agentes ni la confiabilidad al operar herramientas en conversaciones largas, así que no sirve para comparar de forma integral el rendimiento entre modelos
  • Aun así, ejecutar directamente el mismo prompt simple permite revisar rápidamente la accesibilidad y el costo de la API, la cantidad de razonamiento, la validez del SVG, la percepción espacial, el rendimiento visual y las mejoras generacionales dentro de una misma familia de productos

Presentación y rendimiento de Kimi K3

  • Moonshot AI presentó Kimi K3 como su modelo de mayor rendimiento hasta ahora, con 2.8 billones de parámetros
    • Puede usarse en el sitio web y vía API
    • Los pesos abiertos se publicarán antes del 27 de julio de 2026
  • Llaman a K3 el primer “modelo abierto de clase 3T”, clasificándolo al redondear 2.8 billones a 3 billones
    • DeepSeek V4 Pro, mencionado como el mayor hasta ahora, tiene 1.6 billones de parámetros
    • K3 es más del doble de grande que Kimi K2.6, que tiene 1 billón de parámetros
  • En sus benchmarks internos, superó en general a Claude Opus 4.8 max y GPT-5.5 high, pero quedó por detrás de Claude Fable 5 y GPT-5.6 Sol

Evaluaciones externas y precio

  • En una evaluación de Artificial Analysis sobre tareas privadas de conocimiento de largo plazo, registró un Elo de 1,547
    • Son 732 puntos más que Kimi K2.6
    • Ocupa el segundo lugar, detrás de Claude Fable 5
  • Su costo por tarea es de $0.94, similar a los $1.04 de GPT-5.6 Sol
    • Es cerca de la mitad de los $1.80 de Claude Opus 4.8
    • Es más caro que otros modelos con pesos abiertos
  • En el Artificial Analysis Intelligence Index, el uso de tokens de salida se redujo 21% frente a K2.6
  • En Arena.ai Frontend Code arena, superó a Claude Fable 5 y llegó al primer lugar
  • El precio de la API es de $3 por millón de tokens de entrada y $15 por millón de tokens de salida
    • Está al nivel de la familia Anthropic Claude Sonnet
    • Es el más caro entre los modelos publicados por laboratorios chinos de IA
    • Subió con fuerza desde los $0.95/$4 de Kimi K2.6

Experimento de generación del SVG del pelícano

  • Se ejecutó el prompt Generate an SVG of a pelican riding a bicycle usando OpenRouter y el plugin llm-openrouter
  • En el proceso de generación se usaron 95 tokens de entrada y 16,658 tokens de salida
    • De la salida, 13,241 eran tokens de razonamiento
    • El costo total fue de $0.25
  • Como también admite entrada de imágenes, se aplicó un prompt de texto alternativo al SVG generado
    • El resultado del análisis identificó con precisión un pelícano blanco con bufanda roja y una bicicleta roja, además del carril, las marcas de movimiento, el cielo, las nubes, el sol, los pájaros, el pasto y las flores
    • El análisis de imagen costó 822 tokens de entrada, 243 de salida y $0.006

Límites como benchmark integral

  • La prueba del SVG de un pelícano andando en bicicleta empezó hace 21 meses como una broma que satirizaba la dificultad de comparar modelos, pero durante su primer año mostró una correlación sorprendentemente alta con la calidad real de los modelos
  • Ahora esa correlación casi ha desaparecido
    • Los pelícanos creados por GPT-5.6 y Claude Fable 5 son peores que el resultado de GLM-5.2
    • Pero es difícil considerar a GLM-5.2 como un modelo del nivel de Claude Fable
  • No hay certeza de que los laboratorios hayan entrenado sus modelos para esta prueba
    • Si realmente los hubieran optimizado para ella, los resultados deberían ser mucho mejores
    • Aun así, queda la posibilidad de que Gemini se haya optimizado en términos generales para combinaciones de “animales montando vehículos”
  • La limitación más grande es que no evalúa en absoluto el importante uso de herramientas por agentes en los modelos actuales
    • Tampoco mide la capacidad de operar herramientas de forma estable cuando la conversación se alarga
    • Por eso, los resultados del pelícano no deben usarse para comparar de forma integral el rendimiento entre modelos

Un experimento que obliga a ejecutarlos

  • La prueba del pelícano funciona como un mecanismo de empuje para realmente invocar modelos nuevos
    • Que haya un resultado significa al menos que el prompt se ejecutó con éxito
    • Si existe una API oficial, se usa esa
    • Los modelos con pesos abiertos lo bastante pequeños como para caber en una MacBook Pro M5 de 128 GB se ejecutan localmente con llama.cpp, LM Studio y Ollama
    • Como a menudo se puede usar un proxy de la API oficial sin una nueva API key, se recurre con frecuencia a OpenRouter
  • La mayoría de los resultados se generan con la herramienta CLI LLM, lo que también permite comprobar si los plugins ya soportan el modelo más reciente
  • Incluso con un solo prompt de SVG se pueden revelar características del modelo en costo, forma de razonamiento y manejo de entradas

Rasgos observados en Kimi K3

  • Por ahora K3 solo tiene un nivel de esfuerzo de razonamiento, max, y consume 13,241 tokens de razonamiento para producir una respuesta de 3,417 tokens
    • El costo de generar un pelícano simple llega a $0.25, lo que resulta pesado
  • El hecho de que un prompt corto se contabilizara como 95 tokens sugiere la existencia de una entrada oculta
    • El tokenizador de OpenAI cuenta ese mismo prompt como 10 tokens
    • La calculadora de tokens de Anthropic lo cuenta como 10 tokens en Opus 4.6, 30 en Opus 4.7 y 25 en Sonnet 5/Fable 5
    • Incluso al enviar hi a K3, se registraron 86 tokens, así que podría haber un system prompt oculto de unas 85 tokens
    • K3 rechazó la solicitud de revelar ese system prompt
  • La calidad del texto alternativo al analizar el SVG generado muestra que la capacidad visual funciona bien
  • K3 solo tiene un nivel de esfuerzo de razonamiento, pero en otros modelos el mismo prompt puede ejecutarse con varios niveles para comparar rápidamente el impacto

Lo que la prueba del pelícano todavía puede decirnos

  • Puede usarse como práctica de “Hello World” para enviar prompts a un modelo nuevo
  • Permite estimar de forma aproximada el costo y la cantidad de razonamiento necesarios para una tarea simple
  • Permite revisar si genera un SVG válido y observar su geometría básica y percepción espacial
    • Esto es especialmente importante en modelos pequeños que corren en laptops
  • Sigue valiendo la pena comparar lanzamientos dentro de una misma familia de modelos
    • El pelícano de K3 mejora claramente frente a Kimi 2.5
  • También permite compartir el hecho de haber probado el modelo directamente, y en Hacker News ya se volvió casi una tradición publicar resultados del pelícano en los comentarios sobre modelos nuevos

Lecturas relacionadas

1 comentarios

 
GN⁺ 3 시간 전
Comentarios de Hacker News

  • El benchmark del pelícano refleja tal cual los problemas de contratación en la industria tecnológica. No tiene nada que ver con el trabajo real, pero igual que en una entrevista donde te hacen dibujar un pelícano y luego evalúan tus capacidades

    • Comentario típico de alguien que no tiene 9 años de experiencia como desarrollador 10x dibujando pelícanos

  • La razón por la que el prompt “genera un SVG de un pelícano montando una bicicleta” se contó como 95 tokens de entrada podría ser que, al configurar una intensidad de razonamiento personalizada, se inserta antes del token inicial un prompt para esa intensidad. También sirve de referencia el caso del modo máximo de DeepSeek-V4: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • Propongo en serio SWE-bench-adversarial-pelican-gen. Sería parecido a SWE-bench, pero cada 5 turnos de conversación o llamadas a herramientas se interrumpe todo, se genera el SVG de un animal aleatorio y luego se retoma el trabajo; además, se meterían comentarios sobre SVG de pelícanos por todas partes en la salida de las herramientas
    Cuando el contexto llegue a 800 mil tokens, se le vuelve a pedir otro SVG de pelícano, y se evalúan tanto la calidad del pelícano como el nivel de terminación y eficiencia de la tarea original. Solo es habilidad real si puedes resolver el problema incluso bajo el asalto de SVG de pelícanos

    • Si lo corres con Codex probablemente costaría unos 5 dólares, así que vale la pena pensar por qué nadie quiere intentarlo

  • Como concluye Simon, el uso principal de este benchmark no es afirmar de forma tajante qué modelo es mejor, sino observar la relación entre calidad, costo y velocidad. Hice una comparación rápida reciente entre Opus, Fable y Kimi, y Kimi era 5 veces más barato pero 2 veces más lento
    https://9gpyw4uxr2.evvl.io/

    • Los tres resultados del medio me parecen el típico fracaso estilo Gemini/Google de producir más de lo que pedía el prompt. K2.6 también usó HTML+CSS+SVG en vez de SVG puro, así que está cerca de ser un fracaso limítrofe
      También se ve rara la leyenda “Expires in 6 days” arriba a la derecha del sitio web. Cuesta entender por qué una página con apenas unos KB de datos tendría que expirar

  • Me sorprende que Simon crea que estas cosas no están en los datos de entrenamiento cuando hay cientos de pelícanos en bicicleta en blogs, foros y GitHub. El blog de nuestra empresa tiene 1,000 veces menos tráfico que el sitio de Simon, pero sus publicaciones ya son conocidas por los LLM en unos 6 meses

    • Los dibujos de pelícanos que ya existían siguen siendo malísimos. Aunque entren en los datos de entrenamiento, no ayudarían a generar mejores pelícanos; de hecho, podrían empeorar el rendimiento
    • Simon también ha reconocido varias veces que es posible que los pelícanos estén incluidos en los datos de entrenamiento, y tiene otras pruebas que no ha publicado. Simplemente le gustan los pelícanos
    • Aunque los pelícanos y las bicicletas estén cada uno por separado en los datos de entrenamiento, eso no significa que este benchmark específico haya sido aprendido
    • El pelícano en bicicleta en sí no es un tema tan especial. A cualquier modelo se le puede pedir que haga en SVG cualquier combinación, como un combate de box entre una lombriz y un petirrojo, y aparece una correlación fuerte en la que, independientemente de si es un modelo de visión o no, cuanto más inteligente es el modelo mejor sale el resultado
      Al principio esta evaluación me pareció absurda, pero probé combinaciones que casi seguro no estarían en los datos de entrenamiento y confirmé su validez
    • Esto me recuerda el ciclo de noticias del año pasado sobre que los datos de entrenamiento se están agotando y lo ridícula que era esa afirmación

  • Nuestra respuesta al benchmark del pelícano es el benchmark de SVG de MacBook: https://playcode.io/blog/macbook-svg-benchmark

    • El resultado de Terra xhigh está realmente bien
    • Da risa la parte donde Fable 5 pasó tanto tiempo razonando que agotó el presupuesto de salida antes siquiera de terminar el dibujo

  • Me sigue molestando que cada modelo genere el pelícano solo una vez. Incluso el mismo modelo da resultados distintos en cada ejecución, así que qué resultado se eligió puede influir en la conclusión de que “este modelo es mejor”
    Me gustaría ver los resultados de 8 ejecuciones por modelo, uno al lado del otro. Si son dos modelos parecidos, creo que la variación entre ejecuciones individuales puede ser tan grande como la diferencia entre modelos

    • Antes se hacían tres ejecuciones y luego se elegía la mejor. Algún día me gustaría automatizarlo para que un LLM juez de la misma familia de modelos escoja el mejor resultado y lo mande a la siguiente ronda
      Antes también se había creado un sistema de puntaje ELO: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      El benchmark en sí se ve un poco viejo, pero como hay mucha demanda por una galería de resultados, valdría la pena dedicarle tiempo otra vez

  • La brecha se está cerrando. Kimi 3 está más o menos 3 meses detrás de los modelos estadounidenses, y parece un modelo de nivel GPT 5.5 lanzado a fines de abril

  • Me da curiosidad cómo los laboratorios chinos entrenan modelos de 3 billones de parámetros con recursos de cómputo que necesariamente deben ser mucho menores. Si la ventaja de cómputo de EE. UU. sigue, físicamente sería difícil que China lo alcance para siempre, pero hasta ahora lo han hecho bien

    • En realidad puede que no haya restricciones significativas al acceso a recursos de cómputo. Las empresas chinas pueden usar GPUs en países cercanos sin restricciones de exportación, como Malasia, y ByteDance lo hizo abiertamente: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      También hay rumores de que Tencent accedió a través de Japón: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      También existe la opción de comprarlos en Singapur y meterlos de contrabando, y no hay razón para pensar que el diseño propio de China vaya a quedarse atrás para siempre, porque los chips dedicados a IA son relativamente más fáciles de diseñar y producir que CPUs o GPUs de alto rendimiento. Al final pueden usar las mismas fundiciones
    • Hay un buen video de Gamers Nexus con reporteo directo en China: https://www.youtube.com/watch?v=1H3xQaf7BFI
      Los 5090 basados en GB202 y los RTX 6000 Pro Blackwell, sujetos a restricciones de exportación, se fabrican en TSMC y luego se empaquetan y terminan en China, así que el hueco existe desde el principio. NVIDIA y sus socios de distribución también venden en países como Singapur sin muchas verificaciones, y aunque un transportista individual los meta a mano, las aduanas chinas no tienen por qué hacer cumplir leyes de EE. UU. dentro del territorio chino
    • Los chips Huawei Ascend ya se usaban desde hace más de 4 meses para entrenar DeepSeek v4, y Huawei compartió kernels con otros laboratorios chinos. China también tiene su propia fundición de DDR5
    • Que el número de parámetros sea igual no significa que el modelo sea igual, así que ese número no me parece un indicador de calidad ni de requerimientos de cómputo. Hacer un buen modelo requiere mucho más que solo aumentar el número de parámetros
    • China ya salvó a la economía mundial al liberar enormes reservas de petróleo que nadie sabía que tenía, así que no sorprendería que también tuviera muchos recursos de cómputo ocultos

  • Es interesante que la calidad del pelícano y la calidad general del modelo se muevan por separado. Las capacidades generales se forman en el preentrenamiento, así que yo esperaba que un preentrenamiento de alta calidad produjera mejores pelícanos, y que el aprendizaje por refuerzo casi no afectara la calidad del pelícano
    Pero el resultado en el que GLM 5.2 supera a GPT 5.6 y Claude Fable no encaja con esa hipótesis. Lo único que se me ocurre es que GLM 5.2 haya reforzado por separado la generación de SVG y por eso obtuviera un rendimiento superior