Bonsai 27B: un modelo de clase 27B que corre en un teléfono

 (prismml.com)
4 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Aunque los modelos 27B existentes alcanzan 18 GB incluso reducidos a 4 bits, PrismML adaptó Bonsai 27B, basado en Qwen3.6 27B y compatible con inferencia, llamadas a herramientas, visión y uso de computadora, a los límites de memoria del iPhone
  • El modelo Ternary, centrado en la calidad, ocupa 5.9 GB con 1.71 bits por peso, mientras que el modelo de 1 bit, centrado en capacidad, ocupa 3.9 GB con 1.125 bits, aplicando representación de bajo bit a toda la red de lenguaje
  • En 15 benchmarks en modo de razonamiento, el modelo Ternary conservó el 95% del rendimiento de referencia de precisión completa, y el modelo de 1 bit el 90%; sus puntajes agregados fueron 80.5 y 76.1, respectivamente
  • En una NVIDIA GeForce RTX 5090 registró hasta 163 tok/s, y en un M5 Max hasta 87 tok/s; admite contexto de 262K tokens, torre de visión de 4 bits y decodificación especulativa
  • La ejecución local elimina los costos de API por etapa y la transferencia de datos en tareas repetitivas de agentes, y permite un despliegue híbrido donde las tareas sensibles se procesan en el dispositivo y solo los pasos difíciles se envían a la nube

Cómo meter un modelo de clase 27B en un teléfono

  • Los modelos 27B existentes ocupan alrededor de 54 GB con precisión de 16 bits, y 18 GB incluso en builds comunes de 4 bits, lo que dificulta desplegarlos localmente en teléfonos y en la mayoría de las laptops
  • Bonsai 27B, basado en Qwen3.6 27B, admite razonamiento de múltiples pasos, llamadas estructuradas a herramientas y tareas de visión, además de un loop de agente de uso de computadora que mantiene la coherencia a lo largo de varias etapas
  • Las dos configuraciones de bajo bit apuntan a distintos entornos de despliegue
    • Ternary Bonsai 27B usa pesos {−1, 0, +1} y escalado por grupos en FP16 para lograr 1.71 bits efectivos por peso y un tamaño de 5.9 GB
    • Apunta a calidad de nivel laptop y ofrece inferencia completa, llamadas a herramientas y funciones de agente
    • 1-bit Bonsai 27B usa pesos {−1, +1} y el mismo escalado por grupos para lograr 1.125 bits efectivos por peso y un tamaño de 3.9 GB
    • Se enfoca en una capacidad de nivel teléfono que entra dentro del presupuesto de memoria del iPhone 17 Pro

Configuración multimodal y de bajo bit de extremo a extremo

  • La representación de bajo bit se aplica a toda la red de lenguaje, incluyendo embeddings, atención, MLP y LM head, sin desviar algunas secciones a mayor precisión
  • Ambos modelos son multimodales, y la torre de visión se ofrece en un formato comprimido de 4 bits, lo que permite procesar capturas de pantalla, documentos y entradas de cámara en el dispositivo
  • Admite hasta 262K tokens de contexto
  • Puede usar decodificación especulativa, un método de aceleración sin pérdida que genera un borrador y luego lo verifica
  • Los pesos del modelo se ofrecen bajo la licencia Apache 2.0

Rendimiento conservado en 15 benchmarks

  • En modo de razonamiento, que usa toda la capacidad de inferencia del modelo, se evaluaron 15 benchmarks que abarcan conocimiento, razonamiento, matemáticas, programación, seguimiento de instrucciones, llamadas a herramientas y visión
  • El puntaje agregado de Qwen3.6 27B con precisión completa es 85.0; Ternary Bonsai 27B registró 80.5 y 1-bit Bonsai 27B registró 76.1
    • El modelo Ternary conserva el 95% del rendimiento de referencia con precisión completa
    • El modelo de 1 bit conserva el 90% del rendimiento de referencia
  • Los puntajes por área son los siguientes
    • Matemáticas — GSM8K, MATH-500, AIME25, AIME26: precisión completa 95.3, Ternary 93.4, 1-bit 91.7
    • Programación — HumanEval+, MBPP+, LiveCodeBench: precisión completa 88.7, Ternary 86.0, 1-bit 81.9
    • Agentes y llamadas a herramientas — BFCL v3, TauBench: precisión completa 80.0, Ternary 74.0, 1-bit 66.0
    • Seguimiento de instrucciones — IFEval, IFBench: precisión completa 78.4, Ternary 71.8, 1-bit 65.8
    • Conocimiento y STEM — MMLU-Redux, MuSR: precisión completa 83.1, Ternary 77.0, 1-bit 73.4
    • Visión — MMMU Pro, OCRBench: precisión completa 72.6, Ternary 65.2, 1-bit 59.6
  • En matemáticas y programación la caída de rendimiento es relativamente pequeña, y el rendimiento de llamadas a herramientas del modelo Ternary también se mantiene cerca del nivel de precisión completa
  • La build general de bajo bit más agresiva aplicada al mismo modelo base usa 2.5 veces más memoria que 1-bit Bonsai 27B y aun así obtiene un puntaje menor

Densidad de inteligencia por gigabyte

  • 1-bit Bonsai 27B ofrece rendimiento de clase 27B con un tamaño menor que un modelo 2B de precisión completa
  • Según la métrica de densidad de inteligencia introducida por PrismML con 1-bit Bonsai 8B, 1-bit Bonsai 27B registra 0.53 por GB
    • Es más de 10 veces superior a la referencia de precisión completa
    • Es alrededor de 2.7 veces superior a la mejor alternativa de bajo bit disponible
  • En esta distinción, la capacidad absoluta del modelo determina qué tareas puede realizar, mientras que la densidad de inteligencia define en qué dispositivos y entornos pueden ejecutarse esas tareas

Llevar tareas persistentes de agentes a lo local

  • Las tareas de IA están pasando de respuestas únicas a trabajos persistentes, como asistentes que usan herramientas reales, flujos de trabajo desatendidos e investigación que sintetiza decenas de documentos
  • Un agente llama al modelo no una vez, sino cientos de veces; en cada etapa pasa contexto, produce una salida estructurada y la usa como entrada para el siguiente paso
  • Las API en la nube siguen siendo adecuadas para muchos productos, pero ejecutar tareas de agentes solo en la nube genera restricciones estructurales
    • Cada etapa se procesa como una solicitud remota
    • El costo por tokens se acumula con cada iteración
    • No solo la planificación, las llamadas a herramientas y los resultados intermedios, sino también los archivos personales, la pantalla y los datos del usuario pasan por la red
  • Ejecutar en el dispositivo un modelo con capacidad suficiente permite ubicar el agente dentro del producto
    • Incluso en un loop de 100 pasos, no se generan costos adicionales por llamadas al modelo
    • Los datos del usuario no salen del dispositivo
    • Permite implementar agentes persistentes on-device, asistentes offline y asistentes que procesan directamente datos locales privados
  • Una arquitectura híbrida, donde las tareas sensibles o que no requieren rendimiento frontier se envían al modelo local y solo los pasos más difíciles se delegan a un modelo en la nube, puede reducir el costo por tarea de los sistemas de agentes

Velocidad de ejecución y restricciones de memoria en teléfonos

  • Las velocidades máximas de generación medidas en una NVIDIA GeForce RTX 5090 son las siguientes
    • Modelo de 1 bit: 163 tok/s
    • Modelo Ternary: 134 tok/s
  • Las velocidades máximas de generación medidas en un M5 Max son las siguientes
    • Modelo de 1 bit: 87 tok/s
    • Modelo Ternary: 58 tok/s
  • Una app de teléfono no puede usar toda la memoria del dispositivo, y aun en un iPhone de 12 GB, la memoria que puede usar el modelo es de alrededor de 6 GB
  • Ese presupuesto debe incluir no solo los pesos del modelo, sino también la caché KV y las activaciones, por lo que no basta con reducir el tamaño del archivo almacenado
  • 1-bit Bonsai 27B, de alrededor de 4 GB, cumple ese límite de memoria dejando espacio libre para el trabajo necesario
  • La demo del agente multimodal en iPhone 17 Pro Max se ejecuta en un modo de demostración que usa caché y contexto de imagen preintroducido

Plataformas compatibles y formas de despliegue

  • En dispositivos Apple se ejecuta de forma nativa en Mac, iPhone e iPad mediante MLX
  • En GPU NVIDIA usa CUDA
  • Ambas plataformas aprovechan kernels personalizados de bajo bit construidos para la arquitectura de atención híbrida
  • Por tiempo limitado, ofrece una API gratuita de preview para desarrolladores para que los desarrolladores prueben el modelo
  • Los detalles técnicos completos del proceso de compresión, evaluación y benchmarking pueden consultarse en el whitepaper de Bonsai 27B

Modelos más grandes y nuevas arquitecturas

  • Bonsai 27B reduce las capacidades de los modelos modernos, incluyendo razonamiento, comprensión multimodal, visión y uso de herramientas, a un tamaño que puede ejecutarse en dispositivos de usuarios comunes
  • La metodología de compresión no depende de una arquitectura específica, y PrismML está desarrollando modelos más grandes y nuevas arquitecturas
  • A medida que aumenta la densidad de inteligencia, se amplía el rango de dispositivos, productos y entornos capaces de ejecutar IA avanzada, desde teléfonos hasta servidores con una sola GPU

Lecturas relacionadas

1 comentarios

 
GN⁺ 4 시간 전
Opiniones de Hacker News

  • Lo que más quiero comparar es la versión QAT de 4 bits de Gemma 4 12B. Apenas ocupa menos de 7 GB, así que solo es un poco más grande que este modelo, corre en la mayoría de los dispositivos recientes y es sorprendentemente inteligente para su tamaño
    Tiene muy buena capacidad para usar herramientas y su rendimiento en visión también es impresionante para ese tamaño. Aún estoy tratando de entender cuánto rendimiento se pierde al bajar la precisión paso a paso, pero las versiones QAT de Google parecen mostrar que en 4 bits la pérdida es muy pequeña

    • Si se comparan las cifras publicadas con los resultados de Gemma, este modelo supera claramente a Gemma 4 12B en matemáticas y programación, queda un poco por detrás en conocimiento y tool calling, y es bastante peor en tareas de visión
    • Ojalá también hicieran una versión binaria de 1 bit de Gemma 4 12B ;)
    • En muchas familias de modelos, 4 bits es el punto de quiebre, pero depende de si lo que se cuantiza a 4 bits son los pesos, los pesos y las activaciones, o la caché KV. También depende del tamaño del modelo y de la tarea, así que la cuantización tiene muchos matices más de lo que parece
      Una buena evaluación publicada en 2024 es https://arxiv.org/pdf/2402.18158. No soy el autor original, pero ahora estoy preparando una versión actualizada y, como todavía no he hecho una revisión bibliográfica a fondo, me da curiosidad saber si alguien conoce investigaciones parecidas

  • Desde la perspectiva de un inversionista, esto sí es un verdadero cambio de paradigma. Podría hacer desaparecer en masa a startups europeas que se vendían con el argumento de la privacidad mientras envolvían grandes modelos hospedados por terceros
    Si puedes ejecutar todo directamente en tu laptop, no hay absolutamente ninguna razón para usar una empresa tipo “Privacy GPT™”. Incluso los bancos y otras industrias reguladas podrían autoalojar este nivel de inteligencia, así que dejarían de depender de esas empresas

  • Necesito ayuda para entenderlo. Entiendo que el punto aquí es que, mediante cuantización, redujeron 50 GB a 4 GB conservando la mayor parte de la inteligencia dentro de una zona óptima de Pareto, y que lo compararon con otros modelos cuantizados en términos de inteligencia por tamaño. Pero parece que el aspecto más afectado fue el rendimiento de tool calling, que también es un problema en otros modelos pequeños
    ¿Cómo se compara este modelo con otros modelos recientes de 4 GB? ¿Cómo sabemos si realmente conserva la inteligencia del modelo padre o si fue ajustado finamente para rendir bien en benchmarks?
    No lo digo por menospreciarlo; de verdad espero que sean resultados increíbles, pero con el conocimiento limitado que tengo, me parece que falta una gráfica de comparación justa y que las gráficas actuales también podrían prestarse a malentendidos. Me gustaría que alguien me explicara qué estoy entendiendo mal

    • Entiendo que PrismML no hace cuantización al estilo habitual de recortar bits de un modelo entrenado en FP16 para reducir el VRAM, sino que entrena desde el inicio con pesos de 1 bit
      El artículo lo explica con más detalle, y menciona técnicas como poner un peso FP16 por cada bloque de 128 pesos de 1 bit para almacenar más información

  • Dicen que Apple está en negociaciones con PrismML: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

    • Esto lo dijo directamente a CNBC Babak Hassibi, CEO de PrismML, así que o está mintiendo o filtró las negociaciones y con eso él mismo pudo haber arruinado la posibilidad de cerrar el acuerdo

  • Puede que sea una crítica menor, pero en la demo la comida que sugirió el modelo no se veía muy rica y el cálculo de macronutrientes también parece totalmente equivocado. ¿25 g de proteína en “espagueti, zanahoria, pimiento, ajo y hierbas”?

    • Un buen espagueti tiene 15% de proteína, o sea 15 g por cada 100 g, e incluso los productos de peor calidad traen al menos 12 g por cada 100 g
    • En lo personal no me gusta mucho la zanahoria, pero no se ve asqueroso. Con salsa de tomate sería mucho mejor, aunque parece que no estaba entre las opciones de la imagen proporcionada
      Los 25 g de proteína quizá asumen una pasta alta en proteína como la de garbanzo, pero sin duda parece una cifra incorrecta
    • 200 g de espagueti sí tienen de hecho unos 25 g de proteína
    • No entiendo por qué habría que usar la IA del teléfono para una pregunta tan común. Para algo así no hace falta IA, ni siquiera IA local; desde hace mucho bastaba con una búsqueda básica en Google
      Si una IA del tamaño de un teléfono va a ser útil, debería resolver tareas que solo la IA puede hacer. ¿Puede aceptar documentos escaneados con la cámara del teléfono? ¿Puede hacer traducción en tiempo real? Los consejos de recetas ya están resueltos de sobra por otros medios, así que no hay mucha razón para preguntarle eso

  • El modelo se está publicando en Hugging Face en https://huggingface.co/prism-ml/models
    Probé tanto los modelos GGUF como MLX en LM Studio, pero ninguno de los dos funcionó. Puede que LM Studio primero necesite actualizar el motor de llama.cpp o MLX; me pregunto si alguien ha logrado hacerlo correr

    • El modelo anterior lo ejecuté con el fork personalizado de llama.cpp de PrismML en https://github.com/PrismML-Eng/llama.cpp. Todavía no he probado este modelo, pero pienso hacer benchmarks esta semana cuando tenga tiempo
      Según entiendo, también entraron parches al llama.cpp principal para los backends de Metal y CPU, así que si tienes una Mac o una CPU lo bastante rápida con suficiente memoria, quizá baste con usar la última versión de llama.cpp
    • Dependiendo del modelo que quieras ejecutar, puede que necesites un fork personalizado; los detalles están en https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README....
    • No sé si haya una forma de ejecutar el fork de llama.cpp de PrismML dentro de LM Studio
      El fork en sí sí corre bien, pero en una prueba simple el modelo cayó fuertemente en bucles de inferencia. Puede que sea el mismo problema que aparece al configurar alta la intensidad de razonamiento
      En una M1 Max, MoE Qwen 3.6 y Gemma 4 siguen pareciendo las mejores opciones. Tampoco estoy convencido de la afirmación de que 35B sea realmente peor, y en mi entorno de uso cae mucho menos en bucles de inferencia que 27B
    • Descargué los dos modelos oficiales en LM Studio y ambos pesaban 3.6GB, pero no pude cargar ninguno
    • Tampoco funcionó en Unsloth, pero es muy probable que lo arreglen en uno o dos días cuando salga el siguiente paquete de actualizaciones

  • ¡Genial! Llevo más de un año esperando una ampliación de escala de los modelos ternarios[1]. El Qwen 27B normal es demasiado pesado para correr a una velocidad razonable en hardware local, así que me entusiasma la idea de probarlo por mi cuenta
    [1] https://jackson.dev/post/dont-sleep-on-bitnet/

    • Yo también. Me emociona porque podría ser un modelo utilizable en una laptop de 16GB

  • Haber logrado 90% del rendimiento con un modelo de 1 bit ya es, ante todo, un resultado asombroso
    Pero en las últimas dos semanas este ya es el quinto anuncio de producto, y todos dicen que están cambiando la forma de usar la IA y que su propio conjunto de concesiones es la respuesta perfecta. Los cambios de paradigma no ocurren en comunicados de lanzamiento de productos
    A veces siento que hacer que cada lanzamiento suene como un cambio de paradigma es una especie de estilo propio de la IA

    • Pasa con todos los anuncios tecnológicos. Sin importar la realidad, marketing hace marketing

  • Incluso con toda la longitud de contexto, el uso de memoria del caché KV parece sorprendentemente bajo. Por eso podría ser especialmente útil para flujos de trabajo de programación con múltiples agentes
    Estaría bien que en los anuncios y demos de nuevos modelos se tratara con más claridad el uso de memoria del caché KV y las optimizaciones relacionadas

    • Cuantizar el caché KV empeora el rendimiento de atención y recuperación, y por ese impacto también se dañan las tareas de contexto largo. Cada familia y tamaño de modelo tolera de forma distinta la cuantización en cada parte, y también depende de la tarea objetivo

  • Dato que aprendí hoy: los modelos de 1 bit en realidad usan tres valores, +1, 0, -1, así que son modelos de 1.58 bits

    • Aquí hay dos variantes. En tono de broma, digamos que simplemente hicieron que el valor del bit fuera muy grande
      Ternary Bonsai 27B usa pesos ternarios {-1, 0, +1} y escalado por grupo en FP16, con 1.71 bits efectivos por peso. 1-bit Bonsai 27B usa pesos binarios {-1, +1} y el mismo escalado por grupo, con 1.125 bits efectivos por peso
    • Si lo calculas con la forma más práctica de meter 5 números de 3 estados en 1 byte, eso da 1.6 bits. Pero en la práctica normalmente se agrupan 4 números de 4 estados
    • Es una convención desafortunada que viene desde el primer modelo de “1 bit”. Aun así, Bonsai tiene tanto una versión ternaria como una versión de 1 bit real