SuperGemma4 - modelo Gemma 4 26B sin censura/con mayor velocidad/cuantizado de Google

 (huggingface.co)
40 puntos por xguru 14 일 전 | 8 comentarios | Compartir por WhatsApp
  • Modelo solo de texto basado en Gemma 4 26B IT, optimizado para Apple Silicon con MLX y cuantizado a 4 bits, con un tamaño de aproximadamente 13GB
  • Más inteligente que el original, más rápido en la misma máquina y un modelo sin censura estable para código, uso de herramientas y coreano
  • Como modelo insignia solo de texto, se enfoca en procesamiento de texto rápido y no en multimodalidad
  • Mejora a 95.8 puntos en QuickBench (original 91.4) y 8.7% más velocidad de generación (46.2 tok/s), con una reducción claramente perceptible en la latencia de respuesta
  • Mantiene la característica clave de ser sin censura (uncensored), y aun así ofrece salidas estables en código, uso de herramientas y prompts en coreano
    • La puntuación de generación de código sube a 98.6 (+6.3), mostrando resultados mucho más precisos que el original al pedirle escribir o refactorizar funciones de Python en local
    • La puntuación en prompts en coreano es 95.0 (+4.3), por lo que se puede usar directamente al hacer preguntas en coreano sin que se rompa
    • El rendimiento al procesar coreano y prompts de estilo agente es superior al del original
    • Al ser un modelo sin censura, hay cero respuestas bloqueadas por filtros de contenido, y aun así la salida no se vuelve inestable ni se rompe
  • Se puede desplegar de inmediato en workloads/pipelines de agentes locales como automatización de navegador, llamadas a herramientas y planificación
  • Para ejecutarlo:
    • mlx_lm.server --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 --port 8080
    • Soporta automáticamente serving compatible con OpenAI, sin necesidad de configurar plantillas aparte (de hecho, si se pone una ruta en --chat-template, la respuesta se degrada)
  • MLX 4-bit, tensores BF16·U32, formato Safetensors

Lecturas relacionadas

8 comentarios

 
kohs100 12 일 전

Estaba usando el Heretic 31B que está subido en Hugging Face, así que también tendré que probar este.
 
jjangdww 13 일 전

Yo también debería intentarlo una vez.
Gracias por la buena información.
 
asdfg 13 일 전

Esto tiene una licencia distinta a la de gemma4, que es el original.
 
fanotify 13 일 전

Así es, no es Apache 2.0.
 
caniel 12 일 전

En la pestaña de licencia aparece un enlace a Gemma 4, ¿dónde se puede verificar?
 
adieuxmonth 14 일 전

Increíble, wow
 
sea715 14 일 전

Jeje, es curioso que sea un modelo hecho por una comunidad local.