OpenMythos: ¿hipótesis de arquitectura de Claude Mythos reconstruida con investigación abierta, o otro hype de IA?

Resumen

• OpenMythos se presenta como un experimento teórico de arquitectura (theoretical architecture experiment) que busca reconstruir, con base en investigación pública, una estructura similar a Claude Mythos.
• El texto no considera a OpenMythos simplemente como “slop”.
• En cambio, usa a OpenMythos como caso para abordar cómo, en la comunidad de IA, el README, los resúmenes hechos por IA, la difusión en YouTube/Reddit y las estrellas en GitHub construyen una confianza pública antes de la verificación.
• El texto llama a este fenómeno “sheepwave”.
• Aquí, sheepwave no significa ignorancia ni simple curiosidad, sino el fenómeno por el cual una historia técnicamente plausible y emocionalmente atractiva se solidifica como convicción colectiva antes de ser validada.
• La afirmación central no es que “OpenMythos no sea interesante”, sino que el problema está en cómo un artefacto de investigación interesante se consume como si fuera un avance arquitectónico validado (architecture breakthrough).

---

Qué es OpenMythos

• OpenMythos no es un modelo que replique directamente ni que se haya filtrado de Claude Mythos de Anthropic.
• El desarrollador dice que OpenMythos no es una reimplementación verificada de Claude Mythos, sino un experimento teórico de arquitectura que combina corrientes de investigación pública.
• La razón por la que OpenMythos llamó la atención rápidamente es que el nombre Claude Mythos ya estaba rodeado de misterio.
• Como la arquitectura completa de Claude Mythos no se ha hecho pública, la comunidad empezó a preguntarse “¿qué hay dentro?”.
• OpenMythos ofrece una forma posible para llenar ese vacío: “podría tener una estructura como esta”.
• En internet, la frase “reconstruyeron Claude Mythos” se difunde mucho más rápido que “experimento especulativo de arquitectura de profundidad recurrente basado en investigación abierta”.

Por qué OpenMythos llamó la atención tan rápido

• OpenMythos toca al mismo tiempo varias expectativas que la comunidad de IA ya quiere creer.

1. Expectativas sobre eficiencia de parámetros

• La idea de que un modelo más pequeño con profundidad recurrente pueda alcanzar una calidad similar a la de un Transformer más grande y de profundidad fija es un mensaje muy potente.
• La narrativa de “puede hacerse más profundo sin hacerse más grande” resulta atractiva para una comunidad cansada del costo de las GPU y de la concentración alrededor de los laboratorios frontier.

2. Arquitectura en bucle

• El cómputo iterativo se ve visualmente como si “estuviera pensando”.
• Pero el cómputo iterativo con pesos compartidos no es lo mismo que una capacidad real de razonamiento o un comportamiento adaptativo.

3. Expectativas sobre hardware personal o pequeño

• La combinación de una estructura de profundidad recurrente con compresión de caché al estilo MLA alimenta la expectativa de que incluso un modelo pequeño pueda sentirse como uno más grande.
• Pero en la práctica siguen existiendo problemas de ingeniería, como el costo del manejo de ramas, el comportamiento de memoria, la estabilidad del entrenamiento, la eficiencia del kernel, la exactitud de dependencias y el throughput.

4. El propio nombre Claude Mythos

• En un contexto donde Anthropic no ha revelado la estructura completa, OpenMythos ofrece la “forma” que la comunidad quiere ver.

5. La presencia, en un solo repositorio, de palabras clave arquitectónicas de moda como MoE, MLA, LTI, ACT y profundidad recurrente

• Por eso es difícil descartar a OpenMythos como puro sobrecalentamiento vacío.
• Justamente porque sí hay ideas reales, el sobrecalentamiento puede volverse aún más fuerte.

Cómo funciona el sheepwave

• El texto explica la reacción alrededor de OpenMythos en tres etapas.

1. Etapa de creencia

• La gente ve señales como Claude Mythos, open source, profundidad recurrente y eficiencia de parámetros, y reacciona primero a la posibilidad.
• En este punto, lo que se consume primero no es si el entrenamiento o el desempeño pueden reproducirse, sino la “posibilidad plausible”.

2. Etapa de amplificación

• YouTube, Reddit, newsletters, publicaciones sociales y resúmenes de IA repiten la versión más fuerte de la historia.
• En esta etapa no hace falta reproducir benchmarks ni validar rutas de entrenamiento.
• Lo importante es “la historia que se difunde bien”.

3. Etapa de duda a nivel de código

• Quienes analizan código clonan el repositorio y revisan scripts de entrenamiento, rutas del router, lógica ACT, manejo de ramas MoE y configuraciones de contexto grande.

• Pero esta etapa normalmente llega tarde.

• Esta estructura es un problema de asimetría de información.

  • Una línea como “un modelo de 770M logra rendimiento de nivel 1.3B” se difunde muy rápido.
  • En cambio, preguntas como “si esa afirmación de eficiencia realmente se reprodujo en este repositorio, si el manejo de ramas MoE resiste a gran escala, o si los valores de sesgo del router realmente se actualizan en el script de entrenamiento” requieren una revisión larga del código.

• Una frase se convierte en publicación; la otra necesita revisión.

• Por eso, en la memoria pública suele quedarse la afirmación simple, mientras que los resultados de la auditoría terminan como una nota al pie tardía (footnote).

Qué hace diferente a este sheepwave

• En este sobrecalentamiento intervienen los asistentes de IA.

• Si le das a una IA un enlace de GitHub, puede leer el README, la estructura de archivos, la terminología arquitectónica y referencias plausibles, y producir un resumen convincente.

• Eso es útil, pero no es validación.

• Un asistente de IA en un entorno de chat normal no hace lo siguiente:

  • reproducir entrenamiento multi-GPU
  • reproducir curvas de benchmark
  • observar si el equilibrio del router se mantiene en entrenamientos largos
  • medir el throughput de MoE
  • verificar la inicialización y el comportamiento de memoria en configuraciones de contexto grande

• Por lo tanto, una reacción como “hasta la IA quedó sorprendida” puede ser en realidad una reacción al README y a la superficie del repositorio, no a una validación real del código.

• La distinción central del texto es la siguiente:

  • Hay casos en los que la IA se impresiona con el código.
  • También hay casos en los que la IA se impresiona con el README.
  • No son lo mismo.

• Este sobrecalentamiento no gira en torno a “agentes que actúan”, sino a una “arquitectura que parece pensar”.

• Este tipo de hype arquitectónico no suele derrumbarse por un fallo dramático en una demo, sino que revela sus debilidades en puntos silenciosos como la ruta de entrenamiento, la reproducción de benchmarks, la función de pérdida, el estado de integración y la ruta de ejecución.

Resultados de la auditoría a nivel de fuente

• El texto presenta también los resultados de una auditoría a nivel de código fuente sobre OpenMythos.

• Esta auditoría contrastó la implementación del modelo, los scripts de entrenamiento, las configuraciones de variantes, el tokenizer, las pruebas, los archivos de dependencias y las afirmaciones del README con las rutas reales del código.

• Como resultado, OpenMythos no se considera un sobrecalentamiento vacío (Empty slop).

• Sí existen elementos realmente implementados.

  • Existe una estructura Prelude + Recurrent Block + Coda.
  • La estabilización recurrente al estilo LTI se evalúa como uno de los elementos de implementación más sólidos.
  • La compresión de caché al estilo MLA se relaciona con los problemas de manejo de contexto largo.
  • También existe lógica de detención al estilo ACT.
  • La estructura de profundidad recurrente puede entrar en discusiones sobre escalado, asignación de cómputo, iteración, memoria y enrutamiento.

• Pero sigue estando lejos del nivel de preparación operativa que sugería la narrativa pública.

Principales diferencias detectadas en la auditoría

• Afirmación de eficiencia 770M vs 1.3B

  • No es un resultado reproducido dentro del repositorio, sino más bien una afirmación externa o una cita.
  • Por eso conviene verla como “una cita, no un resultado”.

• Enrutamiento MoE

  • La lógica de enrutamiento existe, pero incluye manejo de ramas anidadas en Python, lo que debe considerarse un riesgo para el throughput a gran escala.
  • No significa “definitivamente imposible”, sino un riesgo que requiere profiling real.

• Equilibrio del router

  • El mecanismo de sesgo del router está expuesto, pero no se ve una ruta en los scripts de entrenamiento publicados que lo actualice de forma explícita.
  • En entrenamientos largos, el riesgo de desbalance de carga podría aumentar.

• Lógica de detención ACT

  • La lógica de detención al estilo ACT existe.
  • Pero la ruta de entrenamiento publicada no incluye una ponder loss explícita ni un término de regularización del cómputo.
  • El head de detención puede recibir gradientes de forma indirecta a través de la pérdida del modelo de lenguaje, pero no hay una función objetivo que fomente directamente una detención adaptativa eficiente.

• Módulo MoDA

  • Existe como archivo experimental separado, pero cuesta considerarlo integrado al modelo principal.

• Variantes grandes del modelo

  • Las configuraciones de 100B+ o de contexto 1M se parecen más a configuraciones orientadas a una meta que a opciones realmente utilizables, porque la estructura crea buffers RoPE de inmediato.

El problema de la etiqueta de investigación

• OpenMythos puede verse no como un modelo operativo, sino como una reconstrucción teórica (theoretical reconstruction) o un artefacto de investigación (research artifact).
• Esa etiqueta en sí es legítima.
• Los proyectos de investigación pueden incluir rutas de entrenamiento incompletas, estructuras experimentales e integraciones no terminadas.
• El problema es que la etiqueta de investigación y el hype público operan en lenguajes distintos.

La diferencia entre la etiqueta de investigación y el hype público

• Etiqueta de investigación: “esto es un experimento teórico”

  • Hype público: “esto va a cambiar el futuro de la IA”

• Etiqueta de investigación: “es una reconstrucción basada en investigación pública y conjeturas”

  • Hype público: “alguien reimplementó Claude Mythos”

• Etiqueta de investigación: “es una arquitectura para explorar”

  • Hype público: “los modelos pequeños ya pueden pensar como los grandes”

• El texto describe esta diferencia así: “el proyecto habla en el lenguaje de la investigación, pero la reacción pública lo traduce al lenguaje de la llegada”.

Tres capas para evaluar repositorios de IA

• El texto sostiene que, al evaluar repositorios open source de IA, hay que separar tres capas.

1. Narrativa

• Lo que dicen el README, los textos explicativos y las publicaciones sociales.

2. Mecanismo

• La estructura que el código implementa realmente.

3. Ruta operativa

• Las capacidades que realmente soportan la ruta de entrenamiento, la ruta de ejecución y la ruta de evaluación.

• La mayoría de los episodios de hype en IA fusionan estas tres capas en una sola.

• Una buena diligencia técnica las separa.

Conclusión

• OpenMythos no es algo que deba ignorarse o ridiculizarse.
• OpenMythos es un artefacto de investigación útil, interesante y con implicaciones técnicas.
• Pero eso no es prueba de que, por arquitectura sola, ya haya vencido los límites de escala.
• El README es un punto de partida, no el final de la validación.
• La conclusión del texto se resume así: “el README no es la orilla (shore). La ruta del código es la orilla”.
• El texto relacionado incluye el análisis completo del sheepwave y un informe separado de auditoría a nivel de fuente de OpenMythos v0.5.0.
  https://flamehaven.space/writing/…