Entender ModernBERT desde cero a través de TDD

ModernBERT es un modelo de embeddings/reranker que reúne investigaciones y técnicas recientes, y se utiliza como modelo clave en diversos pipelines de procesamiento de lenguaje natural, como RAG. Sin embargo, su estructura interna es compleja, por lo que hay muchas partes que resultan difíciles de entender solo con el código de modelado.

El open source de Sionic AI es un proyecto diseñado para aprender este ModernBERT paso a paso con base en pruebas unitarias. En particular, incluye el proceso de convertir directamente a TensorFlow un modelo escrito en PyTorch, lo que permite identificar con claridad, mediante escenarios de prueba, qué papel cumple cada capa y función.

Además, al estar convertido a TensorFlow, tiene la ventaja de poder servirse fácilmente también dentro del ecosistema Spring/JVM. Como permite usar ModernBERT no solo en entornos Python, sino también en sistemas de gran escala basados en Java/Kotlin, creemos que será especialmente útil para quienes construyen servicios de deep learning en entornos empresariales.