Facebook publica como código abierto un modelo capaz de traducir 100 idiomas sin depender del inglés

M2M-100 es un modelo de MMT (Multilingual Machine Translation),

el primero en permitir la traducción bidireccional entre 100 pares de idiomas sin depender de datos en inglés.

La mayoría de las traducciones pasan por el inglés, que tiene más datos de entrenamiento, pero este modelo traduce de forma directa, lo que permite conservar mejor el significado.

Mostró resultados más de un 10% mejores en la puntuación BLEU (Bilingual Evaluation Understudy).

Fue entrenado en un total de 2200 direcciones de idiomas, 10 veces más que los anteriores modelos multilingües de primer nivel centrados en el inglés.

Con M2M-100, mejora la calidad de traducción para las personas que usan idiomas con pocos recursos.

Este artículo comparte detalles sobre el conjunto de datos de entrenamiento de MMT y sobre cómo se construyó el modelo,

y también publica el modelo, los métodos de entrenamiento y de evaluación para que otros investigadores puedan reproducir y desarrollar mejores modelos multilingües.

Se puede descargar el archivo del modelo entrenado con 12 mil millones de parámetros (136GB)