BloombergGPT - modelo de lenguaje a gran escala para finanzas

• Modelo de lenguaje de 50 mil millones (50B) de parámetros, entrenado con una amplia variedad de datos financieros
• Se construyó un dataset de 363 mil millones de tokens basado en las fuentes de datos de Bloomberg, reforzado con 345 mil millones de tokens de datasets generales
• No presenta degradación de rendimiento en benchmarks generales de LLM y, en tareas financieras, muestra un desempeño muy superior al de modelos existentes
• También describe las decisiones de modelado, el proceso de entrenamiento y la metodología de evaluación
• Como siguiente paso, planean publicar un registro de entrenamiento (crónica) que cubra en detalle la experiencia de entrenamiento de BloombergGPT