Meta ya empezó a trabajar en Llama 4. El poder de cómputo necesario será 10 veces mayor que el de Llama 3

• Mark Zuckerberg lo mencionó durante la presentación de resultados del Q2 de 2024
• Llama 3 ya está compitiendo con los modelos más avanzados, y el desarrollo de Llama 4 ya comenzó
  • La meta es alcanzar el nivel más alto de la industria el próximo año
• Están planificando los clústeres de cómputo y los datos que necesitarán durante los próximos años
  • Se espera que el poder de cómputo necesario para entrenar Llama 4 sea casi 10 veces mayor que el de Llama 3, y que los modelos futuros sigan aumentando por encima de eso
  • Es difícil predecir cómo continuará esta tendencia, pero por ahora consideran que, dado el largo tiempo de preparación que implica poner en marcha nuevos proyectos de infraestructura, es mejor construir capacidad antes de necesitarla que hacerlo demasiado tarde
  • A medida que amplíen estas inversiones, mantendrán la eficiencia operativa en toda la empresa

[brainer]

Originalmente, en DL los recursos de cómputo han aumentado en promedio 10 veces cada 2 años, así que no creo que sea algo tan sorprendente.