DeepSpeed - La biblioteca de optimización de deep learning presentada por MS

• Un wrapper ligero sobre PyTorch

• Cambios mínimos de código, modelos más de 10 veces más grandes y velocidades más de 5 veces mayores

• Minimiza la memoria usada durante el entrenamiento (4x) aplicando Zero Redundancy Optimizer (ZeRO)