Posits, un nuevo tipo de número que mejora las matemáticas de la IA

• Entrenar redes neuronales grandes requiere una capacidad de cómputo masiva
  • En el caso de GPT-3 de OpenAI, solo el entrenamiento costó más de $5m aprox.
• Los ingenieros idearon otras formas de representar números para reducir esta carga de costos
• Los Posits, propuestos en 2017, son una mejora frente a los procesadores aritméticos de punto flotante que se usan hoy
• Se desarrolló el primer núcleo que lo implementa por hardware. Frente al método FP actual, la precisión de los cálculos aumenta hasta 4 veces

  Como la ley de Moore está dejando de cumplirse, hay que encontrar formas de obtener más rendimiento en la misma máquina
  Una de esas formas es cambiar cómo se codifican los números reales y cómo se representan los números reales

• Este no es el único lugar que intenta cambiar los números. Hace poco, Nvidia, Arm e Intel acordaron usar números de punto flotante de 8 bits en lugar de 32/16 bits para aplicaciones de machine learning
  • Usar un formato más pequeño y menos preciso mejora la eficiencia y el uso de memoria, sacrificando precisión de cálculo
• Como los números reales son infinitos, el hardware no puede representarlos de forma perfecta
• Para ajustarlos a una cantidad de bits determinada, muchos números reales deben redondearse
• La ventaja de los Posits viene de cómo se distribuyen a lo largo de la recta numérica los números que se intenta representar con precisión
  ( Para la forma real de distribución de los Posits, consulta la imagen incluida en el artículo. )
• La mejora de precisión que se obtiene con esto es innegable, pero todavía está por verse qué impacto exacto tendrá en el entrenamiento de IA grandes como GPT-3