El presente y el futuro del dilema del costo de la infraestructura de IA

• ¿Por qué es tan caro el costo computacional de los modelos de IA?
• Debate sobre el tiempo y el costo de las GPU
• Consideraciones sobre la infraestructura de IA
  • Infraestructura externa vs. infraestructura propia
  • Nube vs. construcción de un centro de datos
  • Comparación de proveedores de servicios en la nube: precio, disponibilidad, modelo de entrega de cómputo, interconexión de red y soporte al cliente
  • Comparación de GPU: entrenamiento vs. inferencia, requisitos de memoria, soporte de hardware, requisitos de latencia y cambios bruscos (spikiness)
  • Optimización y programación de modelos
• ¿Cómo evolucionarán los costos de la infraestructura de IA?
• Esta es una traducción y resumen del artículo de a16z "Navigating the High Cost of AI Compute".