Ray - Framework unificado para escalar aplicaciones de AI y Python

• Framework unificado para escalar aplicaciones de AI y Python
• Compuesto por un runtime distribuido central y un conjunto de bibliotecas de AI para simplificar el cómputo de ML
• Ofrece funciones como datasets, entrenamiento distribuido, ajuste de hiperparámetros, aprendizaje por refuerzo y serving.
• Permite monitorear y depurar aplicaciones y clústeres usando un dashboard
• Puede ejecutarse en cualquier computadora, clúster, proveedor de nube y Kubernetes

Por qué usar Ray

• Las cargas de trabajo de ML actuales son intensivas en cómputo
• Un entorno de desarrollo de nodo único, como una laptop, no puede satisfacer estos requisitos
• Ray
  • Proporciona una forma unificada de escalar aplicaciones de Python y AI desde una notebook hasta un clúster
  • Permite escalar sin fricción el mismo código desde una notebook hasta un clúster
  • Está diseñado como una solución de propósito general para ejecutar eficientemente todo tipo de cargas de trabajo
• Si la aplicación está escrita en Python, se puede escalar con Ray sin otra infraestructura

Opinión de GN⁺

• Ray parece una herramienta potente para facilitar el procesamiento distribuido de aplicaciones de ML/AI basadas en Python. En particular, se espera que sea útil para construir pipelines de ML, procesar grandes volúmenes de datos y entrenamiento distribuido
• Sin embargo, para aplicarlo en un entorno de producción, hará falta know-how sobre la construcción y operación de entornos de clúster. Para ello, la colaboración con ingenieros DevOps es importante
• No queda clara su diferenciación frente a frameworks de procesamiento distribuido existentes como Spark o Dask. Parece necesario destacar mejor sus ventajas en rendimiento o facilidad de uso
• La madurez de las bibliotecas de AI todavía no es alta, así que hay riesgos al adoptarlo de inmediato. Aun así, si continúa el desarrollo y el soporte de la comunidad, se espera que pueda convertirse en una herramienta útil en el futuro