Fly.io, ahora con GPU

La IA es realmente genial

• Fly.io es un nuevo servicio de nube pública que permite ubicar poder de cómputo cerca de los usuarios.
• Ahora es posible usar GPU para procesar cargas de trabajo de IA en entornos de edge computing.
• Fly.io permite ejecutar aplicaciones full-stack o una plataforma de desarrollo basada en la API de Fly Machines cerca de los usuarios.

Casos reales de uso con GPU en Fly.io

• Puedes desplegar tu propio código y el modelo que prefieras sobre el backbone en la nube de Fly.io.
• Con las GPU de Fly.io, es fácil poner en marcha en dos pasos una app con GPU que ejecute Ollama (los amigos del mundo de la generación de texto).
• Puedes desplegar la app agregando configuración en fly.toml y ejecutando el comando fly apps create sandwich_ai && fly deploy.

La velocidad de la luz tiene límites

• Encender GPU rápidamente está muy bien, pero Fly.io realmente destaca en la inferencia en el edge.
• Un ejemplo sería una app donde el usuario ingresa los ingredientes que tiene en la cocina y recibe al instante una receta de sándwich.
• Fly.io tiene GPU en centros de datos de todo el mundo y permite ejecutar el mismo programa en cualquier región con soporte para GPU.

Solo cuando realmente se necesita

• Las GPU son potentes dispositivos de procesamiento paralelo, pero no son baratas.
• Puedes agregar la sección services al archivo fly.toml para especificar cómo debe escalar y reducirse la app.
• Puedes configurarlo para no pagar el costo de la GPU cuando los usuarios no estén pidiendo recetas de sándwich.

Detalles

• Ofrece GPU disponibles en varias regiones de Estados Unidos, Europa y Sídney.
• Ofrece diversas opciones de GPU y precios, y por defecto todos los despliegues usan ocho núcleos de CPU AMD EPYC.
• Se pueden conectar volúmenes de hasta 500 GB, y también ofrece descuentos para instancias reservadas y hosts dedicados.

Opinión de GN⁺:

• Fly.io ofrece un servicio de nube innovador que permite procesar cargas de trabajo de IA en entornos de edge computing, con enfoque en mejorar la experiencia del usuario.
• El servicio con GPU ofrece una solución que considera tanto la velocidad de inferencia como la eficiencia de costos, especialmente adecuada para aplicaciones que requieren alta potencia de cómputo en tiempo real.
• Este servicio aumenta la accesibilidad de la tecnología de IA y puede ayudar a los desarrolladores a crear nuevas aplicaciones innovadoras, por lo que representa un avance muy interesante y útil.

[GN⁺]

Comentarios en Hacker News

• Un usuario expresó su decepción con las funciones básicas de Fly. Señaló que el equipo de soporte no pudo identificar problemas en la plataforma interna y que los mensajes de error eran ambiguos o inexistentes. Según este usuario, puede ser atractivo para quienes usan Fly por miedo o desconocimiento de Kubernetes, pero en su caso terminó extrañando Kubernetes.
• Un integrante de relaciones con desarrolladores de Fly.io comentó que las GPU ya están disponibles para el público general y que los usuarios pueden probarlas. También compartió un enlace a una publicación del blog sobre las GPU e invitó a hacer preguntas.
• Otro usuario mencionó que Fly ejecuta VM usando Firecracker y señaló que Firecracker no soporta GPU de forma nativa. Tiene curiosidad por saber cómo implementó Fly el soporte para GPU y espera una publicación técnica al respecto.
• Un usuario elogió la función de escalar a 0 de Fly y comentó que permite ahorrar costos de servidor al operar sitios experimentales con muy poco tráfico. Le gustaría ver un ejemplo del tiempo facturado por solicitud.
• Hay un usuario que lamenta que no exista un servicio alternativo a S3 dentro de Fly. Propone un proyecto GNU Affero como alternativa, pero siente que no es adecuado para negocios. Le gustan la simplicidad de Fly, su buena relación costo-beneficio y la VPN integrada, pero tener que dejar Fly para almacenar recursos de usuario es la razón decisiva por la que no lo usaría en su próximo proyecto.
• Un usuario se pregunta cuál es el mercado objetivo de Fly. Plantea si apunta a apps pequeñas o no validadas que necesitan ejecutar modelos de IA pero no quieren usar un servicio de hosting, o si tiene algún otro propósito.
• Un usuario pregunta por experiencias sobre el rendimiento de Fly y comenta que su primera impresión es que resulta caro. Por ejemplo, lo compara con máquinas CPU de Hetzner.
• Hay un usuario que pregunta si alguien tiene experiencia comparando el servicio Beam.Cloud con Fly.
• Un usuario comenta que le interesa saber qué tan rápido es escalar a 0, y que si realmente es veloz, le parecería muy interesante.
• Un usuario se pregunta si Fly puede ejecutar archivos cog usados por replicate y si puede correr modelos preempaquetados con la misma API de predicción. Cree que podría dudar por replicate, pero que si adoptaran eso ofrecerían una experiencia más fluida.