[NAVER] Compartiendo la experiencia de migrar un servidor de modelos ML a un servidor con CPU manteniendo el rendimiento (feat. torchserve)

 (medium.com)
3 puntos por ninebow 2023-07-26 | 3 comentarios | Compartir por WhatsApp
  • *Este texto es una descripción generada automáticamente con GPT-4 y puede contener errores. *
  • *Si encuentras información incorrecta, te pedimos que nos lo hagas saber en los comentarios. *

Introducción

Este artículo comparte el proceso del equipo de desarrollo de Naver Place para migrar un servidor de modelos de ML de GPU a CPU. Esta migración tuvo como objetivo reducir los costos del servidor y hacer más eficiente su operación.

Resumen

1. Migración del servidor de modelos de GPU a CPU

  • El equipo de desarrollo de Naver Place llevó a cabo la migración del servidor de modelos de GPU a CPU. El objetivo era reducir los costos del servidor y hacer más eficiente su operación. Este trabajo incluyó reemplazar con CPU la GPU utilizada en el entrenamiento del modelo (training).

2. Estructura del servidor de modelos

  • El servidor de modelos está compuesto en gran medida por tres partes: entrenamiento del modelo, servidor de modelos y cliente. El entrenamiento del modelo incluye el proceso de entrenar el modelo usando un conjunto de datos (dataset); el servidor de modelos aloja el modelo entrenado, y el cliente envía solicitudes al servidor de modelos y recibe respuestas.

3. Migración de GPU a CPU

  • La migración de GPU a CPU incluye varias etapas. Primero, se modifica el código de entrenamiento del modelo para que pueda ejecutarse en CPU. Luego, se configura el servidor de modelos para que pueda ejecutarse en CPU. Por último, se modifica el código del cliente para que pueda enviar solicitudes al servidor de modelos que se ejecuta en CPU.
  1. Resultados después de la migración
  • Después de la migración, los costos del servidor se redujeron significativamente y su operación se volvió más eficiente. Además, el servidor de modelos ejecutándose en CPU funcionó bien sin degradación de rendimiento en comparación con el servidor de modelos ejecutándose en GPU.

Referencias

  • Naver Place Dev Blog
    • Este blog comparte diversos proyectos y experiencias del equipo de desarrollo de Naver Place. Puedes obtener más información sobre la migración de GPU a CPU mencionada en este artículo.

Lecturas relacionadas

3 comentarios

 
xguru 2023-07-27

He editado el texto.
Si hay una advertencia al inicio del texto, en Slack/Twitter solo se mostrará esa advertencia.
De ser posible, les pedimos que al inicio del texto pueda ir un resumen.
 
ninebow 2023-07-27

Tendré más cuidado de ahora en adelante. ¡Gracias! :)