- Se comparten los resultados de aplicar Priority PayGo de Vertex AI a un chatbot de IA en operación real y analizar, por franja horaria, unos 27,000 datos acumulados durante cerca de dos semanas
- Según la mediana (Median), el tiempo de respuesta de ON_DEMAND(Standard) y ON_DEMAND_PRIORITY estuvo en su mayoría dentro de 100~300 ms, con un rendimiento prácticamente idéntico
- La única franja en la que Priority fue significativamente más rápido fue a las 16:00 (-338 ms); en las otras 23 horas fue similar o incluso Standard resultó más rápido
- La proporción de solicitudes que superaron los 10 segundos fue de 3.4% en Standard y 5.9% en Priority, por lo que Priority mostró una inestabilidad 1.7 veces mayor
- En particular, durante la noche (22:00~23:00), la tasa de solicitudes de Priority que superaron los 10 segundos pasó del 12%, más de 3 veces por encima de Standard
- Considerando que el costo por token es 1.8 veces más alto, se concluye que por ahora Priority PayGo no ofrece una ventaja de rendimiento frente al costo
- Como estos resultados corresponden al entorno gemini-3-flash-preview (modelo preview) + asia-northeast3 (región de Seúl), podrían cambiar después del lanzamiento GA
Aún no hay comentarios.