Postmortem de los 3 problemas recientes de Claude

Resumen de tres incidentes recientes (causas y soluciones)

1. Error de enrutamiento de la ventana de contexto (Context Window Routing Error)

• Causa: Algunas solicitudes al modelo Sonnet 4 fueron enrutadas por error a servidores configurados para una ventana de contexto más grande de 1M de tokens. Un cambio en el balanceo de carga del 29 de agosto agravó aún más el problema.
• Solución: En septiembre se implementó una corrección en la lógica de enrutamiento para asegurar que las solicitudes se enviaran al grupo de servidores correcto.

2. Corrupción de salida (Output Corruption)

• Causa: Una configuración incorrecta en los servidores TPU de la API de Claude provocó errores durante la generación de tokens, haciendo que aparecieran caracteres inesperados en las respuestas. Afectó a varios modelos de Claude.
• Solución: El 2 de septiembre se identificó y revirtió el cambio mal configurado, con lo que se resolvió el problema.

3. Error de compilación de "top-k aproximado" ("approximate top-k" miscompilation)

• Causa: Un cambio de código para mejorar la selección de tokens activó un posible bug en el compilador XLA:TPU, afectando a Claude Haiku 3.5 y a otros modelos.
• Solución: Se revirtió el cambio y se trabajó con el equipo de XLA:TPU para corregir el bug del compilador. Además, se hizo el cambio para usar la operación de "top-k exacto" en la selección de tokens.