Interrupción masiva en ChatGPT y la API

• Entre las 5:42 AM y las 7:16 AM PT del 8 de noviembre, una parte considerable de las solicitudes en ChatGPT y la API de OpenAI falló con errores 502 o 503, lo que afectó a todos los modelos y endpoints de la API
• Los nodos de la capa de enrutamiento alcanzaron el límite de memoria y fallaron las verificaciones de disponibilidad; cuando suficientes nodos quedaron en estado unavailable, ya no hubo capacidad suficiente para procesar el tráfico entrante
• Esa mañana, las solicitudes de completion aumentaron mucho más que cualquier otro día anterior, lo que se convirtió en el punto de inflexión que hizo que el problema de memoria existente se propagara a una interrupción de todo el servicio
• La recuperación consistió en limitar el tráfico entrante, realizar una redistribución masiva del servicio y reanudar el tráfico de forma gradual; tras corregir la reutilización de responseBuffer, el uso de memoria y CPU mejoró 3 veces
• OpenAI ajustó los límites de memoria, aplicó bloqueo de carga basado en rate limits y aumentó la capacidad; además, planea agregar alertas de memoria y configuración de escalado automático (auto scaling)

---

Alcance de la interrupción y causa directa

• Entre las 5:42 AM y las 7:16 AM PT del 8 de noviembre, una parte considerable de las solicitudes a OpenAI falló con errores 502 o 503
• Durante la interrupción, se produjo una gran cantidad de fallas en todos los modelos y endpoints de la API
• La causa directa fue que los nodos de la capa de enrutamiento alcanzaron el límite de memoria y fallaron las verificaciones de disponibilidad
  • Una cantidad suficiente de nodos dentro del servicio quedó en estado unavailable
  • No quedó capacidad suficiente para procesar el tráfico entrante
  • El servicio no pudo recuperarse por sí solo
• Esa mañana hubo muchas más solicitudes de completion que en cualquier día anterior, y eso actuó como el punto de inflexión que provocó la interrupción

Medidas de recuperación y prevención de recurrencias

• La respuesta inmediata combinó tres acciones
  • Limitar el tráfico entrante
  • Realizar una redistribución masiva del servicio
  • Volver a aumentar el tráfico lentamente
• La causa raíz del problema crónico de memoria estaba en que, dentro de un bucle, se seguía asignando memoria nueva sin reutilizar responseBuffer
  • Cuando había muchas solicitudes, el GC no lograba seguir el ritmo
  • La corrección consistió en preasignar el búfer y reutilizarlo
  • Después del despliegue, tanto el uso de memoria como el de CPU mejoraron 3 veces
• Medidas adicionales ya aplicadas:
  • Se ajustaron los límites de memoria configurados a un nivel adecuado, lo que dejó un margen considerable para el servicio
  • Se implementaron controles de rate limit para reducir y aceptar el tráfico de forma más suave
  • Se aumentó la capacidad del servicio como medida preventiva adicional
• Cambios que se aplicarán en adelante:
  • Se implementarán cambios en las alertas para detectar el comportamiento de la memoria antes de que escale a un problema del servicio
  • Antes no se podía activar el escalado automático en este servicio porque agregar capacidad podía afectar negativamente a un upstream service
  • Al haberse resuelto ese problema de raíz, OpenAI planea configurar escalado automático para este servicio
• Una interrupción prolongada de la API afecta los productos y negocios de los clientes, y una interrupción de esta escala puede ser especialmente perjudicial

[xguru]

Parece que, por el impacto de este evento para desarrolladores, se les juntó bastante tráfico.
Definitivamente, GPT-4 Turbo cambió bastante en su salida.
Hasta el resumen de GN+ cambió de formato, aunque casi no le había tocado el prompt.

[GN⁺]

Opiniones en Hacker News

• Como ChatGPT se cayó, hoy probé Google Bard por primera vez y, honestamente, estuvo bastante bien.
  Tiene un tono sutilmente distinto al de ChatGPT, difícil de explicar.

  • Muchas veces me recomiendan Bard, pero casi siempre devuelve información incorrecta o que lleva a malentendidos.
  • Bard tiene datos de entrenamiento y métodos de entrenamiento distintos, así que solo eso ya permite entender en cierta medida por qué es diferente de ChatGPT.
    Desde el punto de vista del usuario, la forma de guiarlo para obtener la respuesta deseada es distinta, y también tienen que cambiar la manera de preguntar y la ingeniería de prompts.
  • Por la misma razón lo probé hoy por primera vez, y fue más lento y mucho más débil para programar.
    Solo le pregunté por una consulta SQL de agregación, pero simplemente ignoró parte de los requisitos de la consulta.
  • Bard tiene filtros demasiado agresivos.
    Incluso al hacer brainstorming de ideas para ladrones en un mundo de fantasía, por ejemplo con una onda tipo Lies of Locke Lamora, a menudo se niega a colaborar.
    Parece que ejecuta algún filtro heurístico sobre la salida antes de mostrársela al usuario, y a veces pasa si se cambia un poco el prompt.
    Del lado de ChatGPT, el sistema es lo bastante inteligente como para darse cuenta de que el crimen fantástico no es información para cometer delitos reales.
  • Probé https://you.com/chat y no estuvo mal.
    El modelo GPT4 tiene un cupón de prueba gratis por un mes, "codegpt", y GPT3.5 es gratis.

• Phind es bastante bueno para programar, y como está basado en LLama 2 entrenado con decenas de miles de millones de tokens de código adicionales, sigue funcionando: https://www.phind.com/s

  • Me da curiosidad cómo usa la gente Phind.
    Hace poco hablé directamente con Phind, y me dijo que, para poder ayudarme, tendría que leer mi codebase para entender los modelos de los que hablo.
    Creo que, si no conoce la codebase, no puede escribir bien nada más allá de las funciones más triviales.
    Phind también respondió que sí, pero dijo que en realidad no puede leer la codebase.
    Hablaba de forma bastante coherente y parecía entender lo que yo decía.
    Si no puede ayudar cuando una función recibe o devuelve clases que no son triviales como parámetros, no entiendo de dónde sale exactamente su valor.
  • Obtuve muchos buenos resultados con Phind.
    Su modelo de fine-tuning más reciente, V7, se sintió bien de usar y fue mejor que la mayoría de los modelos open source.
    Pero el enlace tiene una s al final, así que da 404.
  • Phind tuvo algunos problemas de consistencia, pero en general no tengo grandes quejas.
    De vez en cuando tuvo pequeños defectos, como no responder con prompts grandes o que desaparecieran las opciones de respuesta.
    En general, funciona bien para intercambiar ideas con ChatGPT o conseguir otra perspectiva.
    También está muy bien hecha la función de anotaciones que muestra los sitios web de donde obtuvo la información.
  • Parece que Phind también se cayó.
    "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
  • Acabo de probarlo: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
    A mi parecer, todo es una alucinación. Está bueno que incluya enlaces a la documentación.
    Edit: al cambiar astrojs por vite, dio una respuesta muy buena y precisa: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
    Bastante impresionante.

• Wow, me dio un sudor frío de verdad.
  Unas 48 horas antes del lanzamiento acabábamos de mover la mayoría de los servicios a Azure OpenAI, y no nos afectó esta caída.
  Qué alivio.

  • Interesante. Entonces, ¿Azure OpenAI no se vio afectado?
    Me pregunto si recibe las actualizaciones de la API y del sistema de OpenAI al mismo tiempo, y si el precio también es el mismo.

• Este es un buen momento para mencionar que HuggingFace aloja varios modelos de chat open source.
  Uno de mis modelos favoritos personalmente es una versión fine-tuned de Mistral 7B: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

  • Antes experimenté un poco con modelos de lenguaje grandes locales, pero en ese momento no pude encontrar un modelo que fuera lo bastante pequeño y bueno como para correrlo en una 3080 Ti.
    Este modelo es lo bastante pequeño como para ejecutarse a una velocidad apenas usable, con un poco más de 1 token por segundo, y hasta ahora parece estar casi al nivel de GPT3.5.
  • Si es gratis, me pregunto cómo ganan dinero.

• Iba a decir que era la oportunidad de Bard para brillar, pero parece que Bard también se cayó.

  • Fui a probar Bard, y la pantalla se veía limpia y la UI era realmente buena.
    Las respuestas también se veían bien organizadas y agradables a la vista.
    Ojalá la inteligencia artificial fuera tan buena como la de OpenAI.
  • Parece que voy a tener que sacar el sombrero de papel aluminio. Esto no puede ser casualidad :D
  • Me aparece "Something went wrong. Sorry, Bard is still experimental".
    Parece que desperdició su oportunidad.
  • Bard todavía está demasiado asustado y, de hecho, todavía ni siquiera es un servicio internacional.
  • Parece que empezaron a hablar entre ellos.

• A juzgar por los parlanchines que de repente se quedaron callados, este es el momento perfecto para scrapear los comentarios de HN y ver quién estaba escribiendo comentarios de HN con ChatGPT.

  • Jeje. Como modelo de lenguaje grande, creo que otros humanos no deberían seguir lo que dice este humano ;)

• Me di cuenta de la caída
  Se siente como si mucha gente usara ChatGPT como rueditas de apoyo para una bicicleta y luego se olvidara de cómo andar sin ellas

  • Con esa analogía, parece más cercano a muletas que a rueditas de apoyo
    Si no puedes andar sin eso, entonces no entrenaste nada
  • Más bien se siente así
    Estás construyendo una motocicleta tradicional, alguien propone un motor de bicicleta eléctrica y, como todavía no tienes motor de combustión interna, piensas en usarlo para adelantar la demo o el lanzamiento al mercado y luego cambiarlo por un motor de verdad
    Pero para cuando terminas el manubrio, el motor de la bicicleta eléctrica ya recibió cuatro actualizaciones y es mejor que cualquier motor de combustión interna. Entonces ya no hay motivo para cambiarlo
    Para cuando llegues al mercado, ese motor habrá recibido varias actualizaciones más, será totalmente autónomo e incluso podrá volar
    Además, hasta podrá autorreplicarse, así que quizá los compradores ya no te necesiten

• Ahora millones de desarrolladores junior tendrán que leer los manuales
  Qué gran día

  • Sorprende lo repentina y completa que fue la transición y la dependencia de ChatGPT
    Son los últimos días de nuestra profesión, así que disfrutémoslos
  • Leer manuales es cosa de dinosaurios; ahora hay que googlear

• Hoy probé Bard y mejoró mucho

  • Eso espero
    Los problemas de Bard todavía me sorprenden
    El mes pasado mintió sobre un dato y, cuando le pedí más detalles, afirmó que había enviado un correo
    Luego se disculpó diciendo que en realidad no había enviado ningún correo y que “sabía” que no podía hacerlo
    Es como un amigo que no puede decir “no sé” y en su lugar miente
    Le pregunté si alguna vez hubo un mercado dentro de la estatua de ‘Christ the King’ en Lisboa, porque quería verificar un rumor que había escuchado de un local
    En realidad no lo hubo, pero Bard creía que sí

• Por suerte, OpenAI no tiene acuerdo de nivel de servicio: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

  • Lo digo como gran fan de GPT, pero sorprende lo mala que es OpenAI como empresa y, aun así, lo rápido que nos subimos a esa plataforma horrible
    Hace 9 meses, en mi nuevo trabajo, había un bug que me impedía iniciar sesión en la cuenta corporativa de OpenAI
    Tardaron 6 meses en responder a mi solicitud de soporte, y recibí una respuesta genérica copiada y pegada que no tenía nada que ver con mi problema
    Estábamos gastando una cantidad enorme de dinero, pero no podíamos conseguir una respuesta ni encontrar a alguien con quien hablar por teléfono
    Al final tuve que pedirles a mis compañeros que crearan todas las claves por mí
    Luego, unos 8 meses después, un día de repente volvió a funcionar sin ninguna razón
    Poco después nos mudamos a Azure OpenAI Service, porque la plataforma de OpenAI era demasiado desastrosa para que la usara una empresa seria