1 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • En una cuenta de AWS cuyo uso habitual es de menos de 5 dólares, la factura estimada de este mes apareció como 1.700 millones de dólares
  • La diferencia entre el uso real y el monto facturado es excesivamente grande, por lo que se considera una situación de datos de facturación estimada inexactos
  • La persona que publicó el caso creó un ticket urgente de soporte de AWS para verificar el problema y responder
  • El estado de los servicios de AWS puede consultarse en el AWS Health Dashboard
  • Pidió confirmar si otros usuarios están experimentando el mismo fenómeno y luego agregó una publicación de Reddit relacionada

Facturación estimada anómala

  • La factura estimada de AWS para este mes apareció como 1.700 millones de dólares, pero el uso habitual de esa cuenta es de menos de 5 dólares
  • La persona que publicó el caso considera que una diferencia tan grande proviene de datos de facturación estimada inexactos, no del uso real

Verificación y respuesta

  • Se creó un ticket urgente de soporte de AWS para verificar el problema
  • El estado del servicio puede consultarse en el AWS Health Dashboard
  • Preguntó si a otros usuarios les ocurrió lo mismo y luego compartió una publicación de Reddit relacionada

1 comentarios

 
GN⁺ 4 시간 전
Comentarios en Hacker News
  • Ya me tocó lidiar con el mismo error en AWS, y la causa fue un error de configuración de unidades. Querían cobrar unos 5 centavos por GB, pero al omitir GB en la tarifa el sistema lo interpretó con la unidad predeterminada, bytes, y terminó cobrando 5 centavos por byte, así que en cuestión de horas a algunos clientes les aparecieron facturas de millones de dólares
    Me llamaron del equipo de soporte como a las 2 de la mañana, y entre las 3 y 4 ya habíamos aplicado la corrección, ajustado la facturación y enviado de inmediato un correo de disculpa. Los valores de uso que emite el servicio no están conectados directamente con el precio; cada SKU o concepto de cobro se define mediante una tarifa que incluye tipo de unidad, región y precio por unidad. Como los registros de uso se combinan con las tarifas según ID de cuenta, región, SKU, etc., si se define mal el tipo de unidad la conversión se rompe y salen montos absurdos

    • ¿No había pruebas? ¿De verdad un solo detalle de apariencia trivial mal configurado puede provocar llamadas de madrugada e infartos a cientos de miles de administradores?
      Claro, van a decir “¡esto no es un detalle trivial, Michael!”: https://www.youtube.com/watch?v=3fGHaVn5rGo
    • Me pregunto si el sistema de facturación de AWS todavía usa archivos CSV para mover datos. Hace más de 10 años, cuando me tocó mi primera guardia en AWS, algún ingeniero “listo” metió en el campo de descripción de datos de producción un registro de prueba del tipo “¿qué pasa si pongo una coma en este campo?”, y eso rompió el procesamiento de facturación
      Vi cómo ese registro se propagaba y las regiones iban fallando una por una de la misma forma; una sola persona arruinó la noche de muchísima gente. Podía haber usado un endpoint de pruebas, pero decidió probar en producción
    • No es algo para tomar a broma. Si alguien con una condición preexistente, como una enfermedad cardiovascular, ve de repente un cobro así, la ansiedad, el shock o la sensación de impotencia podrían incluso provocar una muerte real
    • Justo por esto siempre hay que hacer que el sistema falle de forma ruidosa (fail loud), en vez de elegir un valor predeterminado tonto
    • Me pregunto si esto fue el día en que salió el volumen gp3 de EBS
  • Me llegaron tres correos seguidos advirtiendo que el presupuesto había superado el límite de 18 dólares, y cuando revisé el costo era de 78 millones de dólares. Pensé que era phishing, así que entré directamente a la cuenta real, pero seguía mostrando 78 millones, y el impacto mental fue bastante fuerte

    • Quiero apostar a si hoy mismo corrigen la descripción de esta vacante: “Software Development Engineer II, AWS Invoicing”
      https://www.amazon.jobs/de/jobs/10428480/software-developmen...
      Tiene una descripción de puesto muy rimbombante sobre automatizar preparación para lanzamientos, coordinación de servicios cloud native y verificación continua con IA generativa, modelos de lenguaje a gran escala, grafos de conocimiento y arquitectura de agentes
    • Mi factura era de más de mil millones de dólares. Al principio estuve a punto de descartarlo como phishing, pero se veía demasiado real, así que entré directamente a AWS y casi me da un infarto al ver el cargo estimado
      Después encontré un banner de incidente en la página de soporte, pero me pregunto por qué no había un banner en la propia página de facturación, que era la que decía “debes mil millones de dólares”
    • A mí también me pareció sospechosísima la URL awstrack.me, y como era la primera vez que recibía una alerta así, asumí que era phishing. No hice clic en el enlace; entré al console y vi que había un incidente donde la facturación se mostraba mal, pero no decía nada sobre alertas por correo, así que hasta me preocupó que un atacante estuviera aprovechando el incidente para evitar ser detectado
      Después de revisar los logs, entendí que el aviso del incidente simplemente no describía por completo el alcance del problema, y me fui por otro café. La próxima vez voy a revisar aquí primero
    • Adaptando el viejo chiste: si una factura de AWS es de 78 mil dólares, es mi problema; pero si es de 78 millones de dólares, es problema de Amazon
    • En una cuenta corporativa apareció una factura de más de 3 billones de dólares
  • Este error es tan ridículo que seguro lo corrigen pronto, pero a principios de los 2010 sí encontré un error escondido en una factura real. Estaban calculando mal el descuento de reserva de EC2 para algunos servidores, y aunque yo analizaba regularmente el uso detallado con una hoja de cálculo de 18 pestañas, los números no cuadraban y me pasé meses rastreando la diferencia
    Incluso después de encontrar la causa, tomó bastante tiempo convencer a AWS de que su sistema estaba mal, y mientras tanto la diferencia siguió acumulándose. Catorce meses después recibí un reembolso de 7,000 dólares; me dijeron que había requerido la aprobación de un responsable de AWS, y desde entonces no he vuelto a ver errores de cálculo del lado de AWS

    • El crédito de 7,000 dólares en sí no era algo tan grande; en ese tiempo un PM o director cercano al producto podía emitirlo sin mucha supervisión. El verdadero problema fueron los 14 meses: corregir dentro del mismo ciclo de facturación es fácil, y arreglar el ciclo inmediato anterior es molesto pero común, mientras que corregir ejercicios fiscales anteriores implica pasar por finanzas y se vuelve muchísimo más doloroso
    • Mis colegas creen que reviso Cost Explorer con demasiado detalle, pero el tiempo invertido en encontrar costos raros casi siempre se paga con creces. Probablemente no gasté 7,000 dólares de tiempo rastreando este error, y en el proceso muy seguramente encontré oportunidades de optimización de costos aún mayores
      Tampoco me encanta desperdiciar dinero para hacerle el yate más grande a Jeff Bezos
    • Para decir “lo van a corregir pronto”, ya van 12 horas. Parece que nadie entiende el código que un agente escribió y luego pusieron en producción
  • Parece que la unidad que debía ser originalmente GB of storage consumed se mezcló con Bytes of storage consumed, provocando un error de 2^30 veces
    “Hay motivos para cuestionar el cálculo. Intenté consultar la definición de los campos, pero falló la conexión al servidor MCP, así que en vez de verificar, adiviné. Fue mi error. ¡Pero miren cuánto aumentaron los ingresos!”

    • Le dieron 0.45, 1.67 y 2.50 para que calculara cuánto cobrarle al cliente, así que la suma es 4.62, pero también podría ser otro número. Tal vez había que concatenarlos, y si el punto significa multiplicación, entonces 0 . 45 . 1 . 67 . 2 . 50 da 3,015,000
      Multiplicar por 0 debería dar 0, pero como no pueden no cobrar nada, la respuesta correcta es 3,015,000 mil dólares
    • Ya ni siquiera es fácil distinguir si “hay motivos para cuestionar el cálculo” es una parodia o una respuesta real. Incluso si le pidieras a un LLM que escribiera una frase más estúpida de lo que jamás podría producir, parecería que no hay límite para esa estupidez
    • Hoy le di a un agente local un CSV con unidades de tamaño legibles por humanos y le pedí que contara filas por rangos de GB, pero extrañamente interpretó MB como GB y falló por completo. Viéndolo en retrospectiva, probablemente habría sido más rápido hacer el cálculo directamente en Excel
    • Si fuera 2*30, entonces sería 60, así que bastaría con pagar 28.3 millones de dólares, pero probablemente lo que querían decir era 2^30, y entonces serían 1.5 dólares
    • Si hicieron vibe coding en el sistema de facturación y aumentaron los ingresos un 9,000%, es un excelente material para pedir un ascenso
  • Vi el correo de alerta de facturación por la mañana y pensé que había filtrado por accidente una clave de AWS y gastado 437 mil millones de dólares. Por suerte no tengo tanto dinero, y además me dio una descarga de adrenalina como nunca antes, sin necesidad de café, así que gracias a AWS

    • Si le debiera 437 mil dólares a AWS, sería mi gran problema, pero si le debiera 437 mil millones de dólares, sería el gran problema de AWS
    • Tal vez alguien realmente sufrió un infarto o incluso murió por esto. Que Amazon haya mostrado ese valor tal cual al usuario fue un manejo irresponsable
    • Estaba por dormirme cuando recibí la alerta, y sin duda superaba el límite de 16 dólares que yo había configurado
    • Peleé con AWS durante dos meses por una cuenta comprometida. Aunque durante los 3 años anteriores mi uso mensual había sido de unos 20 dólares, perdí 20 mil dólares y además me llegaron más facturas por decenas de miles, mientras AWS no ayudó hasta que yo mismo detuve la intrusión
      Después del trabajo pasé noches enteras aprendiendo a hacer scripting de infraestructura en AWS para controlar la intrusión, pero aun así me negaron cerrar la cuenta y también rechazaron revisar el caso sin que yo firmara un acuerdo de responsabilidad compartida. Al final contacté a la oficina del fiscal general estatal, desde allí le enviaron un correo directamente a AWS y, en menos de 24 horas, me llamó un gerente de AWS para resolver la cuenta y reembolsarme los 20 mil dólares. Aun así, al final se negaron a cerrar la cuenta, así que parece que no hay forma de salir completamente de AWS, y se siente como la peor manera de hacer negocios
    • En mi caso fueron 500 millones de dólares, y me temblaban tanto las manos que casi no podía ni escribir la contraseña
  • Solo hay que avisarle al ejecutivo de cuenta sobre la situación de presupuesto y pedirle que sea comprensivo, para poder reanudar cuando mejore la situación y mientras tanto hacer pagos mensuales de varios miles de millones de dólares con toda buena fe

    • No hay que mostrar debilidad. Hay que enfrentarlo de frente y sacar una tarjeta de crédito con un límite más alto
  • Si le debes 100 dólares al banco, es tu problema, pero si le debes 1.7 mil millones de dólares, es problema del banco

    • Cuando mi esposa manejaba eventos corporativos para una empresa mediana en su trabajo anterior, después de cada evento el saldo de la Amex corporativa normalmente superaba los 300 mil dólares. Cuando volvió de su licencia de maternidad, la persona que la reemplazó no había pagado la cuenta y el saldo vencido ya pasaba de 500 mil dólares, con montones de correos y mensajes de voz de Amex acumulados
      Los mensajes empezaron siendo amables y poco a poco se volvieron más urgentes, pero nunca llegaron a ser amenazantes ni hostiles
    • Este chiste solo funciona si de verdad le causaste a AWS un costo de 1.7 mil millones de dólares. Si solo emitieron una factura sin motivo, sigue siendo problema del usuario
    • Entonces la siguiente pregunta es qué pasa si le debes al banco 1.7 billones de dólares
    • Tal vez no aplique si eres Elon Musk
  • Parece que AWS vio que Anthropic le cobró 16 millones de dólares a alguien con uso cero y pensó que no había razón para detenerse en unos cuantos millones
    https://www.techtimes.com/articles/320266/20260712/anthropic...

    • Si la startup de auditoría de facturación de IA Vaudit revisó 34 millones de dólares en facturas de 60 clientes empresariales y encontró alrededor de 1.7 millones de dólares en sobrecargos, es decir, una tasa de error de cerca del 5%, entonces es bastante grave
  • Hace poco descubrí que al pagar en Whole Foods la tarjeta Chase Amazon Prime ya no se reconoce de forma automática y confiable, así que el descuento no se aplica solo. Me pregunto cuántos clientes seguirán pagando el precio completo usando el mismo método que funcionó bien durante años
    Según el personal de servicio al cliente de la tienda, eso cambió en el último año, y sospechan que fue un efecto secundario no intencional de haber eliminado la función de pago con la palma. No está directamente relacionado con esto, pero hace pensar en qué otras cosas Amazon ya no está calculando bien

    • Ya es hora de una demanda colectiva o de miles de juicios de menor cuantía. Aunque haya cláusula de arbitraje, la carga de gestionar todo eso sería enorme, así que ojalá alguien tome la decisión correcta y haga reembolsos automáticos
    • Están apareciendo incontables problemas pequeños en sistemas que antes eran simples y estables. No todo será por el vibe coding, pero da curiosidad cuántos de esos problemas son resultado del vibe coding
  • En una ocasión, sí se retiraron realmente 20 mil dólares de una cuenta bancaria; hicieron falta varios meses y la intervención de la oficina del fiscal general del estado para resolverlo y recuperar el dinero. Desde entonces no ha vuelto a usar productos de AWS y movió incluso tareas pequeñas a Azure
    Los problemas de facturación de AWS llevan años; en línea es fácil encontrar casos en los que, por ejemplo, servidores de minería de criptomonedas funcionaron durante meses en cuentas comprometidas y a un estudiante le cobraron 60 mil dólares sin que AWS pudiera detectarlo ni bloquearlo

    • Como AWS es, en la práctica, casi un prestador de servicios públicos, si maneja la facturación con descuido al final inevitablemente terminará sujeto a una regulación acorde
    • Para servicios de costo variable, siempre hay que usar una tarjeta con límite de gasto
    • No creo que la detección de cuentas comprometidas pueda ser 100% precisa. Aunque para una persona sea obvio al verlo, no se puede revisar de forma proactiva y manual el uso de todas las cuentas
    • La primera lección al usar un proveedor de servicios es nunca activar el pago automático. La comodidad o el descuento valen mucho menos que el riesgo de que la empresa saque por su cuenta todo el dinero de la cuenta
    • Durante un tiempo tuve parte de mi homelab en AWS. Era docente en un salón donde los estudiantes aprendían sobre cloud, y como se recomendaba a los instructores crear entornos de práctica, yo también instalé una pila LAMP con MediaWiki en una instancia EC2 del nivel gratuito, pero terminé yéndome para siempre por dos razones
      Primero, incluso hoy era imposible o excesivamente laborioso proteger lo suficiente un sistema Linux común expuesto a internet. Aunque instalara fail2ban y cerrara muchos puertos, los ataques de spam entraban por la capa de aplicación. Segundo, en la práctica era imposible hacer cumplir un tope de gasto en la nube en cada ciclo de facturación. Aunque casi siempre se mantuviera dentro del límite gratuito, bastaba una configuración incorrecta o que un recurso se disparara para generar una factura grande difícil de disputar, especialmente cuando también podía deberse a causas fuera de control, como usuarios externos consumiendo recursos de la VPC y tráfico de transferencia saliente. Por eso cerró la cuenta, y llegó a empatizar profundamente con las empresas que se ven obligadas a usar la nube en lugar de infraestructura propia y aun así no pueden controlar los costos.