¿Hay alguien operando a gran escala sin usar tecnología de contenedores?

 (news.ycombinator.com)
17 puntos por xguru 2022-03-28 | 3 comentarios | Compartir por WhatsApp

Preguntas y respuestas publicadas en HN

  • Operan miles de núcleos de CPU y cientos de tipos de pipelines de datos que procesan petabytes de datos cada mes con Nix
  • Antes de ser adquirida por Facebook, WhatsApp operaba sobre servidores bare metal con FreeBSD. Usaban rsync para desplegar BEAM y el código de la aplicación
  • Grooveshark atendía a 45M de MAU con solo unos pocos servidores físicos. nginx + PHP + MySQL + Memcached + un servidor de mensajería en tiempo real escrito en Go
  • En 2010, el sistema de analítica de MySpace corría en 14 instancias de EC2, y el servicio de streaming de ESPN también manejaba millones de conexiones simultáneas solo con VM. Incluso un sitio web con 45M de visitas mensuales corría en una sola instancia de EC2
    → K8s + Docker es mucho más pesado de lo que se suele pensar
  • Fly.io ofrece contenedores a sus clientes, pero en su propia infraestructura no usa tantos contenedores (salvo API servers orientados a clientes, etc.)
  • The Guardian usa cientos de instancias de EC2 instalando imágenes de EC2 creadas a partir de imágenes oficiales (se construyó antes de que Docker se volviera el estándar de facto). Consideraron migrar a Docker, pero como su stack está basado en JVM, usar Docker no ofrece una gran ventaja.
  • Administran unos 200 servidores en bare metal con Ansible. Gestionan imágenes con arranque PXE. Usan una imagen personalizada de Arch Linux con algunos scripts, y les ha funcionado bien así durante 20 años
  • Stack Overflow no usó contenedores hasta 2016
  • Usan FreeBSD Jails y una herramienta ligera de orquestación escrita en Rust. Operan cientos de máquinas Ryzen de 64 núcleos, y les cuesta cerca de 1/6 de lo que costaría operarlo en Amazon, con un rendimiento muy superior

Lecturas relacionadas

3 comentarios

 
tribela 2022-03-30

Uso Docker por la comodidad de gestión, pero Kubernetes en la mayoría de los casos es más de lo necesario. Incluso si operas varios nodos, creo que en la mayoría de los casos todo se puede cubrir al nivel de Docker Swarm.
 
alstjr7375 2022-03-28

Es un artículo que vi recientemente en HN.
Por otro lado, son consejos para operar Kubernetes de alto rendimiento.
https://medium.com/pinterest-engineering/…
 
ifmkl 2022-03-28

Supongo que “a gran escala” depende del criterio, pero el HPC de todos modos se operaba sobre bare metal..
En mi trabajo anterior llegamos a operar una configuración de HPC equivalente a 50 racks de tamaño 42U.
Era un tema de operación. Cuando surgía un problema, en vez de buscar solo en el HW existente, el SO, Grid Engine y los scripts de usuario,
no había razón para ampliar el alcance hasta los contenedores...