Plan para construir su propio centro de datos

• Si quieres construir tu centro de datos

  • Railway construyó su infraestructura de cómputo desde el principio sobre Google Cloud Platform. Sin embargo, esto generó varios problemas, como precios, nivel de servicio y limitaciones de ingeniería. Para resolverlos, inició el proyecto Railway Metal y construyó su primer sitio en California.

• Si quieres construir una nube

  • El proyecto Railway Metal comenzó en enero de 2024 y tomó 5 meses instalar el primer servidor. Tuvieron que conseguir espacio y considerar energía y enfriamiento. Entre tres opciones principales, eligieron Cage Colocation.

• Un gran poder conlleva una gran responsabilidad

  • Al planificar una migración a un centro de datos, hay que considerar la capacidad de cómputo necesaria. La densidad de energía es un factor importante, y se requiere redundancia en el suministro eléctrico. La energía se distribuye mediante una Power Distribution Unit (PDU).

• Hágase la luz

  • La conectividad de red es importante, y contrataron distintos ISP para asegurar la mejor ruta de red posible. Eligen ISP adecuados para cada región y construyen redundancia entre múltiples regiones.

• Pasillos, racks e infraestructura superior

  • En un centro de datos, los racks se organizan en filas y se necesitan pasillos para el flujo de aire. También hay que considerar el tamaño de los racks y la gestión del cableado. La energía y el enfriamiento pueden ser factores más limitantes que el espacio.

• Rack y stack

  • Un cableado ordenado requiere mucha práctica y ayuda de expertos. Planifican la instalación mediante una matriz de cableado y documentos de elevación de racks. La instalación toma entre 6 y 14 días.

• A fondo con Metal

  • La jaula instalada es como un lienzo en blanco, y hace falta configurar dispositivos de red, ajustar routers, actualizar registros del RIR y más. Usan FRR y SONiC para construir una red basada en software dedicada exclusivamente a L3.

  • En una próxima publicación abordarán el proceso de convertir servidores en una zona funcional de Railway. También desarrollaron dos herramientas de software, Railyard y MetalCP, para facilitar el diseño de nuevas jaulas, la visualización del cableado y la instalación del sistema operativo en los servidores.

[GN⁺]

Comentarios de Hacker News

• Se cuestiona por qué a "colocation" se le llama "construir tu propio centro de datos". En realidad, no es más que instalar servidores en racks
• Recuerdos de anécdotas divertidas de la época de Rackspace
  • El incidente en que empleados de EMC tiraron un rack de servidores mientras instalaban equipos de almacenamiento
  • El incidente en que un centro de datos quedó fuera de línea por un ataque al corazón de un camionero
  • La experiencia de transmitir ancho de banda a otro edificio con láser
  • Cuando, por un incendio en los servidores, rompieron una ventana y compraron un ventilador de caja
• Se menciona que la tecnología de centros de datos ha avanzado mucho y se comparte una experiencia de colaboración con Facebook
• Se señala el problema de la falta de soporte al cliente de Google
• Se comparte la experiencia de construir la infraestructura de Blekko
  • La colocación física fue importante para manejar el tráfico de red "east west"
• Se enfatiza la importancia de calcular la capacidad de HVAC "CRAC" del centro de datos
• Se expresa descontento con el servicio al cliente de Google
  • Comparándolo con la atención al cliente de AWS y Microsoft
• Se menciona la necesidad de herramientas como Netbox
• Se comparten experiencias de despliegues de centros de datos entre 2003 y 2010
  • Se enfatiza la importancia de la gestión de cables y la estandarización
• Se enfatiza la importancia de la sección "WTF" del centro de datos
• Se comparte la experiencia de operar VM mediante colocación para reducir costos de AWS
• Se enfatiza la importancia de poseer activos como empresa de infraestructura
  • Se explica por qué Cloudflare ofrece servicios gratuitos
• Se enfatiza la importancia de la gestión de cables
  • Se menciona la necesidad de tener cuidado al mezclar cables de cobre y fibra óptica