Cómo construir una red full-mesh de alta velocidad de 10Gbps por $47.98 usando USB4

• Se construyó un clúster de Kubernetes sobre bare metal y se configuró una red de 10Gbps para reducir los costos de AWS
• Se reemplazaron los switches Ethernet y cables tradicionales con una red basada en puentes Ethernet sobre USB4
• La velocidad de red alcanzó 11Gbps, pero el costo de implementación fue de solo $47.98

Mini PC frente a un servidor 1U estándar

• Se evaluó qué tipo de máquinas usar para construir el clúster bare metal
• Los servidores 1U usados son baratos, pero resultan ineficientes al considerar los costos operativos
• Las mini PC son baratas, silenciosas y consumen poca energía
• Se eligió la mini PC Venus UM790 Pro por su bajo consumo de energía (6W en reposo, 80W con carga máxima)
  • CPU AMD Ryzen 9 7940HS + 64GB de memoria + 1T de almacenamiento por un precio económico de $779

Red

• Se decidió agregar 2 mini PC UM790 Pro más para ampliar a un clúster de 3 nodos
• Después de instalar el sistema de almacenamiento Ceph, se hizo necesaria una mejor conexión de red entre nodos
  • El equipo sí tiene puertos de red de 2.5G, pero aun así había que comprar un switch Ethernet
• Se consideró aprovechar los dos puertos USB4 del equipo, con potencial de alcanzar 40Gbps
• Se configuró una red full-mesh con cables USB4, reduciendo costos frente a comprar un switch Ethernet de 2.5G

Configuración de la red mesh con NixOS y systemd

• Se usó NixOS para crear una configuración reproducible del entorno Linux.
• Se configuraron los dispositivos de red tipo puente Thunderbolt y las IP con systemd-udevd.

Resultados del benchmark

• Los resultados de iperf3 confirmaron una velocidad de red de 11Gbps

Reflexión posterior

• Satisfacción por haber construido una red de 11Gbps a muy bajo costo.
• Curiosidad sobre la causa de la limitación de velocidad en una red basada en USB4.
• Exploración de las posibilidades futuras de construir redes de alta velocidad basadas en USB/Thunderbolt.

Opinión de GN⁺:

• Este artículo destaca la importancia de que los ingenieros de software amplíen sus conocimientos de hardware. En particular, propone un enfoque creativo para construir una red de alta velocidad a bajo costo, presentando una nueva alternativa frente a los métodos tradicionales de networking.
• Muestra que las redes basadas en tecnología USB4 pueden ser más rentables que las soluciones tradicionales basadas en Ethernet, además de ofrecer mayor velocidad. Esto podría convertirlas en una opción atractiva para pequeños centros de datos o usuarios individuales en el futuro.
• La forma de automatizar la configuración de red y hacerla reproducible con herramientas como NixOS ofrece información útil para administradores de sistemas y desarrolladores.

[aster]

Pensé que decía "compra total"...

[pmc7777]

Está muy bien armado... qué envidia.

[bus710]

Estoy usando muy bien la transferencia de archivos con IP sobre TB4/USB4, y de verdad es rapidísima jaja.

[bus710]

Si instalas thinderbolt-tools, los paquetes bolt y el driver correctamente, puedes configurar la interfaz con nmcli y usarla fácilmente con ssh o scp, igual que una conexión Ethernet.

Con dispositivos Intel y Mac no hubo mayores problemas, pero con AMD puede haber algunos dispositivos que no funcionen bien.

[kuroneko]

Si hubiera sabido esto, habría elegido un CPU de Intel... T_T

[kuroneko]

Eh... ¿si conectas directamente 2 PCs por USB4/Thunderbolt, se reconoce como Ethernet?

Justo estaba haciendo todo tipo de planes para intentar conectar mi NAS y mi PC a 10 Gbps
(iba a comprar 2 tarjetas de red con soporte para 10G para conectarlas directamente entre sí)

Ahora de repente me siento medio vacío.

¿Resulta que lo que tenía que hacer era cambiar la motherboard por una que soporte USB4/Thunderbolt...?

[kuroneko]

Cuando lo vi pasar de reojo en HN, lo dejé pasar sin pensarlo mucho,
pero al verlo aquí, de repente el contenido me llamó la atención;

En fin, gracias a esto ya veo una solución...

La desventaja sería más o menos que el NAS y la PC tienen que estar cerca.
Como mucho, un cable USB4 mide unos 3 m... (comparado con un cable de red, que llega hasta 100 m)

[molla]

La limitación de distancia es más seria de lo que parece.
El estándar de cable USB-C solo soporta 10 Gbps cuando mide 1 m o menos. (Por eso los cables de datos USB-C son cortos).
Si mide 2 m o menos, soporta 5 Gbps, y si es más largo, solo soporta USB 2.
Si te vas de plano por el lado de Thunderbolt, puedes aumentar la distancia usando cables activos, pero los cables activos son carísimos y tampoco tengo claro si son compatibles con USB4.

[kuroneko]

Ah... entonces es muy probable que los cables USB4 de 3 m que hay en el mercado no den la velocidad adecuada.
Tendré que investigarlo bien antes de hacerlo. Como uso un CPU de AMD, también me cuesta usar Thunderbolt :(

[GN⁺]

Comentarios en Hacker News

• Discusión sobre el protocolo USB4/Thunderbolt:

  • USB4/Thunderbolt es un protocolo casi mágico, y la forma más rápida de mover datos entre PCs modernas es conectar los puertos Thunderbolt con un cable USB-C.
  • Esta conexión es reconocida en Windows como un puerto Ethernet, y permite alcanzar fácilmente velocidades de transferencia de más de 1 GB/s, suficientes para saturar un SSD.
  • Intel mostró en CES una función de transferencia de archivos entre dispositivos usando Thunderbolt 4/5. En teoría, Thunderbolt 4 y 5 ofrecen velocidades de 20 Gbps y 40 Gbps, respectivamente.
  • Si se usa solo un controlador Thunderbolt/USB4, es posible que solo se hayan podido lograr 11 Gbps porque los dos puertos USB4 comparten los carriles PCIe de 40 Gbps.

• Explicación sobre la topología de red:

  • Si solo hay 3 nodos, no se le llama red en malla; una red en anillo real se forma cuando hay 3 o más nodos y algunos destinos requieren varios saltos.
  • Una red en malla se refiere a una red formada por conexiones punto a punto arbitrarias donde existen múltiples rutas posibles.

• Benchmark del consumo eléctrico de un servidor Dell:

  • Al medir el consumo eléctrico de un servidor Dell r430, se observó que usa alrededor de 100 watts después del arranque y hasta unos 220 watts bajo carga.
  • Eso equivale a 72 kWh por día y un costo mensual de $11.05, mientras que bajo carga el costo mensual sería de $24.3.
  • Para hospedar servidores, es mejor usar colocación para resolver los problemas de internet estable y ruido.

• Capacidad de manejo de errores de USB 4:

  • Se plantea la pregunta de qué tan bien maneja USB 4 los errores ante la rara corrupción de datos que puede ocurrir durante transferencias masivas por USB.

• Métodos de transferencia de archivos del pasado:

  • Se comparten recuerdos sobre la transferencia de archivos entre computadoras MS-DOS usando un cable paralelo.

• Optimización de la conexión Thunderbolt:

  • Al configurar el MTU (unidad máxima de transmisión) en 9000 para una conexión Thunderbolt, se obtiene mejor rendimiento que con 1500.

• Recuerdos de topologías de red antiguas:

  • Se menciona la experiencia de haber conectado 8 PCs a una sola cadena SCSI en los años 90 usando IP-over-SCSI a velocidad U320.

• Problemas técnicos relacionados con la velocidad de Thunderbolt:

  • Se mencionan como factores que afectan la velocidad de Thunderbolt el cable, la asignación de carriles PCIe de la motherboard y las actualizaciones de drivers/firmware.

• Discusión sobre las tarifas eléctricas:

  • Se dio el dato de que la tarifa eléctrica residencial promedio es de 15.34 centavos/kWh, pero también se compartió la experiencia personal de pagar más del doble en San Francisco.

[cosine20]

Vaya, ¿entonces las computadoras antiguas podían intercambiar datos conectándolas con un cable paralelo???