- Para sumar resiliencia a la infraestructura AS54316 de AP Foundation, se buscó alojar equipo operativo permanente fuera del centro de datos de NYC, en una casa de Connecticut; el principal obstáculo fue llevar hasta el hogar un enlace compatible con BGP.
- Los servicios FTTH comunes como Verizon FiOS y Optimum no ofrecían peering BGP; una alternativa vía VPN era posible, pero seguían quedando la falta de SLA y el punto común de falla de la infraestructura local en postes.
- La opción elegida fue un enlace DIA con un par de fibra dedicado hasta la oficina central/router POP, y Verizon Enterprise indicó que la casa estaba “on net”, ofreciendo un contrato de 3 años con facturación mensual y sin costo de despliegue.
- La instalación tomó unos 2 meses, 5 visitas en sitio, más de 10 ingenieros/técnicos de Verizon, presencia policial y trabajos sobre aproximadamente 2.5 millas de fibra; la arquitectura final quedó como Verizon CO ↔ VzT NID ↔ VzB NID ↔ router.
- Tras entrar en operación, al costo del puerto se le sumó un impuesto de alrededor del 30% del Federal Universal Service Fund y, aun con un SLA del 100%, hubo algunos flaps momentáneos y una interrupción de unos 30 minutos.
Requisitos para BGP en casa
- AS54316 es la red base de los servicios de AP Foundation, y la infraestructura existente estaba en el centro de datos NetActuate de Telehouse Chelsea, en NYC.
- El objetivo era usar el espacio disponible en una casa de Connecticut para montar infraestructura física de operación permanente, en lugar de agregar otra colocación en un centro de datos distinto.
- El equipo de operación permanente necesitaba enfriamiento, energía, seguridad y conectividad de red; de todo eso, la conectividad fue la tarea clave que tomó más de 2 meses.
- El espacio de direcciones IPv4/IPv6 propio fue asignado por ARIN y se anuncia como AS54316 mediante peering BGP con proveedores de tránsito IP.
- En un centro de datos es fácil conectarse con operadores globales como GTT, Cogent o HE mediante el proveedor de colocación o cross-connects, pero en un entorno residencial las condiciones eran muy distintas.
Límites de FTTH y de la alternativa con VPN
- En la zona de la casa había dos proveedores FTTH, Verizon FiOS y Optimum, y para uso personal ya se utilizaba FiOS.
- Ambos proveedores consideraban el peering BGP como una función típicamente para grandes empresas y no lo ofrecían en servicios residenciales.
- Era posible hacer peering BGP mediante VPN con proveedores VPS que ofrecen tránsito IP, como Neptune o Vultr.
- Sin embargo, la mayoría de los proveedores FTTH no tienen SLA, por lo que era difícil obtener garantías sobre la calidad básica de la conexión.
- También se podía contratar tanto Verizon FiOS como Optimum y armar multihoming basado en VPN, pero ambos proveedores usan principalmente infraestructura aérea en postes locales, por lo que podían ser vulnerables al mismo tipo de falla si un árbol caía sobre las líneas.
La diferencia que ofrece DIA
- La alternativa era DIA (dedicated internet access) o dedicated ethernet.
- En los servicios FTTH/FTTB no empresariales comunes, tecnologías como PON hacen que el vecindario comparta el enlace de backhaul hasta la oficina central del ISP.
- El ISP puede usar una sola fibra y divisores ópticos pasivos para dar servicio a varias casas/edificios.
- Aunque el usuario contrate un plan simétrico de 1 Gbps, no implica que todos los suscriptores usen simultáneamente el 1 Gbps completo.
- Con DIA, el ISP configura un par de fibra dedicado desde el router de la oficina central hasta el edificio, y ofrece garantías de ancho de banda, disponibilidad, latencia, jitter y tiempo de reparación.
- Este enlace se parece más a una conexión óptica larga entre el router del cliente y el router POP del ISP, y por su costo lo usan principalmente grandes empresas.
- En este caso, la diferencia importante era que el proveedor DIA permitía peering BGP con el cliente.
Selección de proveedor y estructura de costos
- Los candidatos naturales eran Verizon Enterprise y Lightpath, por tener infraestructura local, y también se consultó a operadores importantes como AT&T, Cogent, Zayo, Crown Castle y Lumen.
- Durante la evaluación de proveedores aparecieron varias restricciones.
- Algunos proveedores rechazaban directamente conectar edificios en zonas residenciales.
- Algunos exigían cargos mensuales mínimos altos, costos de despliegue o plazos de obra de alrededor de 1 año.
- Un proveedor cotizó 128,000 dólares para instalar 1,148 pies de fibra hasta el bundle “live” más cercano.
- Algunos proveedores delegaban la infraestructura física del último tramo a un operador local de intercambio de terceros, lo que podía generar coordinación y disputas de responsabilidad al momento de una reparación.
- Casi todos los proveedores exigían un contrato de 3 años.
- La elección final fue Verizon Enterprise.
- La condición era que la casa ya estaba “on net”, por lo que no había costo de despliegue adicional.
- Fue el único proveedor que publicaba sus precios de forma transparente en el sitio web.
- Algunos ejemplos de precios de Verizon por velocidad del enlace:
- 50 Mbps committed: 455 dólares al mes
- 100 Mbps: 661 dólares al mes
- 1 Gbps: 999 dólares al mes
- 5 Gbps: 2,099 dólares al mes
- 10 Gbps: 3,099 dólares al mes
- Tomando como base 455 dólares al mes por 50 Mbps, el costo real de “access” a Internet era de unos 90 dólares, y los aproximadamente 365 dólares restantes correspondían al costo del puerto, la conexión de capa física.
- El enlace incluía SLA, sesión BGP y conectividad dual-stack; también estaba disponible la facturación por percentil 95, pero una configuración de 100 Mbps committed con burst hasta 1 Gbps resultaba más cara que 1 Gbps committed, por lo que no encajaba con el caso de uso.
- Durante la configuración del servicio se podía elegir el tipo de network handoff, como 100base-FX, 1000base-LX, 1000base-T, single-mode o multi-mode.
Proceso de instalación: del relevamiento en sitio a la conexión óptica
- La instalación tomó unos 2 meses, más de 10 ingenieros/técnicos de Verizon, 5 visitas y presencia policial.
- El trabajo interno de Verizon estaba dividido entre Verizon Telecom, a cargo de la capa física, y Verizon Business, a cargo de la capa de ruteo; la mayor parte del trabajo en sitio la hizo Verizon Telecom.
- Durante el proceso de activación, un order manager dedicado en el extranjero se encargó de la coordinación interna y actuó como principal punto de contacto durante la instalación.
-
Primera visita: relevamiento en sitio
- Un High Capacity Outside Plant Engineer de Verizon Telecom realizó el relevamiento en sitio.
- Revisó los postes de la calle, el punto de entrada del servicio a la casa y la ubicación del rack de servidores, e indicó los requisitos de ductos para el cable de fibra, energía y espacio en rack.
- Se informó que el equipo de Verizon requería 4U de espacio en rack.
- En las avenidas principales hay grandes bundles de fibra, algunas calles tienen más de 800 hebras y quedaba dark fiber para proyectos futuros.
- Como la casa estaba justo al lado de una avenida principal, se planificó tender unos cientos de pies de fibra nueva para conectarla a un bundle grande; un extremo iría a un puerto de switch en la oficina central local de Verizon y el otro al rack de servidores.
- Después del relevamiento se fijó una fecha de firm order commitment para aproximadamente 1.5 meses después, y el usuario preparó energía, entrada de servicio, rack de servidores y equipo de red antes de enviar la certificación de “site ready”.
-
Segunda visita: bajada de fibra
- Unas semanas después llegaron 4 técnicos y un camión con canastilla para instalar el cable de fibra desde el poste hasta el nuevo rack de servidores.
- Por una particularidad de la ley local, también fue necesaria presencia policial.
- El equipo instaló un panel de parcheo óptico de 2U en el rack.
- Los dos extremos del cable de fibra no se terminaron de inmediato; se acordó que un equipo separado de empalme por fusión haría luego las conexiones en el poste y en el panel de parcheo.
- El cable instalado era un cable single-mode de 12 hebras de Corning y, a diferencia del cable de 1 hebra usado para FiOS, entraba directamente desde el poste hasta el rack.
-
Tercera visita: instalación del primer NID
- Más tarde esa misma semana, otro técnico instaló un NID (Network Interface Device), y el equipo ocupó 1U de espacio en rack.
- El NID es el punto de demarcación del servicio de Verizon, donde se separa el tramo bajo responsabilidad de Verizon del tramo bajo responsabilidad del cliente.
- Un ingeniero del NOC de Verizon podía ejecutar diagnósticos remotos sobre el equipo.
- El hardware instalado fue un Canoga Perkins 9145E.
- En el lado telecom/NNI se instaló un transceptor SFP single-mode de 40 km, 1310 nm y 1.25 Gbps.
- En el lado user/UNI se instaló un transceptor similar de 10 km.
- El modelo instalado tenía una sola PSU interna; el fabricante ofrecía un modelo con PSU dual, pero la respuesta fue que no estaba certificado por Verizon.
- El técnico comentó que nunca en su carrera le había tocado ir a una casa a instalar un NID.
-
Cuarta visita: equipo de empalme por fusión de fibra
- Unas semanas después, Verizon informó que dos técnicos de empalme estaban conectando un par de fibra desde la oficina central local hasta la casa, trabajando desde una boca de registro.
- Como la dark fiber disponible en el lugar no estaba conectada en ambos extremos, era necesario empalmar por fusión el par de fibras entre varios bundles del pueblo para crear la ruta final.
- Luego se vieron varios policías y dos camiones de Verizon al final de la calle, y al día siguiente se realizó el trabajo de conexión del panel de parcheo dentro de la casa al cable de fibra instalado previamente.
- El equipo hizo empalmes por fusión dentro de la casa, mientras otro técnico trabajaba en la conexión del lado del poste.
- Tras la conexión final, las pruebas OTDR mostraron que el tramo completo desde la oficina central local hasta el panel de parcheo era de alrededor de más de 2.5 millas.
- Incluso después de terminar este trabajo, el enlace todavía no estaba online y hacía falta una última visita.
Doble NID de Verizon Telecom y Verizon Business
- Aunque la infraestructura de capa física ya estaba instalada y probada, la capa IP requería además un NID dedicado para Verizon Business.
- El último técnico instaló un Ciena 3903 con ópticas single-mode de 1310 nm.
- Este NID cumple, desde la perspectiva de Verizon Business, un rol similar al del primer NID.
- Verizon Telecom proveía un EVC a Verizon Business, y la relación final con el cliente quedaba más del lado de Verizon Business.
- La estructura final de conexión quedó así:
- Verizon CO ↔ unas 2.5 millas de fibra ↔ VzT NID ↔ VzB NID ↔ router del cliente
Activación y puntos observados tras la operación real
- Después de instalar y probar el último NID, se entregaron los datos IP y la información de peering de la sesión BGP para levantar la conexión.
- Durante la activación también se pudo observar parte de la infraestructura interna de Verizon.
- Para DWDM/ROADM usan Fujitsu 9500.
- Para el gateway/peering router usan Juniper MX960.
- El router de peering no está en la oficina central local, sino en NYC, a unas 30–40 millas de distancia.
- Tras algunos meses de operación, también aparecieron consideraciones de costos y operación.
- Al costo del puerto se le agrega un impuesto de alrededor del 30% del Federal Universal Service Fund.
- Este impuesto cambia trimestralmente y debe incluirse en el análisis de costos de enlaces que tengan tráfico interestatal significativo.
- Buena parte del helpdesk de Verizon opera desde el extranjero, por lo que a veces resultaba difícil diagnosticar problemas intermitentes.
- Los problemas importantes eran relativamente fáciles de escalar y, cuando se abría un trouble ticket, un sistema automático verificaba si se podía hacer ping al NID/router y si la sesión BGP estaba activa.
- Aunque el SLA figure como 100%, no conviene esperar perfección: durante varios meses hubo algunos flaps momentáneos y una interrupción de unos 30 minutos.
1 comentarios
Opiniones en Hacker News
Aunque diga SLA del 100%, no hay que esperar perfección. Un SLA es un compromiso económico que permite pedir un reembolso proporcional o créditos de servicio ante ciertas fallas, no una garantía de que el tiempo real de actividad vaya a superar esa cifra.
Si la infraestructura de fibra óptica se daña físicamente, como en la línea de este artículo, inevitablemente habrá unas horas de corte mientras el centro de acceso localiza y repara el problema. Aunque Verizon ofrezca un SLA del 100%, en la práctica no está diseñado para un nivel de cinco nueves; para eso harían falta equipos redundantes en las instalaciones del cliente, entradas redundantes y diversidad de rutas de extremo a extremo.
Al mismo tiempo, uno también se vuelve bastante hábil para pasar la responsabilidad a otro lado.
Aunque una línea dedicada con SLA del 100% de 10.000 dólares al mes estuviera caída todo un mes y el proveedor no pagara la compensación, difícilmente tendría sentido contratar a un abogado e invertir tiempo solo para recuperar 10.000 dólares. Si la interrupción fuera de 3 horas, es todavía peor: con 10.000 dólares al mes son 13,89 dólares por hora, e incluso con compensación triple serían unos 125 dólares, así que hasta llenar el formulario queda en duda.
El costo que al proveedor realmente le importa es la reputación. Aunque un técnico sea indiferente al uptime de la línea, si contactas al gerente de cuenta la reacción puede cambiar por completo, y eso es independiente del SLA en sí.
Al final, hay que comprar entendiendo la realidad física de la línea y del servicio; ponerle un SLA vistoso no cambia el resultado.
El ISP que opero también ofrece líneas dedicadas si alguien las quiere. Cobramos más por la instalación debido al trabajo adicional de acceso, y también un poco más al mes porque usamos un puerto y un núcleo dedicados en lugar de PON.
Dicho eso, la mayor parte del costo de este tipo de servicio no es tanto una garantía real de uptime, sino más bien el costo de asumir el riesgo del SLA. La probabilidad de falla en sí no es muy distinta de la de PON, así que en la práctica se parece más a una garantía financiera y de servicio.
Como punto intermedio, también ofrecemos BGP en el servicio normal y tenemos un sistema de referidos con otros ISP amigos que ofrecen BGP. Desde el punto de vista de la resiliencia, prefiero más el multihoming que lo “dedicado”, porque separa todo el stack de red, incluida la red de transporte y el peering.
Una vez le mandé varias direcciones a una persona del área comercial para que las verificara; fue útil, pero el ida y vuelta era tan lento que resultaba mejor consultarlas yo mismo.
Más tarde encontré en los términos una frase que decía: “si no compró una dirección IP estática, podemos cambiar su dirección de protocolo de Internet (IP) sin previo aviso”.
He visto a muy pocas personas llevar fibra óptica “de verdad” hasta su casa. Da envidia, salvo por el detalle de que la factura mensual del ISP parece la cuota de un auto.
Después de la instalación siguieron los problemas de rendimiento, así que demostré el problema y presioné con cancelar el servicio; entonces actualizaron la línea para que diera la velocidad correcta y bajaron la mensualidad a 2.100 dólares. Sigue pareciendo la cuota de un auto, pero es muchísimo más barato que antes.
Como resultado, ahora tengo SLA, conexión directa a proveedores cloud, alojamiento de varios bloques de IP y puedo operar algunas máquinas expuestas a Internet.
La casa que vendí hace poco tampoco estaba mal: tenía tres líneas AT&T de 5 Gbps por un total de 450 dólares al mes. No había redundancia, pero era bastante bueno.
En mi antiguo edificio de departamentos hubo fibra durante varios años, y cuando me mudé a otro edificio con coaxial también me cotizaron una instalación por 2.000 dólares. El problema era que el servicio de fibra era simétrico, así que para obtener la velocidad de descarga necesaria para Netflix también había que comprar un plan con más de 200 Mbps de subida, lo que lo hacía demasiado caro. Tampoco ofrecen facturación por percentil 95.
Entiendo casos como trabajos relacionados con privacidad o correr un nodo Tor.
Mi configuración es parecida. Tengo una línea DIA y, sobre una pésima línea de Comcast Business, una VPN de respaldo que termina en un centro de datos cercano.
Hizo falta bastante seguimiento solo para lograr que el ISP siquiera hablara conmigo. Y eso que desde el principio dije que estaba dispuesto a pagar todo el costo del tendido de fibra.
Parece que los ISP de mi zona se repartieron la ciudad en áreas de servicio, y no entiendo cómo eso puede ser legal.
Mi ISP instaló en el local un equipo ADVA grande de terminación de fibra. Todavía estoy en proceso de lograr que lo muevan al lado del ISP y que yo reciba solo una conexión SFP.
El soporte está tercerizado a India, y conseguir que entiendan por teléfono lo que quiero es doloroso. Por suerte, el sistema web de tickets es usable.
El equipo que termina el cableado del lado del cliente obviamente tiene que estar del lado del cliente. Ese equipo podría ser un simple SFP en lugar de una caja grande, pero el ISP quiere monitorear el estado de la conexión hasta el equipo de terminación, que es la parte bajo su responsabilidad. Con un SFP común no puede hacerlo, así que sería difícil que lo acepten manteniendo el SLA.
Si hay un problema físico porque la caja es demasiado grande o ruidosa, quizá puedas negociar otro equipo, pero si lo que quieres es simplemente tener el control de la red, no funciona así. La red del cliente empieza en el punto de demarcación; antes de eso es red interna del ISP, y la red del cliente viene después de una interfaz estándar de entrega, como Ethernet.
La mayoría de esos contratos se firmaron en los años 70 o a comienzos de los 80, y en la práctica imitaban los contratos que tenían AT&T o las compañías regionales Bell.
Para el ISP, normalmente la facturación por ancho de banda baja bastante y los ingresos disminuyen, así que el personal de ventas no está muy bien capacitado y es difícil llegar por los canales habituales. Pero una vez que queda montado, es excelente. Imagínate que reinicias el router y el ISP te llama primero.
Me fascina el stack de red, pero solo llegué hasta el nivel de leer Illustrated TCP/IP y fingir que entiendo tcpdump. Me gustaría meter mano en algo como BGP, pero me pregunto por dónde conviene empezar.
Parece que la mayoría aprende por aprendizaje en el trabajo, y no sé si los sistemas relacionados son demasiado caros o están encerrados dentro de empresas como para servir para estudiar por cuenta propia.
Tener algún tipo de entidad comercial hace mucho más fácil hablar con ARIN y obtener un ASN.
Una vez que tienes un ASN, pasas a tener una entidad que puede “poseer” bloques IP sin depender de otra red. Después puedes mirar los productos de Neptune Networks: permiten alquilar instancias que aceptan tránsito por una tarifa mensual razonable. Eso sí, la instancia más pequeña no tiene suficiente RAM para almacenar la tabla BGP completa de Internet; cuando entiendas lo que eso significa, empezará a importarte.
Puedes aprender mucho y barato incluso antes de buscar colocation local.
Lo bueno de este campo es que casi todo está basado en estándares abiertos. Tampoco estás tan lejos de los RFC originales: RFC 791 (IP), 793 (TCP), 4271 (BGP4), 9499 (panorama de DNS), etc. Son secos, pero en general son material fundamental.
Los libros de Stevens también son excelentes para entender el bajo nivel, así que son un buen punto de partida. Después de eso, hay que construir cosas.
Puedes crear dos VM con herramientas de virtualización, hacer que se comuniquen, cortar el enlace y arreglarlo con herramientas como tcpdump. Observa cómo funcionan ARP o NDP de IPv6 a bajo nivel, y aprende subnetting. Crea interfaces VLAN, ponles etiquetas 802.1q, prueba routing entre varias VLAN y vuelve a romperlo.
También sirve crear un área OSPF básica, configurar adyacencias BGP entre dos ASN privados y redistribuir rutas entre distintos protocolos. Prueba servicios de capa superior como DNS, una red experimental local con anycast, balanceadores de carga y servidores web. Construir, romper, arreglar y repetir no es muy distinto de lo que hacen los expertos todos los días. Puedes usar software como BIRD, quagga, nginx, haproxy, ip/nftables y dnsmasq/powerdns.
Cuando ya hayas trabajado bastante del lado de software y quieras tocar hardware real, puedes buscar en eBay switches whitebox usados de Quanta/QCT o Edge-core por unos cientos de dólares o menos. Instala un sistema operativo de red con ONIE y usa Sonic si quieres open source, o Cumulus si no te molesta algo de pago, para practicar con equipos reales.
También puedes aprender sobre transceptores SFP, modos de fibra, cables de conexión directa y port channels. Consigue transceptores y patch cords de fibra baratos en fs.com o eBay, consulta el firmware y revisa potencia de transmisión, tasas de error e información del sistema.
Conviene ignorar el consejo de crear una LLC y empezar por pedir un ASN a ARIN si todavía no tienes bases, porque puede hacerte perder tiempo y dinero y distraerte. Primero aprende con recursos abundantes, y si luego estás seguro de que necesitas el siguiente paso, hazlo entonces.
Como muchas cosas en esta industria, cuanto más miras, más puede crecer la complejidad de forma fractal. No te abrumes: avanza paso a paso y no tengas miedo de romper cosas. Es arreglándolas como mejor se aprende.
Me da curiosidad cómo funciona la sobresuscripción en FTTH. No conozco bien las redes ópticas, pero pensaba que cada abonado tenía su propia longitud de onda, o un rango de longitudes de onda que contiene su ancho de banda, sin solaparse con los demás.
Si no es así, no termino de entender cómo funciona una red óptica pasiva
Donde trabajo usamos una configuración 4-4-8 con divisores de 3 niveles.
El OLT le informa a cada ONU/ONT qué asignación de tiempo puede usar para transmitir. Cada ONT transmite por turnos para no interferir con las demás. En este cálculo también entra la distancia entre el OLT y la ONT, porque al estar en ubicaciones geográficas distintas, la latencia de cada ONT también es diferente.
Si una ONU tiene muchos datos que transmitir, puede solicitar tiempo de transmisión adicional. El tiempo que asigna el OLT depende del CIR, que es el mínimo garantizado por el ISP, y del PIR, que es el máximo según el servicio contratado por el abonado.
La razón por la que las transmisiones de los abonados no chocan es que los slots de tiempo no se solapan.
Parece que Verizon obtiene un margen enorme una vez que la línea queda activa. Tanto como para absorber el costo de empalmar fibra, incluso con 4 empleados y presencia policial durante una semana en una alcantarilla.
Me cuesta creer que la empresa haya aceptado pagar todo ese costo, pero está buenísimo. Qué envidia.
Es muy parecido al proceso que vivimos al llevar DIA a un edificio comercial. El ISP dijo que gastó 60 mil dólares para tirar media milla de fibra dentro del parque empresarial, y nosotros no pagamos ese costo.
En nuestro rack solo hay un equipo del ISP. Verizon de verdad parece entregar el organigrama tal cual.
Le pagamos a nuestro contratista para tender fibra desde el DEMARC hasta la sala de servidores, pero luego nos dijeron que el ISP quizá lo habría hecho gratis.
Y la calidad del soporte al cliente que recibimos de tres proveedores de líneas empresariales fue realmente excelente. Es increíble poder llamar a un ingeniero que sabe lo que realmente está pasando. Es cierto eso de que recibes lo que pagas.
Bajé al sótano y vi una calcomanía tenue de UUNET en el equipo de demarcación, pero no había ID de circuito. Al buscar, vi que tras varias adquisiciones corporativas ahora pertenecía a Verizon.
Llamé a Verizon Business y expliqué la situación; la persona que me atendió se quedó una hora en la llamada ayudándome a encontrar la línea. La dirección registrada era una alcantarilla en la calle frente al edificio.
Enviaron a un técnico y quedó restaurada aproximadamente una hora después. También pusieron una nueva etiqueta con el ID del circuito en el equipo de demarcación para que no volviéramos a pasar por lo mismo.
Me parece gracioso que el autor lo vea como algo enorme. Nosotros hacemos este tipo de trabajos en casas de médicos con bastante frecuencia.