4 puntos por GN⁺ 4 시간 전 | Aún no hay comentarios. | Compartir por WhatsApp
  • En 2026, la inferencia de IA se expandió hasta representar cerca de dos tercios de todo el cómputo de IA, y al ocupar entre 80% y 90% del costo computacional de por vida de los modelos desplegados, el costo y la latencia del procesamiento de tokens pasan a definir la economía de la infraestructura
  • Una sola solicitud atraviesa una ruta de 15 etapas que va por tokenización, gateway de API, autenticación, enrutamiento, programación, caché KV, GPU·HBM, kernels CUDA, NVLink·switches·NIC·Ethernet, y luego vuelve como respuesta
  • El prefill, que procesa la entrada en paralelo, está atado al volumen de cómputo y a la latencia del primer token, mientras que el decode, que genera los tokens uno por uno, está limitado por el ancho de banda de memoria y por la velocidad y el costo de generación, por lo que batching, cuantización y speculative decoding apuntan a cuellos de botella distintos
  • El batching continuo y PagedAttention elevan la utilización de la GPU y el rendimiento concurrente; el caché de prompts reduce hasta 90% el costo de entradas repetidas y cerca de 85% la latencia de prompts largos; y la separación entre prefill y decode permite operar pools de GPU por etapa
  • El costo de ofrecer una calidad fija cayó cerca de 200 veces por año en la mediana, pero el rendimiento aumentó 7 veces, y el valor de largo plazo se concentra en los cuellos de botella físicos como el ancho de banda de HBM, la interconexión NVLink, los componentes ópticos y la energía, así como en plataformas de inferencia que convirtieron la eficiencia en lock-in de clientes

Por qué la inferencia se volvió el centro de la economía de la IA

  • Chatbots, agentes de programación, resúmenes de búsqueda y subtítulos de imágenes son todos tareas de generación de tokens que ejecutan un pase hacia adelante sobre un modelo entrenado para predecir repetidamente el siguiente token, y ese proceso es la inferencia
  • Google reveló que en mayo de 2026 procesa 3.2 cuatrillones de tokens al mes en todos sus servicios
    • Anualizado, equivale a cerca de 38 cuatrillones
    • Es 7 veces más que los 480 billones mensuales de un año antes, y a inicios de 2024 eran 9.7 billones al mes
    • Esta cifra corresponde al costo de responder solicitudes de usuarios, no al entrenamiento
  • La proporción que ocupa la inferencia dentro del cómputo de IA pasó de cerca de un tercio en 2023 a la mitad en 2025 y a alrededor de dos tercios en 2026
  • En los modelos desplegados, la inferencia es un costo de ventas que se repite con cada solicitud, y existe una regla empírica en la industria de que representa 80% a 90% del costo computacional de por vida
  • El capex proyectado para 2026 por los cuatro hyperscalers principales es de unos 725 mil millones de dólares, un aumento interanual de 77%
    • De ese total, más de 60% se destina no a chips sino a energía, enfriamiento y edificios
    • Se proyecta que solo el mercado de silicio dedicado a inferencia superará los 50 mil millones de dólares en 2026
  • Hay dos cambios que están ampliando la demanda de inferencia
    • El escalado en tiempo de inferencia y los sistemas de agentes consumen 10 a 100 veces más tokens por consulta
    • Los flujos de trabajo de agentes cuestan entre 5 y 25 veces más por tarea que una sola solicitud, debido a reintentos, llamadas a herramientas y recarga de contexto
  • El costo de ofrecer un nivel de calidad fijo cayó en la mediana cerca de 200 veces por año desde inicios de 2024, pero los tokens más baratos abren más tareas y aparece la paradoja de Jevons, elevando el uso total
  • Batching, paging, cuantización, speculative decoding, serving desagregado y network fabric son todas tecnologías orientadas a bajar el costo por token bajo una latencia objetivo

Etapas 1 a 4: convertir texto en trabajo agrupable

  • Etapa 1: usuario y tokenización

    • El cliente envía texto por HTTPS, pero el modelo no recibe texto sino IDs enteros como entrada
    • Un tokenizador basado en BPE a nivel de bytes divide la cadena en tokens de subpalabras y asigna cada token a un ID dentro de un vocabulario de unas 100 mil a 200 mil entradas
    • El RFP de 12,000 tokens del ejemplo y la pregunta se convierten en una secuencia plana de 12,022 IDs enteros
    • La tokenización se realiza de forma determinista en CPU y casi no cuesta, pero la cantidad de tokens de entrada y salida determina el monto facturado
    • La ventana de contexto de 200 mil a 1 millón de tokens de los modelos frontier en 2026 marca el límite superior del tamaño de documento que puede ingresarse de una sola vez
  • Etapa 2: gateway de API

    • El gateway de API termina TLS, analiza la solicitud y luego realiza validación de esquema, versionado de API, limitación básica de solicitudes, asignación de ID de trazabilidad y registro inicial de uso
    • Maneja millones de solicitudes por segundo con proxies del nivel de Envoy o NGINX y firewalls de aplicaciones web, sin ejecutar lógica del modelo
    • El presupuesto de latencia es de menos de 1 milisegundo, y rechaza cerca de 5% del tráfico correspondiente a errores de formato, exceso de cuota o solicitudes maliciosas antes de que alcance recursos costosos
  • Etapa 3: autenticación y nivel de facturación

    • Vincula una API key o token OAuth con una organización para revisar el nivel de límites de solicitud y el tope de gasto, y determinar el precio por token que se aplicará
    • La elegibilidad para descuentos por entrada en caché, rutas de prioridad y precios más baratos para procesamiento por lotes también se define en esta etapa
    • Mientras establece aislamiento de datos por organización y fronteras de prevención de abuso, convierte bytes anónimos en una unidad de trabajo medible, facturable y aislada
  • Etapa 4: balanceo de carga

    • Un balanceador de carga general distribuye solicitudes entre réplicas del mismo modelo usando checks de estado y señales de carga en tiempo real
    • En los LLM, un simple round-robin envía solicitudes con el mismo system prompt o el mismo prefijo de documento a distintas réplicas, perdiendo oportunidades de reutilización de caché
    • El balanceo de carga de IA moderno evoluciona hacia enfoques conscientes del caché que eligen réplicas con caché KV del mismo prefijo, superponiendo su rol con el del router de inferencia de la siguiente etapa
    • También en esta etapa se decide si poner solicitudes en espera o devolver 429 cuando todo el hardware está saturado

Etapas 5 a 6: decidir dónde ejecutar y cómo agrupar

  • Etapa 5: router de inferencia

    • El router de inferencia elige modelo·silicio·réplica en cuestión de milisegundos
    • Entre frontier 70B, 8B destilado, modelos de razonamiento y pares de modelo borrador·objetivo, selecciona la configuración más económica que cumpla el objetivo de nivel de servicio
    • Procesar con un modelo 70B una solicitud que podría resolverse con un 8B consume margen innecesariamente
    • En el prefill, centrado en cómputo, importan los FLOPS; en el decode, centrado en memoria, importa el ancho de banda de HBM, por lo que incluso dentro de una misma solicitud la GPU adecuada puede cambiar
    • Enviarla a una instancia con caché KV del mismo prefijo puede convertir un prefill de 12,000 tokens en un cache hit casi gratuito
    • Compiladores y auto-tuners precompilan y ajustan kernels de GPU adecuados para el modelo, la forma de entrada y el chip, y en tiempo de ejecución eligen el plan de ejecución más barato
    • Together AI, Fireworks, Baseten y Modular han convertido en producto la selección de kernels, chips y precisión en esta capa, y monetizan infraestructura propia de inferencia
  • Etapa 6: scheduler y batching continuo

    • Con batch size 1, la H100 queda limitada por memoria más que por cómputo, por lo que la utilización de los streaming multiprocessors se mantiene alrededor de 30% a 40%
    • El scheduler agrega nuevas solicitudes y elimina secuencias completadas en cada pase hacia adelante mediante batching continuo (continuous batching)
    • Como no espera a que termine un grupo fijo de solicitudes, puede mantener la GPU llena de forma continua
    • Con este enfoque, vLLM logra un rendimiento de 2 a 4 veces mayor que sistemas de serving anteriores y maneja 3 a 5 veces más tráfico que un loop simple de PyTorch sobre la misma H100

Etapas 7~8: caché KV y gestión de memoria GPU

  • Etapa 7: caché KV

    • En cada capa de atención se crean vectores Key y Value para cada token, y el siguiente token consulta los K/V de todos los tokens anteriores.
    • Si esto se recalculara cada vez, en contextos largos habría un costo de O(n²), por lo que el prefill calcula una vez los K/V de 12,022 posiciones y los guarda en la caché KV.
    • Después, la etapa de decode agrega un nuevo K/V del token y lee la caché existente.
    • La caché KV crece según la cantidad y longitud de las secuencias simultáneas, y es la estructura que más memoria GPU consume de forma dinámica durante el serving.
  • PagedAttention y prevención de fragmentación

    • Como la longitud de las secuencias es difícil de predecir, asignar memoria contigua puede hacer que 60~80% de la memoria quede inutilizable.
    • PagedAttention / vLLM divide la caché KV en páginas de tamaño fijo, como la memoria virtual de un sistema operativo.
    • Asigna bloques físicos según sea necesario y los conecta con una tabla de páginas, por lo que no necesita espacio contiguo.
    • Las páginas de las secuencias finalizadas se devuelven de inmediato.
    • Las secuencias de varios usuarios pueden compartir una misma GPU de forma segura y eficiente.
    • Este método de gestión de memoria respalda la mejora de rendimiento de 2~4x de vLLM.
  • Caché de prompts y prefijos

    • En solicitudes que repiten el mismo system prompt, introducción few-shot o prefijo de documento, se puede reutilizar la caché KV ya calculada una vez.
    • Anthropic ofrece lecturas de caché a 0.30 dólares por millón de tokens, equivalente a 0.1x del precio de la entrada normal, que es de 3 dólares.
    • OpenAI GPT-5.x también aplica un descuento de 90%: la entrada en caché cuesta 0.50 dólares y la entrada normal 5 dólares.
    • En prompts largos, la latencia también se reduce alrededor de 85%, y las preguntas de seguimiento del RFP de ejemplo no necesitan repetir el prefill de 12,022 tokens.
  • Etapa 8: los tres componentes de la memoria GPU

    • La memoria del paquete GPU contiene al mismo tiempo los pesos del modelo fijos, la caché KV que crece según las solicitudes simultáneas y su longitud, y activaciones/espacio de trabajo temporales.
    • Como el espacio restante después de cargar los pesos se convierte en el presupuesto para la caché KV, muchas veces la memoria limita la cantidad de usuarios concurrentes más que el cómputo.
    • Un modelo de 70B ocupa unos 140GB en FP16, por lo que necesita dos H100 de 80GB, pero en FP8 baja a unos 70GB, dejando incluso espacio para la caché KV en una sola GPU.
    • La memoria ahorrada en los pesos mediante cuantización se traduce directamente en más usuarios concurrentes.

Etapas 9~10: cuello de botella de HBM y optimización de kernels GPU

  • Etapa 9: distintos cuellos de botella en prefill y decode

    • El prefill satura los tensor cores con grandes multiplicaciones de matrices que procesan en paralelo 12,022 tokens de entrada, y queda ligado al volumen de cómputo y al tiempo hasta el primer token (TTFT).
    • El decode debe leer desde la HBM todos los pesos del modelo y la caché KV en crecimiento cada vez que genera un solo token siguiente.
    • Con batch size 1, la intensidad de cómputo del decode es de alrededor de 1 FLOP por byte, muy por debajo del límite del roofline, de aproximadamente 410~590 FLOP/byte.
    • Los tensor cores pasan más tiempo esperando memoria que calculando, y el ancho de banda de HBM define el techo de la velocidad de generación y del costo.
  • Reducción de precisión

    • Al bajar la precisión de FP16 a FP8 y FP4, disminuye la cantidad de bytes de pesos que hay que leer por token, lo que aumenta el throughput del decode centrado en memoria.
    • NVIDIA NVFP4 es un formato de punto flotante de 4 bits para los tensor cores de quinta generación de Blackwell.
    • Ofrece un throughput aritmético aproximadamente 2~3x mayor que FP8 y un ahorro de memoria de alrededor de 1.8x.
    • Mantiene la diferencia respecto a la precisión de referencia dentro de aproximadamente 1%.
    • Contribuye a acelerar la inferencia end-to-end hasta 5x frente a Hopper.
  • Etapa 10: kernels CUDA y fusión

    • Las operaciones matemáticas de la GPU se ejecutan como kernels, pequeños programas que corren en miles de núcleos.
    • Si las operaciones del transformer se ejecutan como cientos de kernels separados, cada kernel lee datos desde la HBM y vuelve a escribir los resultados, lo que impone una gran carga en tareas dominadas por el ancho de banda.
    • La fusión de kernels combina varias operaciones en una sola para mantener los datos intermedios en la SRAM on-chip y reducir los accesos a HBM.
    • FlashAttention usa atención por tiles y softmax online para reducir las lecturas y escrituras en HBM según la longitud de la secuencia desde una escala cuadrática a una lineal, y acelera 2~4x.
    • FlashAttention-3 aprovecha el motor asíncrono de Hopper y FP8 para alcanzar 840TFLOPS en H100, alrededor de 85% del rendimiento máximo.
  • Decodificación especulativa

    • En decode, incluso para generar un solo token hay que leer todos los pesos, por lo que el costo adicional de verificar en paralelo varios tokens candidatos es relativamente pequeño.
    • Un modelo borrador pequeño propone los siguientes K tokens y un modelo objetivo grande los verifica en una sola ejecución paralela para adoptar el prefijo correcto más largo.
    • La salida es matemáticamente igual a la del decode normal, mientras que la velocidad aumenta 2~4x.
    • Métodos como EAGLE-3 adoptan más de 75% de los tokens borrador.

Etapas 11~14: la red que entra al interior del modelo

  • Etapa 11: red de escalamiento con NVLink

    • Los modelos con billones de parámetros y los modelos MoE que no caben en una sola GPU se dividen entre varias GPU, por lo que hay comunicación entre GPU en todas las capas y con todos los tokens
    • La red no opera como un dispositivo auxiliar fuera del bucle de decodificación, sino dentro del bucle de decodificación
    • NVLink 5 ofrece 1.8TB/s por GPU, unas 14 veces más que un enlace PCIe Gen5
    • GB200 NVL72 conecta 72 GPU Blackwell y 36 CPU Grace en un solo dominio NVLink
    • El ancho de banda total es de 130TB/s y la memoria unificada es de 13.4TB
    • El consumo es de alrededor de 120kW y ofrece hasta 30 veces más rendimiento de inferencia que un clúster H100 en modelos con billones de parámetros
  • El volumen de comunicación que genera el paralelismo

    • El paralelismo de tensores divide la multiplicación de matrices de cada capa entre varias GPU y luego necesita combinar resultados parciales varias veces por token con all-reduce
    • En MoE, los tokens se envían a expertos distribuidos en varias GPU, por lo que la comunicación all-to-all suele convertirse en el principal cuello de botella
    • El entorno operativo de DeepSeek usa 8 NIC de 400Gbps por nodo, y con DeepEP superpone la comunicación entre expertos y el cómputo para reducir los tiempos muertos de la GPU
  • Etapa 12: switches y control de congestión

    • El NVSwitch del dominio de escalamiento ofrece 144 puertos NVLink y 14.4TB/s de conmutación sin bloqueo, permitiendo que 72 GPU se comuniquen al mismo tiempo a máxima velocidad
    • Para las redes de escalamiento que van más allá del rack se usan switches como NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet y Broadcom Tomahawk 6 de 102.4Tbps
    • Las redes de IA reducen los saltos de la comunicación colectiva con una topología optimizada por rail, que conecta las GPU con el mismo número al mismo rail switch
    • Las operaciones dentro del fabric, como SHARP, realizan las reducciones en el switch
    • Cuando miles de GPU terminan una etapa al mismo tiempo se produce un incast sincronizado, y la congestión en un solo enlace puede detener toda la comunicación colectiva, por lo que el enrutamiento adaptativo es indispensable
  • Etapa 13: NIC y DPU

    • Los paquetes que se mueven entre racks pasan por una SmartNIC o DPU como NVIDIA BlueField
    • RoCE o los verbs de InfiniBand permiten que una GPU remota lea directamente la memoria de otra GPU sin pasar por la CPU
    • La velocidad de enlace actual es de 400Gb/s y 800Gb/s se está estandarizando
    • La DPU se encarga del control de congestión, cifrado, virtualización de almacenamiento y aislamiento multitenant en lugar de la CPU host
    • En clústeres optimizados por rail, incluso puede asignarse una NIC dedicada a cada GPU, y DeepSeek empareja 8 GPU con 8 NIC de 400Gb/s
  • Etapa 14: Ethernet y componentes ópticos

    • InfiniBand, con una latencia de alrededor de 1~2µs y un fabric sin pérdidas, era la opción tradicional en clústeres de IA, mientras que Ethernet con RoCEv2, con unos 5~10µs, se trataba como la segunda opción
    • El Ultra Ethernet Consortium anunció en junio de 2025 UEC 1.0, que reconfigura la pila de Ethernet para IA
    • Dell’Oro proyecta que Ethernet superará a InfiniBand en las redes backend de IA para 2027
    • La inferencia es sensible al costo y está más cerca de entornos empresariales y multitenant, por lo que importan la estructura de precios de Ethernet y su ecosistema abierto
  • El costo y la energía de los componentes ópticos

    • Los transceptores ópticos representan alrededor del 60% del costo de red y cerca del 45% del consumo energético de la red
    • Como la red representa cerca del 15~18% del costo total del clúster, solo los componentes ópticos equivalen a alrededor del 10% del costo total
    • Los módulos conectables de 800G de un switch consumen en conjunto más de 500W, por lo que pueden usar más energía que el ASIC de conmutación
    • Se espera que el mercado de transceptores ópticos para IA crezca un 57%, de alrededor de 16.5 mil millones de dólares en 2025 a unos 26 mil millones de dólares en 2026
    • La óptica coempaquetada (CPO) traslada los dispositivos ópticos al paquete del switch y reduce la energía de enlaces 1.6T de unos 30W a 9W
    • NVIDIA plantea 5 veces más eficiencia energética y 10 veces más resiliencia en sus switches fotónicos previstos para la segunda mitad de 2026
    • En modelos más grandes que una sola GPU, hay que gestionar una brecha de ancho de banda de alrededor de 20~40 veces entre el escalamiento con NVLink y el escalamiento con Ethernet

Etapa 15: streaming de la respuesta y facturación

  • Cuando se genera el último token, la destokenización vuelve a convertir los ID enteros en texto
  • La respuesta recorre de vuelta la NIC, los switches, el balanceador de carga y el gateway, y normalmente se transmite token por token como eventos enviados por el servidor (SSE)
  • El usuario puede empezar a leer desde unos 0.3 segundos antes de que se complete toda la respuesta, por lo que el TTFT influye mucho en la velocidad percibida
  • Por último, se cierra la facturación calculando los tokens de entrada normales o en caché y los tokens de salida, más caros, según el nivel definido en la etapa de autenticación

El serving desagregado como sistema operativo de la inferencia

  • El batching, el paginado de KV, la separación entre prefill y decode, la selección de hardware y la comunicación colectiva son, en el fondo, un problema de programar trabajos heterogéneos sobre capas de memoria y red para elevar la utilización de silicio costoso
  • En 2026, el serving desagregado (disaggregated serving) divide el prefill, centrado en cómputo, y el decode, centrado en ancho de banda, en pools separados de GPU
  • Cada pool se escala y ajusta de forma independiente, y la caché KV se transmite entre ambos pools
  • NVIDIA Dynamo, vLLM, SGLang, llm-d y Mooncake adoptan esta estructura

Por qué una empresa de compiladores se convirtió en una nube de inferencia

  • Las empresas de compiladores, kernels y autotuning, en lugar de licenciar su tecnología, la ejecutan sobre su propia infraestructura y venden tokens para convertir la diferencia de eficiencia en margen bruto
  • Si hay una mejora de 2 veces en kernels, batching, cuantización y decodificación especulativa, también se duplica la cantidad de tokens vendibles por GPU
  • Un autotuner que selecciona el kernel de menor costo para cada combinación de modelo, forma de entrada y chip genera ingresos directos sobre grandes flotas de GPU
  • Los ingresos anualizados de Baseten crecieron de alrededor de 200 millones de dólares en diciembre de 2025 a unos 600 millones de dólares en marzo de 2026, un crecimiento interanual de cerca de 1,900%
    • Recaudó 1.5 mil millones de dólares con una valuación de 11 a 13 mil millones de dólares
    • La valuación subió desde los 5 mil millones de dólares de cinco meses antes
  • La adquisición de Modular por parte de Qualcomm por unos 3.9 mil millones de dólares es un caso de una empresa de chips que busca responder a NVIDIA con un compilador independiente del hardware

Criterios para elegir un proveedor de inferencia

  • Latencia, costo y confiabilidad

    • La latencia debe evaluarse por separado entre el TTFT, que determina el inicio de la respuesta, y la latencia entre tokens, que define la velocidad de finalización de la respuesta
    • Más importante que la mediana es la latencia de cola p99, que refleja las pausas que realmente experimentan los usuarios
    • La inferencia con GPU general suele tardar alrededor de 400~600 ms en el primer token
    • Groq y Cerebras presentan en modelos de la clase Llama-70B un TTFT inferior a 100~150 ms y velocidades de salida de más de 1,600~2,100 por segundo, alrededor de 4~6 veces las de un stack de GPU general
    • El costo no debe calcularse con un único precio publicado, sino como costo combinado que refleje la proporción de entrada y salida, la tasa de aciertos de caché y si es posible el procesamiento por lotes
    • La salida es aproximadamente 4~5 veces más cara que la entrada y representa la mayor parte del costo total
    • El almacenamiento en caché de prompts reduce el costo de entrada en 50~90%, y la categoría de procesamiento por lotes suele reducirlo en alrededor de 50%
    • A mediados de 2026, los precios van desde aproximadamente 0.04~0.20 dólares por millón de tokens en endpoints de modelos abiertos optimizados por costo como DeepInfra o Groq hasta varios dólares en modelos frontier, una diferencia de varias veces en dos dígitos
    • El precio de ejemplo de Groq es de 0.15 dólares por entrada y 0.60 dólares por salida
    • La confiabilidad debe medirse más allá del SLA simple de tiempo activo, hasta la disponibilidad funcional
    • Azure OpenAI ofrece un SLA de 99.9% para la generación de tokens
    • Las empresas también exigen SLA de latencia, como TTFT inferior a 200 ms en el 99.99% de las llamadas
    • Un aumento brusco en la tasa de rechazos, cambios automáticos de versión del modelo que empeoran los resultados de evaluación y límites de cuota bajo carga pueden arruinar un producto incluso si se cumple el tiempo activo oficial
    • Hay que fijar la versión del modelo, negociar capacidad y supervisar directamente la disponibilidad funcional
  • Siete criterios que definen la aptitud para producción

    • Rendimiento y límites de solicitudes: el límite de tokens por minuto y el margen para picos instantáneos restringen el trabajo paralelo de los agentes y la escala de expansión
    • Seguridad y cumplimiento: SOC 2 Type II, HIPAA, ISO 27001 y GDPR son requisitos básicos en industrias reguladas y es difícil agregarlos después
    • Localidad de los datos y despliegue privado: las garantías de no retención, VPC·BYOC y el soporte on-premise determinan la aprobación de compra empresarial
    • Determinismo y control de versiones: una semilla fija y checkpoints fijos evitan el drift en los resultados de evaluación causado por cambios automáticos
    • Cobertura y actualidad de modelos: la variedad de modelos, el soporte el mismo día de lanzamiento para nuevos pesos abiertos y el hosting de fine-tuning·LoRA determinan la velocidad de adopción de los modelos más recientes
    • Flexibilidad de despliegue: las opciones de serverless, infraestructura dedicada y self-hosting equilibran costo y nivel de control
    • Portabilidad: una API compatible con OpenAI y un enrutamiento limpio entre varios proveedores sirven como respuesta ante fallas, cambios de precio y cambios de modelo

Cuellos de botella físicos donde se acumula el valor

  • El ancho de banda de HBM fija el techo del decode, los dominios de escalado con NVLink son propietarios y los componentes ópticos y la energía se vuelven insumos escasos
  • De los 725,000 millones de dólares en gasto de capital, más de 60% se destina a energía y edificios, por lo que la métrica terminal de largo plazo es tokens por watt
  • El mercado de redes se divide en dos direcciones
    • Las interconexiones para escalado permanecen como un ámbito cerrado y defendible
    • Las redes de escalado fuera del rack se abren y se comoditizan alrededor de Ethernet y UEC
    • Las áreas de diferenciación son los dominios NVLink, la óptica·CPO y la propiedad intelectual de control de congestión, más que el switching general
  • Los márgenes del software de inferencia están determinados por el producto entre diferencias de eficiencia, utilización y escala operativa, y solo las empresas que convirtieron el rendimiento en distribución y costos de cambio podrán defenderse incluso con la caída de precios
  • Los negocios que presentan solo la velocidad bruta como ventaja competitiva pueden ver cómo la misma capa de compiladores y las herramientas gratuitas de NVIDIA comoditizan ese rendimiento
  • La expansión de la economía del token no garantiza automáticamente márgenes altos, y la diferencia la marcarán las plataformas que conviertan en lock-in del cliente los cuellos de botella de memoria·interconexión·óptica·energía y la eficiencia

Aún no hay comentarios.

Aún no hay comentarios.