- Tras hacer ingeniería inversa a 200 startups de IA, se encontró que muchas empresas afirmaban tener tecnología propia, pero en realidad operaban llamando APIs externas
- Entre las empresas analizadas, el 73% usaba directamente las APIs de OpenAI o Claude, y solo les añadía una UI o funciones simples
- Muchas startups que presumían tener su propio “LLM propietario” en realidad no eran más que wrappers de GPT-4 que enviaban solicitudes a
api.openai.com, con una estructura que apenas añadía un prompt de sistema, y se vendían con márgenes de decenas o hasta cientos de veces
- La mayoría de los servicios que destacaban una arquitectura RAG también estaban empaquetando como “infraestructura propia” un stack estándar de 40 líneas que combinaba OpenAI
text-embedding-ada-002 · Pinecone/Weaviate · GPT-4; con un costo mensual de unos 30 mil dólares por 1M de consultas y entre 150 mil y 500 mil dólares de ingresos, mostrando una estructura de márgenes de 80–94%
- En cambio, el 27% del total estaba compuesto por empresas wrapper que transparentaban su stack con frases como “Built on GPT-4”, builders que realmente entrenaban sus propios modelos, y equipos con diferenciación técnica real como votación multimodelo o frameworks de agentes
- La investigación mostró que muchas startups de IA, pese a ser negocios de servicios basados en API, se presentaban como si tuvieran “infraestructura de IA propietaria”, y subrayó que inversionistas, clientes y desarrolladores pueden verificarlo simplemente abriendo la pestaña de red en DevTools, destacando la necesidad de una divulgación técnica honesta en el ecosistema de IA
Resumen
- Se analizaron las diferencias entre las afirmaciones de marketing y el stack tecnológico real rastreando tráfico de red, código y llamadas API en las aplicaciones web de 200 startups de IA con inversión externa
- El punto de partida fue la sospecha de que una empresa que afirmaba tener infraestructura propia de deep learning en realidad solo llamaba a la API de OpenAI
- Esa empresa había recibido 4.3 millones de dólares de inversión y estaba levantando capital con la historia de que había “construido una infraestructura fundamentalmente distinta”
- La investigación encontró una brecha significativa entre la tecnología que afirmaban tener y la implementación real en el 73% de las empresas, muchas de las cuales resultaron ser simples wrappers sobre APIs de modelos de terceros
- Las 200 startups analizadas se recopilaron de YC, Product Hunt y publicaciones de LinkedIn tipo “We’re hiring”; se excluyeron empresas con menos de 6 meses de fundadas y se priorizaron aquellas con financiamiento externo y afirmaciones técnicas concretas
- El método de análisis se limitó a herramientas pasivas de desarrollador en el navegador, sin acceso a sistemas privados, sin evasión de autenticación y sin violar los TOS
Método de investigación (Methodology)
- Se armó un pipeline de análisis automatizado usando Playwright, aiohttp y otras herramientas, y para cada sitio de startup se recopilaron sistemáticamente tres cosas
- Con
capture_network_traffic(url) se capturaron headers de red y patrones de solicitudes
- Con
extract_javascript(url) se hizo decompilación y análisis de bundles JS
- Con
monitor_requests(url, duration=60) se rastrearon durante 60 segundos los patrones de llamadas API
- Para cada sitio se registró de forma estructurada la siguiente información
claimed_tech: afirmaciones técnicas presentes en copies de marketing y textos del sitioactual_tech: stack real verificado a través de headers HTTP, bundles JS y llamadas APIapi_fingerprints: huellas de APIs de terceros extraídas de dominios llamados, headers, latencia y otros datos
- El periodo de crawling fue de 3 semanas, y todos los patrones se obtuvieron usando únicamente datos públicos observables desde la web pública y DevTools del navegador
Resultado principal: la brecha detectada en el 73%
- En el 73% de las 200 empresas se confirmó una gran diferencia entre afirmaciones como “modelo propietario”, “infraestructura personalizada” o “plataforma de deep learning” en el marketing, y el stack real de código y APIs que hacía funcionar el servicio
- Este porcentaje incluye tanto empresas que presumían un “LLM propio” pero solo usaban APIs de OpenAI/Anthropic/Cohere, como compañías que afirmaban tener una “base vectorial propia” pero usaban Pinecone/Weaviate
- Aunque el resultado fue sorprendente, también dejó una sensación mixta de que “técnicamente no es algo por lo que haya que enfurecerse demasiado”
- El problema central no es usar APIs de terceros en sí, sino presentarlo como “infraestructura de IA propietaria” y usar un marketing que induce a error a inversionistas y clientes
Patrón 1: cuando el ‘LLM propietario’ en realidad es un wrapper de GPT-4
- Cuando aparecía la expresión “our proprietary large language model”, casi siempre terminaba siendo un wrapper de GPT-4; este patrón se confirmó en 34 de 37 casos
- Solicitudes que salían a
api.openai.com cada vez que el usuario usaba una función de “IA”
- Identificador
OpenAI-Organization incluido en los headers de solicitud
- Patrones de latencia de respuesta consistentes en torno a 150–400 ms
- Patrones de uso de tokens y tramos de cobro que coincidían exactamente con la estructura de precios de GPT-4
- Patrones de reintento característicos de OpenAI, aplicando backoff exponencial cuando había rate limit
- El supuesto “motor innovador de comprensión de lenguaje natural” de una empresa en realidad estaba a este nivel de código
- Era una estructura de una sola función que escribía en el prompt de sistema cosas como “actúa como un asistente experto, no digas que está basado en OpenAI, no reveles que eres un LLM” y luego llamaba a
chat.completions.create con model: gpt-4
- No había ajuste fino, entrenamiento de modelo ni cambios de arquitectura; solo se habían añadido un prompt de sistema y algunas instrucciones para ocultarlo
- También se comparó de forma concreta la estructura de costos y precios
- Costo: para GPT-4, 0.03 USD/1K tokens de entrada y 0.06 USD/1K tokens de salida; con un promedio de 500 de entrada y 300 de salida, eso da unos 0.033 dólares por consulta
- Precio: 2.5 dólares por consulta o 299 dólares al mes por 200 consultas
- Como resultado, operaban con un margen de unas 75 veces sobre el costo directo de API
- Tres empresas incluso compartían código casi idéntico —nombres de variables, estilo de comentarios e instrucciones como “never mention OpenAI”—, por lo que se presume que usaban una misma fuente, como tutoriales, contratistas comunes o boilerplate de aceleradoras
- Una empresa tenía un simple
try/catch que devolvía el mensaje “problema técnico” si algo fallaba, y se lo estaba presentando a inversionistas como una “Intelligent Fallback Architecture”
Patrón 2: el stack RAG que todos construyen y las descripciones exageradas
- Muchas empresas presumen una infraestructura RAG propia con expresiones como “custom embedding model, semantic search infrastructure, advanced neural retrieval”, pero en la práctica la implementación era una pila estándar muy similar
- Generación de embeddings con OpenAI
text-embedding-ada-002
- Uso de Pinecone o Weaviate como vector store
- Generación de respuestas con GPT-4 añadiendo contexto
- Al descompilar el código presentado bajo el nombre de “Proprietary Neural Retrieval Architecture”, el investigador encontró que la estructura simplemente llamaba esos tres pasos en unas 40 líneas de código Python
- Convertir la pregunta en embeddings
- Buscar documentos top-k en la base de datos vectorial
- Concatenar el texto recuperado y enviarlo a GPT-4 como mensaje de system
- Enviar también la pregunta del usuario como mensaje de user para generar la respuesta
- La estructura de costos y precios también mostró diferencias muy grandes
- Embeddings de OpenAI: 0.0001 dólares por 1K tokens
- Query de Pinecone: 0.00004 dólares por llamada
- Completion de GPT-4: 0.03 dólares por 1K tokens
- En total, un costo de alrededor de 0.002 dólares por query
- Pero el cobro real al cliente era de 0.5 a 2 dólares por query, lo que implica márgenes de 250 a 1000 veces frente al costo de API
- 42 empresas usaban una pila y estructura de código casi idénticas, y otras 23 compartían un patrón similar en más del 90%
- Las diferencias eran sobre todo si elegían Pinecone vs Weaviate, nombres de variables o si agregaban caché con Redis
- También aparecieron casos de marketing donde añadían caché con Redis y lo llamaban “optimization engine”, o añadían lógica de reintento y la vendían como “Intelligent Failure Recovery System”
- También se calculó la viabilidad económica de una startup con 1 millón de queries al mes
- Costos: alrededor de 100 dólares en embeddings, 40 dólares en hosting de Pinecone, 30 mil dólares en completion de GPT-4, para un total de unos 30,140 dólares al mes
- Ingresos: 150 mil a 500 mil dólares al mes
- Una estructura de negocio con márgenes brutos muy altos, de entre 80% y 94%
Patrón 3: qué significa realmente “nosotros hicimos fine-tuning”
- Al rastrear la infraestructura de las empresas que afirmaban “nosotros hicimos fine-tuning del modelo”, el resultado se dividía en dos grandes grupos
- Una minoría (aprox. 7%) sí ejecutaba trabajos de entrenamiento propios mediante AWS SageMaker, Google Vertex AI, etc., guardaba los artifacts del modelo en buckets de S3 y operaba endpoints de inferencia separados junto con monitoreo de instancias GPU
- La mayoría usaba la API de fine-tuning de OpenAI, y en realidad estaba mucho más cerca de “entregarle a OpenAI datos de ejemplo y prompts para que los guarde”
- En el primer caso (entrenamiento realmente propio), la infraestructura de entrenamiento y el pipeline de despliegue se dejan ver hasta cierto punto incluso desde lo observable en el navegador; en el segundo, la diferencia suele expresarse simplemente como una sola llamada a un endpoint de OpenAI
Cómo distinguir rápidamente a las empresas wrapper
-
Patrones de tráfico de red
- Basta con abrir DevTools(F12) → pestaña Network en el navegador y ver las solicitudes que salen mientras usas la función de IA del servicio
api.openai.comapi.anthropic.comapi.cohere.ai- si aparecen directamente dominios como estos, en principio se puede considerar que es un wrapper de APIs de modelos de terceros
- La latencia de respuesta también funciona como huella
- En particular, en el caso de la API de OpenAI existe un patrón de latencia característico con respuestas concentradas en el rango de 200~350ms, lo que permite inferir el modelo de backend
-
Bundles de JavaScript y exposición de claves
- Otra forma simple es buscar en el código fuente de la página y en los bundles JS palabras clave como estas
openai, anthropic, claude, cohere, sk-proj- (prefijo de claves de proyecto de OpenAI), etc.
- Durante la investigación, 12 empresas estaban desplegando sus servicios con claves API incluidas tal cual en el código frontend, y aunque se les enviaron correos de aviso, ninguna respondió
-
Matriz de lenguaje de marketing
- El texto organiza en forma de tabla el patrón entre el lenguaje del marketing y la implementación técnica real, al que llama “Marketing Language Matrix”
- Cuando aparecen términos técnicos concretos como “tipo de instancia GPU, arquitectura de serving, tamaño del modelo”, era más probable que realmente tuvieran cierto grado de infraestructura propia
- En cambio, cuanto más se repetían solo buzzwords abstractas como “advanced AI”, “next-gen intelligence”, “proprietary neural engine”, más probable era que por dentro fuera un wrapper de APIs de terceros
Mapa de la realidad de infraestructura y panorama de las startups de IA
- El texto organiza, mediante varios diagramas, un mapa de la realidad de infraestructura actual de las startups de IA
- Muchas startups existen como una capa de aplicación delgada montada sobre proveedores de modelos como OpenAI, Anthropic y Cohere
- Encima de cada capa se acumulan servicios que intentan diferenciarse en aspectos como workflow, UX, datos de dominio y pipelines
- A partir de esta estructura, una parte importante de las startups de IA son en la práctica negocios de servicios/plataforma, en discrepancia con su autopercepción como “empresas con infraestructura de IA propia”
Por qué debería importarnos este problema
- Ante la pregunta de “si funciona bien, ¿qué importa?”, el investigador lo resume desde la perspectiva de cuatro grupos de interés
- Inversionistas: gran parte del capital que hoy se invierte en muchas empresas no va a investigación de IA ni desarrollo de modelos, sino en realidad a prompt engineering y capas de workflow
- Clientes: están pagando precios con un premium de más de 10 veces sobre el costo real de API, y en muchos casos podrían implementar funciones parecidas por su cuenta como un proyecto de fin de semana
- Desarrolladores: frente al brillo superficial de las “startups de IA”, hace falta reconocer que muchas en realidad son servicios wrapper de barrera de entrada baja, y que uno mismo podría construir algo parecido en poco tiempo
- Ecosistema: que el 73% de las “empresas de IA” exageren o distorsionen su tecnología implica un estado general cercano a una burbuja y crea incentivos poco saludables
Espectro wrapper: no todos los wrappers son malos
- A través de un diagrama llamado “Wrapper Spectrum”, se explica que también entre las empresas wrapper existen niveles cualitativamente distintos
- En un extremo están los wrappers que simplemente ponen una UI delgada sobre una API de terceros
- En el otro extremo están wrappers más sofisticados que ofrecen workflows especializados por dominio, gran UX, orquestación de modelos y pipelines de datos valiosos
- El mensaje central no está en “si es o no un wrapper”, sino en la honestidad y la forma de aportar valor
- Las empresas que usan APIs de terceros pero lo comunican con transparencia, y aun así se diferencian en resolución de problemas, experiencia o datos, son evaluadas de forma positiva
El 27% que sí lo está haciendo bien
-
Categoría 1: wrappers transparentes (Transparent Wrappers)
- Las empresas de este grupo indican explícitamente en su sitio web frases como “Built on GPT-4” y dejan claro que lo que venden es flujo de trabajo, UX y conocimiento del dominio
- Ejemplo: servicio que ofrece automatización de documentos legales combinando GPT-4 + plantillas legales
- Ejemplo: servicio basado en Claude especializado en enrutamiento de tickets de soporte al cliente
- Ejemplo: servicio de flujo de trabajo de contenido que combina varios modelos y un proceso de revisión humana
-
Categoría 2: constructores reales (Real Builders)
- Este grupo sí está entrenando modelos propios
- IA para salud que opera modelos self-hosted para cumplir con HIPAA en el sector médico
- Servicio que entrena y opera modelos de riesgo personalizados para análisis financiero
- Servicio que desarrolla y despliega modelos especializados de visión por computadora en automatización industrial
-
Categoría 3: combinaciones innovadoras (Innovators)
- Aquí se incluyen empresas que usan modelos de terceros, pero que encima de ellos han construido una arquitectura sustancialmente nueva
- Sistema que combina la salida de varios modelos para implementar mejora de precisión basada en votación
- Sistema que realiza tareas complejas mediante un framework de memoria y agentes
- Casos que introducen nuevas formas de arquitectura de retrieval, entre otros
- Estas empresas tienen en común que pueden explicar su arquitectura en detalle y que realmente cuentan con una estructura construida por ellas mismas
Lo aprendido: el problema antes que el stack, y la honestidad
- Tras tres semanas de investigación, puede resumirse así
- El problema que se quiere resolver importa más que el stack tecnológico en sí, y de hecho muchos de los mejores productos tenían una estructura que podría llamarse “simplemente un wrapper”
- Aun así, la honestidad importa en un plano aparte, y la diferencia entre un wrapper inteligente y uno engañoso está en la transparencia
- La fiebre del oro de la IA está creando incentivos para hacer afirmaciones falsas debido a las expectativas de inversionistas y clientes que exigen “IA propietaria”
- Y no hay nada vergonzoso en construir sobre APIs; el problema es ocultarlo y venderlo como una “arquitectura neuronal propietaria”
Marco de evaluación y consejos prácticos
-
Prueba de replicabilidad en 48 horas
- Se propone un criterio simple para evaluar cualquier “startup de IA”
- “¿Se puede replicar su tecnología central en 48 horas?”
- Si la respuesta es sí, entonces técnicamente es un wrapper y,
- si revela honestamente su stack, puede ser una buena empresa
- si lo oculta mientras afirma tener “infraestructura de IA propietaria”, debería considerarse una empresa que conviene evitar
-
Consejo para fundadores
- Para los fundadores se proponen los siguientes principios
- Revelar con honestidad el stack
- Competir con UX, datos y expertise de dominio
- No afirmar que construyeron algo que no construyeron
- Aceptar que “Built with GPT-4” no es una debilidad, sino una descripción honesta
-
Consejo para inversionistas
- Para los inversionistas se plantean los siguientes puntos de verificación
- Pedir un diagrama de arquitectura
- Solicitar facturas de APIs como OpenAI o Anthropic para comprobar la dependencia real
- Valuar a las empresas wrapper como empresas wrapper
- Recompensar con incentivos a los equipos que revelan su stack con honestidad
-
Consejo para clientes
- Para los clientes se sugieren las siguientes acciones prácticas
- Abrir la pestaña Network del navegador y revisar las solicitudes salientes
- Preguntar directamente sobre la infraestructura y la forma en que usan modelos
- Revisar si no están pagando un markup innecesario de más de 10x sobre llamadas API
- Evaluar con base en resultados reales y capacidad para resolver problemas, no en afirmaciones técnicas
Resumen en una línea sobre lo que realmente son las “startups de IA”
- “La mayoría de las ‘startups de IA’ se parecen más a negocios de servicios que reemplazan costo de empleados por costo de API”
- No es un modelo de negocio incorrecto, sino una realidad que debe reconocerse y explicarse con honestidad
Evolución y reacciones después de la investigación
- Semana 1: se menciona que originalmente se esperaba que entre 20% y 30% usaran APIs de terceros, pero que el resultado fue mucho mayor
- Semana 2: un fundador le preguntó al investigador “¿cómo entraste a nuestro entorno de producción?”, y el investigador explicó que solo había visto la pestaña Network del navegador
- Semana 3: dos empresas pidieron que se bajaran los resultados de la investigación, pero el artículo aclara que no reveló nombres específicos y que eso sigue igual hasta ahora
- Ayer: un VC pidió que se auditara a sus empresas del portafolio antes de la próxima junta directiva, y el investigador comentó que aceptó hacerlo
Plan para publicar datos y herramientas
- Con base en esta investigación, se planea publicar la metodología y las herramientas
-
Lo que se publicará en GitHub (gratis)
- Código completo de la infraestructura de scraping
- Técnicas para extraer fingerprints de API
- Scripts de detección que cualquiera podrá ejecutar
- Colección de patrones de tiempo de respuesta por principales APIs de IA
-
Análisis avanzado (solo para miembros)
- Un caso de un “unicornio de IA” valuado en 33 millones de dólares mensuales que en realidad solo usa 1,200 dólares al mes en costos de OpenAI
- Una estructura presentada como “modelo de 100 millones de parámetros” que en realidad está compuesta por 3 system prompts
- Código de producción servido públicamente (lado cliente, snippets anonimizados)
- Un framework de 5 preguntas que delata wrappers de inmediato
- Estudios de caso que comparan presentaciones para inversionistas con la infraestructura real
Mensaje final y la necesidad de una “era de IA honesta”
- La investigación se realizó sin revelar nombres de empresas y compartiendo solo patrones, y enfatiza la creencia de que el mercado terminará recompensando la transparencia
- De hecho, se confirmó que 18 empresas sí están creando tecnología realmente nueva,
- y a ellas se les envía un mensaje de apoyo: “ustedes saben quiénes son, sigan construyendo”
- Después de la investigación, 7 fundadores se pusieron en contacto de forma privada,
- algunos estuvieron a la defensiva, algunos agradecieron, y tres preguntaron cómo ayudar a cambiar su marketing de “proprietary AI” a “built on best-in-class APIs”
- se cuenta que un fundador confesó: “sabíamos que estábamos mintiendo, los inversionistas lo esperaban, todos lo hacen; ahora, ¿cómo dejamos de hacerlo?”
- Al final del artículo, se vuelve a enfatizar que la fiebre del oro de la IA no va a terminar, pero que debe comenzar una era de honestidad, y que cualquiera puede comprobar por sí mismo la verdad con solo abrir la pestaña Network de DevTools (F12)
4 comentarios
Hay un comentario que dice: "La propia existencia del autor es sospechosa. La fuente de los datos tampoco está clara, y tampoco se puede capturar el tráfico de red así como así. Hace falta una verificación básica", y estoy de acuerdo.
El enlace de LinkedIn que aparece en su perfil de Medium también lleva a una página que no existe, y desde el principio parece que es una persona que ni siquiera existe. También es raro que el 25 de noviembre siga mencionando GPT-4 y no GPT-4o.
Que un desarrollador capaz de implementar incluso un sistema de suscripciones para monetizar haya puesto la comunicación con la API de IA en el cliente en vez de en el servidor, haciéndolo tan fácil de detectar así... también es difícil de creer.
Si intentas crear agentes, llegas a ver la ingeniería de prompts como una aplicación con una productividad excelente que aprovecha la IA.
Opiniones de Hacker News
2023 fue el año de mostrar demos de prompts cada semana
Incluso en eventos de AWS, los presentadores llenaban una hora abriendo Claude y escribiendo prompts al azar
Nuestro equipo también pasó 6 meses diciendo que estaba construyendo “agentes”, agregando herramientas, conectores y sistemas de evaluación, para al final volver otra vez a la ingeniería de prompts
Hace tiempo un mentor me dijo que “un experto en tecnología es alguien que sabe una o dos cosas más que los demás”
Por eso creo que la fiebre actual de la ingeniería de prompts es un desarrollo natural. Mientras más nueva es una tecnología, más tiende a avanzar agregando una o dos capas sobre el stack existente
Decir que “solo es ingeniería de prompts” subestima la verdadera dificultad de construir sistemas de alto rendimiento
Diseñar métricas de evaluación, tool calling y caching va mucho más allá de simples prompts. Si puedes mostrar resultados, será fácil conseguir inversión
Es sospechoso ver un texto en noviembre de 2025 mencionando GPT-4
También es rara la metodología de identificar al proveedor de IA por tráfico de red. Si el frontend llamara directamente al API, habría un alto riesgo de exposición de claves de seguridad
Ese método de investigación huele raro
Surge la pregunta: “entonces, ¿qué se supone que hay que hacer?”
En los 90, incluso ponerle una UI a un sistema de consola era una gran idea de startup
En realidad, este fenómeno también era común en las startups anteriores a la IA
Solo con envolver tecnología existente y mejorar la UX ya se podía ganar mucho dinero. Por dentro era una combinación de herramientas open source, pero los márgenes eran tan altos que desarrollar algo propio no valía la pena
Lo pensé desde justo después del lanzamiento de ChatGPT.
Si una empresa de verdad tuviera AGI, no tendría motivo para venderla. Simplemente construiría sus propios servicios y aplastaría a la competencia
Son pocas las empresas que construyen LLMs, y sus funciones son parecidas
Al final, el núcleo de la automatización es la ingeniería de prompts.
Como en las apps móviles, Big Tech puede copiarlo fácilmente si se lo propone. Perplexity y Cursor también están en riesgo
El artículo en cuestión parece ser en sí mismo contenido generado por IA
Es difícil confiar en que el autor realmente haya analizado los datos
Queda una gran duda: “¿cómo recolectó esta persona esos datos?”
Si fuera mi empresa, no podría divulgar datos de clientes de esta forma
¿Por qué eso sería deshonesto? jajaja