Hace poco apliqué a la tanda de YC con una idea para lograr que la IA actúe de forma proactiva en vez de solo reaccionar, y antes de eso publiqué un paper sobre mejora recursiva de sí misma ajustado a datos de Epoch AI
Contacté a un profesor de una universidad británica que trabajaba en una línea similar y conversamos cerca de una hora sobre supuestos y métodos distintos, además de resultados coincidentes
Incluso siendo estudiante de licenciatura en física, si haces investigación independiente y hablas con expertos, puedes conectarte con personas que normalmente sería difícil conocer, así que para alguien joven, sin importar en qué negocio se meta, la investigación es una buena forma de crear contactos
Esa también es la razón por la que los grandes laboratorios dejan de publicar papers. Publicar tiene más valor cuando no hay otra forma de atraer la atención de desconocidos inteligentes, pero cuando ya estás en una etapa en la que puedes contratar a cualquiera y todos te contestan el teléfono, lo que más queda es el efecto de mostrarles a los competidores lo que funcionó
Esto pasa cada vez que la ciencia se convierte en industria. Los químicos también publicaban libremente, pero cuando los tintes empezaron a dar dinero, la investigación interesante pasó a laboratorios corporativos y dejó de hacerse pública
Es una lástima que LinkedIn no sea esa clase de plataforma de conexión para expertos, porque ahora está lleno de anzuelo para generar interacción y gente jugando a ser emprendedora
Haber empezado en investigación o no, mostrarse y hablar con otras personas es lo más fundamental para la carrera y el crecimiento personal
Me gustaría escuchar con más detalle qué significa exactamente IA proactiva aquí
Creo que la mejora recursiva de sí misma es el inicio del fin
De hecho trabajé en dos startups que hicieron investigación básica original por primera vez en el mundo. La primera pasó 3 años intentando publicar resultados nuevos en una revista de primer nivel; al final los sacó como preprint y abandonó la revista
La segunda, donde estoy ahora, por esa experiencia no publica nada y también busca evitar que OpenAI o Anthropic copien los resultados y vuelvan inútiles 6 meses de trabajo. Los papers solo se entregan junto con materiales para inversionistas
Casi no hay ventajas para una startup al publicar investigación de frontera, y además es difícil defenderla. Puede servir como vitrina para empresas sin exposición al riesgo, pero para una startup es problemático
Me pregunto si el propósito mismo de publicar investigación no es que otros la reproduzcan
Si no eres un académico que necesita plaza permanente o financiamiento, puedes saltarte la revista y publicar el paper directamente. Lo importante es compartir la investigación
Me pregunto si el texto se refiere al fenómeno de startups de IA que publican hallazgos en blogs en lugar de revistas. Las revistas son tan lentas, rígidas y explotadoras que quizá ya no sirven en esta industria
Para publicar en las mejores conferencias de ciencias de la computación hay que usar un lenguaje de insiders y un formalismo difíciles de abordar para quien no pasó por un doctorado en un área estrecha
Paradójicamente, los LLM hacen esto bastante bien, así que se vuelve menos probable que un paper realmente bueno escrito por alguien externo reciba mejor evaluación que un paper malo generado por IA
La bloguificación de la investigación en IA ha hecho que surjan y se propaguen toda clase de afirmaciones y términos de la misma manera que en redes sociales, y eso no es sano
En un entorno gamificado, si les pones números obtenidos de correr varios experimentos, puedes respaldar casi cualquier cosa, y estamos yendo rápido hacia una etapa en la que casi no se cuestiona si eso realmente significa algo. Esa basura pasa a ser datos de entrenamiento del siguiente modelo, y el ciclo en el que ese modelo vuelve a producir modelos, blogs y papers se parece a soltar termitas en una biblioteca
A esa etapa ya llegamos hace 10 años, o quizá mucho antes. Lo único es que ahora hay mucha más gente entrando al juego sin el entrenamiento social que antes lo hacía tolerable
Aun así no es del todo malo; los periodos en los que entran participantes nuevos sin parar son molestos, pero cuando se van también se les termina extrañando
Me pregunto si al final la única diferencia con la publicación académica tradicional es la velocidad
El texto trató de forma ambigua a las empresas que aparecen en el paper. Por citas acumuladas, OpenAI va primero, seguido de MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks y Aibee
Aclara que es por citas, no por cantidad de publicaciones, y que aunque es imperfecto se usó como indicador sustituto de importancia. Empresas como Google quedaron fuera por no ser startups unicornio
Entiendo que los investigadores tienen que publicar papers para cumplir cuotas de desempeño y conservar su puesto. A menos que OpenAI o Anthropic paguen tanto como para compensar renunciar a una carrera de investigación, van a seguir publicando, así que cuesta verlo como buena voluntad de la empresa
Google publicó mucha investigación y todavía me pregunto por qué abrió en particular los estudios sobre Transformer y Attention. Tal vez al principio eran para traducción, o quizá ni los propios investigadores vieron su potencial real
Pensaba que Databricks era una empresa de hosting de Spark, así que me pregunto por qué la clasifican como startup líder de IA
Parece que el paper en realidad no dice qué empresas no publican papers. OpenAI, Anthropic y Hugging Face más bien figuran explícitamente como empresas que sí publican, así que al ver “startups líderes de IA” no hay que pensar de inmediato en OpenAI y Anthropic
El paper no responde bien la pregunta que a todos les daría curiosidad al ver el título. OpenAI va primero en citas, pero los papers antiguos e influyentes acumulan citas, y hubo una época en que OpenAI era más abierta
Incluso después del cambio de rumbo tras Altman, no se sabe si sigue contribuyendo ahora, y los papers posteriores a 2025 están excluidos explícitamente, así que es difícil medir el acceso a la investigación de frontera más reciente, que es justo lo que interesa. El repositorio está en https://github.com/q5loisel/unicorn-AI-startup-publications
Que una empresa sea de IA no la convierte automáticamente en una empresa de investigación. La mayoría de las startups surgidas en los últimos años usan modelos creados en otros lados con fines comerciales, así que no hay motivo para esperar papers científicos
De hecho, si el 50% de las startups contribuyera a investigación pública, sería un resultado muchísimo mejor de lo esperado
Por eso se financia la ciencia con fondos públicos: no se puede confiar solo en los incentivos del libre mercado. Casi no hay razones para que una empresa comparta información con sus competidores
Si el segundo actor más grande se llama OpenAI, entonces sí se esperaría cierto nivel de publicación de papers
Un buen artículo que analiza a la industria en un sentido más amplio también aborda por qué las investigaciones previas daban la impresión de que cada vez era más difícil encontrar buenas ideas
A diferencia del estancamiento en el crecimiento de la producción pese al aumento del número de investigadores en EE. UU., al seguir durante 45 años las patentes corporativas estadounidenses se observa que el promedio de patentes por insumo de I+D aumentó, y que la elasticidad de las patentes respecto al insumo se mantuvo o subió. Hay una relación positiva constante entre el aumento de las patentes, que son ideas, y la productividad laboral, pero la tasa de crecimiento empresarial cae cuando se controla por el aumento de ideas. Es decir, la conclusión es que el papel de la actividad innovadora en sostener el crecimiento no se ha debilitado en los últimos 40 años https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Es irónico que, si Google no hubiera publicado Attention Is All You Need, probablemente ninguna de las startups de IA actuales existiría
Si se mira https://research.google/pubs/distilling-the-knowledge-in-a-n... de 2015, quizá la ironía apenas se está desarrollando
Puede que Google haya considerado económicamente irracional una carrera armamentista independiente de modelos de frontera, pero al mismo tiempo haya juzgado esas capacidades como estratégicamente imprescindibles. Podría tratarse de una estrategia de largo plazo: construir los modelos más grandes solo en la medida necesaria para usarlos como fábricas de producción de capacidades, y luego convertir esa inteligencia en una cantidad mucho mayor de modelos baratos y orientados a objetivos específicos
Si Google ya sabía esto, la razón por la que no lo convirtió en un arma secreta desde el principio podría ser que anticipó la carrera armamentista y también supo cómo beneficiarse del proceso. Si se considera que el artículo sobre destilación salió antes que el artículo de Transformer, quizá no sea ironía sino un resultado natural
Incluso Google no estaría donde está hoy sin la investigación abierta. Como ocurrió con la ciencia de la radiación antes de la Segunda Guerra Mundial, los resultados se publican libremente antes de que se conozca su potencial para cambiar el mundo, pero una vez que pasan a ser de interés gubernamental, incluso investigadores sin relación con armas empiezan a ocultar sus resultados
Todos los autores de ese artículo ahora están en empresas de IA que no son Google
Ese artículo también se basó en varias ideas que ya estaban muy cerca. Fue un gran descubrimiento, pero como muchos descubrimientos, se apoya sobre hombros de gigantes
Toda la industria de la IA se construyó sobre investigación abierta, pero la ola actual va en contra de eso y parece estar impulsada por la codicia bajo el pretexto de una carrera armamentista
Hace falta una nueva política ESG que reconozca el papel de la investigación abierta, pero en el entorno sombrío actual parece que tanto ESG como otras normas han sido desplazadas
Una parte considerable del valor de la industria de la computación se creó porque gente inteligente colaboró y, en vez de monopolizar el valor del primer descubrimiento, eligió revelar los métodos. Esto es un fenómeno que se adelanta en unas cinco décadas al auge actual de la IA
Aunque en mi caso es lo opuesto a la codicia. Si uno quiere compartir cómo funcionan las cosas, los resultados de resolver problemas o contenidos educativos, simplemente puede publicarlos directamente, pero hacerlo dentro del marco de instituciones aprobadas por la academia es desgastante y disperso
Aquí, “publicación de investigación” no significa subir una página HTML y código fuente, sino un procedimiento de comunicación muy específico y político. Solo tiene sentido en etapas de carrera donde importa esa competencia por prestigio, y en algunos aspectos se parece a un culto cargo que imita el procedimiento científico real
También hay mucha investigación excelente financiada con fondos públicos, pero Attention Is All You Need y varios artículos clave de OpenAI fueron producidos con financiamiento privado, y OpenAI ocupa el primer lugar en citas dentro de la investigación. Las premisas sobre la investigación abierta podrían no coincidir con la evidencia
Hay empresas que sí comparten investigación, pero por lo general no son estadounidenses; un ejemplo es https://arxiv.org/abs/2607.24653. DeepMind, Nvidia y Thinking Machines son excepciones
El proceso de publicación con revisión por pares es engorroso, no maximiza la eficiencia en la transmisión de conocimiento y se parece más a una certificación de credenciales y autoridad que a comunicación; además, los beneficios de ese prestigio recaen más en individuos que en empresas
Hay mucha basura no verificada en publicaciones tipo blog, pero también hay muchos resultados de baja calidad en la investigación con revisión por pares, así que la relación señal-ruido ha sido mala durante décadas sin importar el origen del conocimiento
Cuando se publica buena investigación, los competidores pueden aprovecharla de muchas maneras y en la práctica es casi imposible ejercer derechos de propiedad intelectual, así que se convierte en un departamento de puro costo. En algunas áreas de las ciencias de la computación, la tecnología más reciente quedó enterrada durante décadas como secreto comercial, y la literatura académica se ha rezagado de forma desconcertante
Publicar cuesta tiempo y dinero, pero los investigadores quieren resolver problemas interesantes y las empresas buscan maximizar la utilidad de la investigación, así que publicar no ayuda realmente a ninguna de las dos partes. Mucha investigación básica tampoco tiene como objetivo escribir artículos, sino resolver problemas, y una vez resueltos se pasa al siguiente
La investigación de frontera además siempre viene acompañada de consideraciones de seguridad nacional. Todo esto es resultado de la estructura de incentivos, y una parte considerable de la investigación básica ya no ocurre en la academia. Yo también disfruté programas de investigación cerrados, y algunas investigaciones básicas interesantes que realicé personalmente tampoco valían la pena publicar, porque el objetivo no era el prestigio sino el problema que había que resolver
1 comentarios
Comentarios en Hacker News
Hace poco apliqué a la tanda de YC con una idea para lograr que la IA actúe de forma proactiva en vez de solo reaccionar, y antes de eso publiqué un paper sobre mejora recursiva de sí misma ajustado a datos de Epoch AI
Contacté a un profesor de una universidad británica que trabajaba en una línea similar y conversamos cerca de una hora sobre supuestos y métodos distintos, además de resultados coincidentes
Incluso siendo estudiante de licenciatura en física, si haces investigación independiente y hablas con expertos, puedes conectarte con personas que normalmente sería difícil conocer, así que para alguien joven, sin importar en qué negocio se meta, la investigación es una buena forma de crear contactos
Esto pasa cada vez que la ciencia se convierte en industria. Los químicos también publicaban libremente, pero cuando los tintes empezaron a dar dinero, la investigación interesante pasó a laboratorios corporativos y dejó de hacerse pública
De hecho trabajé en dos startups que hicieron investigación básica original por primera vez en el mundo. La primera pasó 3 años intentando publicar resultados nuevos en una revista de primer nivel; al final los sacó como preprint y abandonó la revista
La segunda, donde estoy ahora, por esa experiencia no publica nada y también busca evitar que OpenAI o Anthropic copien los resultados y vuelvan inútiles 6 meses de trabajo. Los papers solo se entregan junto con materiales para inversionistas
Paradójicamente, los LLM hacen esto bastante bien, así que se vuelve menos probable que un paper realmente bueno escrito por alguien externo reciba mejor evaluación que un paper malo generado por IA
La bloguificación de la investigación en IA ha hecho que surjan y se propaguen toda clase de afirmaciones y términos de la misma manera que en redes sociales, y eso no es sano
En un entorno gamificado, si les pones números obtenidos de correr varios experimentos, puedes respaldar casi cualquier cosa, y estamos yendo rápido hacia una etapa en la que casi no se cuestiona si eso realmente significa algo. Esa basura pasa a ser datos de entrenamiento del siguiente modelo, y el ciclo en el que ese modelo vuelve a producir modelos, blogs y papers se parece a soltar termitas en una biblioteca
Aun así no es del todo malo; los periodos en los que entran participantes nuevos sin parar son molestos, pero cuando se van también se les termina extrañando
El texto trató de forma ambigua a las empresas que aparecen en el paper. Por citas acumuladas, OpenAI va primero, seguido de MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks y Aibee
Aclara que es por citas, no por cantidad de publicaciones, y que aunque es imperfecto se usó como indicador sustituto de importancia. Empresas como Google quedaron fuera por no ser startups unicornio
Parece que el paper en realidad no dice qué empresas no publican papers. OpenAI, Anthropic y Hugging Face más bien figuran explícitamente como empresas que sí publican, así que al ver “startups líderes de IA” no hay que pensar de inmediato en OpenAI y Anthropic
Incluso después del cambio de rumbo tras Altman, no se sabe si sigue contribuyendo ahora, y los papers posteriores a 2025 están excluidos explícitamente, así que es difícil medir el acceso a la investigación de frontera más reciente, que es justo lo que interesa. El repositorio está en https://github.com/q5loisel/unicorn-AI-startup-publications
Que una empresa sea de IA no la convierte automáticamente en una empresa de investigación. La mayoría de las startups surgidas en los últimos años usan modelos creados en otros lados con fines comerciales, así que no hay motivo para esperar papers científicos
De hecho, si el 50% de las startups contribuyera a investigación pública, sería un resultado muchísimo mejor de lo esperado
Un buen artículo que analiza a la industria en un sentido más amplio también aborda por qué las investigaciones previas daban la impresión de que cada vez era más difícil encontrar buenas ideas
A diferencia del estancamiento en el crecimiento de la producción pese al aumento del número de investigadores en EE. UU., al seguir durante 45 años las patentes corporativas estadounidenses se observa que el promedio de patentes por insumo de I+D aumentó, y que la elasticidad de las patentes respecto al insumo se mantuvo o subió. Hay una relación positiva constante entre el aumento de las patentes, que son ideas, y la productividad laboral, pero la tasa de crecimiento empresarial cae cuando se controla por el aumento de ideas. Es decir, la conclusión es que el papel de la actividad innovadora en sostener el crecimiento no se ha debilitado en los últimos 40 años
https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Es irónico que, si Google no hubiera publicado Attention Is All You Need, probablemente ninguna de las startups de IA actuales existiría
Puede que Google haya considerado económicamente irracional una carrera armamentista independiente de modelos de frontera, pero al mismo tiempo haya juzgado esas capacidades como estratégicamente imprescindibles. Podría tratarse de una estrategia de largo plazo: construir los modelos más grandes solo en la medida necesaria para usarlos como fábricas de producción de capacidades, y luego convertir esa inteligencia en una cantidad mucho mayor de modelos baratos y orientados a objetivos específicos
Si Google ya sabía esto, la razón por la que no lo convirtió en un arma secreta desde el principio podría ser que anticipó la carrera armamentista y también supo cómo beneficiarse del proceso. Si se considera que el artículo sobre destilación salió antes que el artículo de Transformer, quizá no sea ironía sino un resultado natural
Toda la industria de la IA se construyó sobre investigación abierta, pero la ola actual va en contra de eso y parece estar impulsada por la codicia bajo el pretexto de una carrera armamentista
Hace falta una nueva política ESG que reconozca el papel de la investigación abierta, pero en el entorno sombrío actual parece que tanto ESG como otras normas han sido desplazadas
Aunque en mi caso es lo opuesto a la codicia. Si uno quiere compartir cómo funcionan las cosas, los resultados de resolver problemas o contenidos educativos, simplemente puede publicarlos directamente, pero hacerlo dentro del marco de instituciones aprobadas por la academia es desgastante y disperso
Aquí, “publicación de investigación” no significa subir una página HTML y código fuente, sino un procedimiento de comunicación muy específico y político. Solo tiene sentido en etapas de carrera donde importa esa competencia por prestigio, y en algunos aspectos se parece a un culto cargo que imita el procedimiento científico real
El proceso de publicación con revisión por pares es engorroso, no maximiza la eficiencia en la transmisión de conocimiento y se parece más a una certificación de credenciales y autoridad que a comunicación; además, los beneficios de ese prestigio recaen más en individuos que en empresas
Hay mucha basura no verificada en publicaciones tipo blog, pero también hay muchos resultados de baja calidad en la investigación con revisión por pares, así que la relación señal-ruido ha sido mala durante décadas sin importar el origen del conocimiento
Cuando se publica buena investigación, los competidores pueden aprovecharla de muchas maneras y en la práctica es casi imposible ejercer derechos de propiedad intelectual, así que se convierte en un departamento de puro costo. En algunas áreas de las ciencias de la computación, la tecnología más reciente quedó enterrada durante décadas como secreto comercial, y la literatura académica se ha rezagado de forma desconcertante
Publicar cuesta tiempo y dinero, pero los investigadores quieren resolver problemas interesantes y las empresas buscan maximizar la utilidad de la investigación, así que publicar no ayuda realmente a ninguna de las dos partes. Mucha investigación básica tampoco tiene como objetivo escribir artículos, sino resolver problemas, y una vez resueltos se pasa al siguiente
La investigación de frontera además siempre viene acompañada de consideraciones de seguridad nacional. Todo esto es resultado de la estructura de incentivos, y una parte considerable de la investigación básica ya no ocurre en la academia. Yo también disfruté programas de investigación cerrados, y algunas investigaciones básicas interesantes que realicé personalmente tampoco valían la pena publicar, porque el objetivo no era el prestigio sino el problema que había que resolver