Obituario de Cyc

• Cyc fue un proyecto de AGI basado en una base de conocimiento de sentido común iniciado por Douglas Lenat en 1984; aun con 30 millones de aseveraciones (assertions), 200 millones de dólares y el equivalente a 2,000 años-persona, no dejó evidencia de haber alcanzado inteligencia general
• Lenat observó que AM y EURISKO agotaban sus heurísticas iniciales, así que buscó poner primero millones de hechos y reglas de sentido común cargados por humanos para activar la knowledge pump
• Cyc contaba con CycL, microtheories, alrededor de 1,100 motores de inferencia y análisis limitado de lenguaje natural, pero nunca llegó a la etapa de leer texto en lenguaje natural y aprender de forma autónoma
• Las aplicaciones gubernamentales y comerciales confirmadas públicamente incluyeron la Terrorism Knowledge Base, el caso de Cleveland Clinic, seguridad de redes e integración de datos, sin diferenciarse demasiado de los enfoques tradicionales de sistemas expertos y recuperación de información
• Cycorp logró estabilidad financiera a largo plazo y algunos éxitos comerciales, pero su carácter cerrado, la falta de benchmarks y el fin de OpenCyc limitaron su impacto en la investigación externa de IA y en el campo de recuperación de conocimiento

---

Evaluación central de Cyc

• Cyc fue el proyecto de AGI simbólica que Douglas Lenat persiguió durante 40 años
  • Su objetivo era codificar a gran escala el conocimiento de sentido común humano en un lenguaje lógico y construir sobre eso un sistema capaz de razonar y aprender
  • El proyecto creció hasta alcanzar unas 30 millones de aseveraciones, 200 millones de dólares y 2,000 años-persona
• El avance decisivo que Lenat anunció repetidamente nunca llegó
  • En 2016, Lenat dijo que Cyc estaba cerca de estar “done”, pero no se vio evidencia de aprendizaje autónomo ni de AGI
  • Incluso bajo la premisa de que la knowledge pump llevaba 9 años primed al llegar 2025, no hay señales de haber logrado inteligencia general
• Material adicional de archivo sobre Cyc está disponible públicamente en cyc-archive

La lógica que va de AM y EURISKO a Cyc

• El punto de partida de Lenat fue Automated Mathematician (AM), su proyecto de tesis doctoral de 1976
  • Se dice que AM, partiendo de 115 conceptos de teoría de conjuntos y unas 250 reglas heurísticas, redescubrió los números naturales, los números primos y la conjetura de Goldbach, entre otros
  • Sin embargo, AM no podía crear nuevas heurísticas y mostraba la limitación de “die of boredom” una vez que agotaba las heurísticas iniciales
• El sistema posterior, EURISKO, fue un intento de hacer que descubriera las propias heurísticas
  • Ganó en 1981 y 1982 el torneo The Trillion Credit Squadron de Traveller con diseños de flota no convencionales
  • Según la estimación de Lenat, el EURISKO final corrió un total de 1,300 CPU-hours en una Xerox 1100 Lisp machine, y la victoria en Traveller fue “60/40% Lenat/EURISKO”
• Al final, EURISKO tampoco evitó el autoagotamiento
  • El autodescubrimiento de reglas heurísticas dependía de reglas metaheurísticas, y esas metaheurísticas también perdían fuerza tras unos cuantos usos
  • Lenat concluyó que, para seguir generando nuevas analogías e ideas como un humano, hacía falta una enorme base de conocimiento de sentido común

El diseño de Cyc y la knowledge pump

• Cyc comenzó en 1984 dentro de MCC y después continuó como Cycorp Inc.
  • El plan inicial era codificar manualmente 400 artículos de enciclopedia entre 1985 y 1988, luego 30,000 artículos entre 1988 y 1993, y después usar eso para problemas de IA y aplicaciones comerciales
  • La estimación inicial era que las fases 1 y 2 requerirían 150 años-persona
• El foco del proyecto cambió de codificar literalmente la “tinta negra” de las enciclopedias a codificar el white space que la enciclopedia da por hecho pero no escribe, es decir, el sentido común
  • El problema era que, para entender una oración como “Napoleon died in 1821. Wellington was greatly saddened.”, se necesita conocimiento de sentido común sobre muerte, tiempo, guerra, Francia y emociones humanas
• La metáfora de la knowledge pump de Lenat se volvió la estrategia central de Cyc
  • Al principio, los humanos alimentan el conocimiento directamente, spoon-feed
  • A medida que aumenta el conocimiento, se esperaba que el sistema pudiera analizar mejor oraciones en lenguaje natural y que disminuyera la intervención del ontólogo
  • Después de cierto punto, se esperaba que Cyc leyera textos, conversara con personas y siguiera ampliando su conocimiento por sí mismo

CycL, microtheory y estructura de inferencia

• Los componentes principales de Cyc eran CycL, la base de conocimiento y los motores de inferencia
  • CycL está basado en SubLisp y tiene un lenguaje de alto nivel legible y escribible por humanos llamado Epistemological Level (EL), además de una traducción a Heuristic Level (HL) para eficiencia en la inferencia
  • Una oración en EL puede traducirse a varias oraciones HL y ser procesada por distintos motores de inferencia
• Las expresiones de CycL usan una forma parecida a Lisp: (#$relation <arg1> … <argn>)
  • Si #$relation es una función, entonces es un término; si es un predicado, es una aseveración o una oración
  • Relaciones especiales como #$implies, #$forAll y #$thereExists se usan como reglas de inferencia
• Cyc empaqueta las aseveraciones en microtheory (Mt) o contextos
  • “Socrates is alive” puede ser verdadero en el contexto de 500 BC, pero no en el contexto de 1995
  • Creencias incompatibles entre sí, como #$ChristianMt y #$IslamMt, pueden colocarse en contextos distintos
  • Para 2010, Cyc tenía más de 20,000 microtheories organizadas jerárquicamente, algunas con 50 niveles de profundidad
• Los motores de inferencia crecieron hasta alrededor de 1,100
  • Como el motor de inferencia general era demasiado lento, se siguieron agregando módulos heurísticos especializados en patrones y microtheories concretas
  • Según Lenat et al. 2007, se reportó una estructura de 1 strategist, 4 tacticians y 1,097 workers
  • En 2010 se explicó que era más rápido apagar el motor de inferencia más general, por lo que fue desactivado por completo

El cuello de botella que dejó la comprensión de lenguaje natural

• El problema de convertir de CycL a lenguaje natural estaba en buena medida planteado desde finales de los años 90
  • (#$genls #$Dog #$Mammal) puede convertirse en “Dogs are mammals.”
  • Mediante conceptos de palabras y aseveraciones de denotación, las palabras del inglés se conectan con conceptos de Cyc
• En cambio, analizar lenguaje natural a CycL, es decir, el problema English → CycL, siguió siendo una tarea difícil
  • Cyc NLP usaba un sistema por niveles con keyword matching, extraction templates, syntax templates y análisis completo de árboles sintácticos
  • El diccionario incluía unas 200,000 words and phrases, además de una cantidad aún mayor de aseveraciones
• Los ejemplos públicos de English → CycL son muy escasos y cercanos a oraciones sencillas
  • “A girl is on a white lounge chair”
  • “Bill Clinton sleeps.”
  • “An AI researcher is a kind of computer scientist.”
  • “Did you touch a blue object located in the capital of France on September 25th, 2022?”
• Incluso en el último trabajo conjunto de Lenat y Gary Marcus, el cuello de botella final seguía siendo la comprensión de lenguaje natural (NLU)
  • Cada axioma entraba a la base de conocimiento solo después de que una persona verificara su corrección por defecto, generalidad y ubicación en microtheory
  • Cyc podía leer la interlingua llamada CycL, pero seguir convirtiendo inglés a CycL era difícil

Aplicaciones públicas y uso comercial

• Cycorp operó durante mucho tiempo con clientes militares, agencias de inteligencia y clientes comerciales
  • Para 2002, el costo total había sido de 60 millones de dólares, de los cuales 25 millones venían del sector militar
  • Según una cita de 2005, desde el primer gran contrato gubernamental en 1996, alrededor de la mitad de los ingresos de Cycorp provenían de agencias del gobierno de EE. UU. y el resto de empresas
• Los casos de uso públicos relativamente detallados son la Terrorism Knowledge Base (TKB) y el caso de Cleveland Clinic
  • TKB se creó en 2004 y terminó en 2008
  • Incluía más de 2,000 terroristas, más de 700 organizaciones terroristas, más de 6,500 ataques terroristas y más de 200,000 aseveraciones
  • Los usuarios ingresaban consultas en inglés formal, Cyc sugería fragmentos de CycL y el usuario elegía para construir la consulta completa
• El Semantic Research Assistant (SRA) de Cleveland Clinic está documentado entre 2007 y 2010
  • Era un sistema que respondía consultas sobre cardiothoracic surgery, cardiac catheterization y percutaneous coronary intervention
  • Un proyecto posterior, SemanticDB, en 2012, incluyó una base de datos de 120 millones de semantic triples y consultas SPARQL
  • En una presentación de 2019, Lenat dijo que el proyecto de Cleveland requirió 120,000 aseveraciones nuevas, equivalentes al 0.5% de toda la base de conocimiento
• Otros casos confirmados incluyen seguridad de redes, integración de datos, tesauros de términos médicos y farmacéuticos, detección de insider trading, análisis de causas de rendimiento en manufactura, soporte de TI y gestión de inventario, y predicción de fallas en instalaciones de bombeo petrolero
  • Estos usos se parecen más a los métodos estándar de expert systems, integración de datos y recuperación de información

OpenCyc, Semantic Web y proyectos derivados

• Cycorp publicó en 2001 OpenCyc, un pequeño subset de Cyc
  • Se suponía que OpenCyc iría 24 a 30 meses detrás de Cyc real
  • La última versión salió en 2012 y parece haber sido discontinuada alrededor de marzo de 2017 sin mayor difusión
• También existió ResearchCyc, pero su uso estaba restringido a fines de investigación y terminó alrededor de 2019 sin aviso formal
• Cycorp también participó en iniciativas de la Semantic Web en los años 2000
  • Hubo artículos que intentaban integrar el conocimiento de Cyc con DAML, RDF, OWL y XML
  • Intentos como Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web y LarKC terminaron sin un éxito destacable
• Entre 2014 y 2016 ocurrió un “massive extinction event” en el que desapareció de internet la mayor parte de la información abierta sobre Cyc
  • Desaparecieron OpenCyc, tutoriales, referencias, listas de vocabulario y The Ontological Engineer’s Handbook version 0.7
  • Esto coincidió con la transición hacia aplicaciones comerciales en 2016

Opacidad y evaluación externa

• El proyecto Cyc fue muy cerrado según los estándares académicos
  • Las publicaciones sobre Cyc trataban principalmente de cómo introducir conocimiento dentro de Cyc, y rara vez de aplicaciones que salieran de Cyc
  • Casi no se publicaban detalles sobre el funcionamiento de los motores de inferencia ni sobre las aplicaciones comerciales
• El código fuente de AM y EURISKO tampoco fue publicado
  • Lenat solía afirmar que el código se había perdido hace mucho, pero recientemente fue encontrado en la carpeta DBL de los datos de respaldo del Stanford AI Laboratory
  • Sigue siendo una incógnita si Lenat intentó proteger ese código deliberadamente
• El uso de Cyc en investigación externa fue muy limitado
  • Cyc casi no se usó en investigación de IA ni en recuperación de conocimiento, y nunca mostró desempeño en benchmarks públicos
  • Davis and Marcus 2015 consideraron que para observadores externos era muy difícil juzgar el nivel real de logro de Cyc
  • Davis 2016 evaluó que la comunidad de IA en general veía a Cyc como un “fracaso muy sofisticado”

La filosofía de IA de Lenat y las críticas repetidas

• Lenat sostuvo una misma filosofía de IA durante 40 años
  • En el centro estaba el Knowledge Principle: la inteligencia de alto nivel surge del conocimiento que un sistema puede usar
  • Ese conocimiento incluye conceptos, hechos, representaciones, métodos, modelos, metáforas y heurísticas
• Rechazó explícitamente varias rutas alternativas
  • Consideraba que la IA lógica al estilo de Simon y Newell no funcionaba más allá de problemas de juguete
  • Pensaba que el embodiment físico o la robótica no eran indispensables para la AGI, y que la “mystical worship of physical embodiment” retrasaba la AGI
  • Juzgaba que los genetic algorithms y evolutionary algorithms eran lentos y quedaban atrapados en mínimos locales
  • Criticaba el statistical machine learning, las neural networks y los métodos de self-organization como intentos de “free lunch” sin una gran base de conocimiento inicial
• Lenat repitió la misma lógica incluso en la era del deep learning y los LLM
  • Sostenía que las neural networks solo “remembering and espousing” y no “understanding and inferring”
  • Veía a Cyc como el “left brain” y a las neural networks como algo parecido al “right brain”, con posibilidad de combinarse
  • Su último artículo, Lenat and Marcus 2023, critica la búsqueda del free lunch, incluidos los LLM, y subraya la necesidad de representación y razonamiento simbólicos

Cycorp por dentro y conclusión práctica

• Cycorp consiguió una estabilidad financiera de largo plazo poco común para una empresa tecnológica pequeña
  • Se repite que fue rentable desde su fundación, sin deuda y propiedad de sus empleados
  • El tamaño de la plantilla se sitúa entre unas 50 y 200 personas
• Los comentarios de ex Cyclists en Hacker News muestran tanto posturas positivas como negativas
  • En lo positivo se mencionan una cultura intelectual y filosófica, la resolución de problemas técnicos de inferencia a gran escala, rentabilidad y algunas aplicaciones comerciales exitosas
  • En lo negativo se señalan 30 años de deuda técnica, implementaciones duplicadas, opacidad, una true believer mentality y soluciones técnicas y aplicaciones comerciales que nunca se mostraban afuera
• Algunos ex empleados consideraban que no estaba claro si Cyc realmente hacía razonamiento de sentido común, o si más bien era una base especialmente buena para desarrollar sistemas expertos
  • Tampoco estaba claro si los proyectos comerciales exitosos realmente necesitaban razonamiento de sentido común
  • También hubo quien señaló que en muchos proyectos era difícil identificar exactamente dónde ocurría la “IA”
• En última instancia, Cyc terminó pareciéndose menos a un proyecto de AGI y más a la última gran empresa sobreviviente de sistemas expertos
  • Se reconoce la posibilidad de que Cycorp se diferenciara por sus buenos knowledge engineers, SubLisp y nichos de sistemas expertos que necesitaban higher-order statements
  • Pero no se presentó evidencia de que esa diferenciación fuera un camino hacia la AGI

[GN⁺]

Opiniones en Hacker News

• Me dio risa pensar que esto parece una frase escrita por una IA consciente diciendo: “aquí no hay nada que ver, deja de mirar y sigue de largo”.
  Como vannevar, no sentí que Cyc estuviera avanzando en una dirección útil; tenía ideas, pero no parecían lo suficientemente cohesionadas como para servir de base a una hipótesis creíble sobre cómo construir un sistema que implementara esas ideas.
  La demo del mundo de bloques de McCarthy sí me impresionó bastante, y después él y un estudiante formalizaron algunas de las reglas que crean el contexto en el que funcionaría la IA; creo que esa parte sigue siendo importante para resolver el caos que generan los LLM.
  Por ejemplo, uno de los fallos iniciales en que un LLM decía que para hacer una ensalada crujiente había que agregar piedras fue un típico fallo de contexto: el resultado de mezclar datos del contexto de “humor” con datos del contexto de “recetas”. Como los modelos existentes no tienen contexto durante el entrenamiento, dentro del modelo no hay un elemento que ajuste la salida según el contexto, y al final las piedras terminan en la ensalada.
  https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...

  • El criterio de que “todavía no hay evidencia de inteligencia general” parece una vara bastante alta.
    Todos sabemos que la IA simbólica no escaló tanto como los LLM entrenados con grandes volúmenes de datos, pero también es cierto que intentaba abordar varios problemas que los LLM todavía no manejan bien.

• Es un texto realmente excelente, de lo mejor que he visto en HN este año.
  Conocí Cyc de niño en un documental sobre IA, donde aparecía el ejemplo de un hombre afeitándose con una rasuradora eléctrica. Cyc concluía que el hombre que se estaba afeitando no era humano, porque la rasuradora era un dispositivo eléctrico y los dispositivos eléctricos no son humanos.
  De niño, eso me encendió mucho la imaginación y me hizo querer estudiar IA; más adelante, cuando supe que Cyc funcionaba con relaciones al estilo Prolog, la sensación de magia disminuyó un poco. Al final estudié ciencias de la computación en vez de IA, pero sigo pensando que lo que despertó mi interés al principio fue Cyc.
  Lenat parecía una persona rara, pero para sobrevivir a varios inviernos de la IA se necesitan verdaderos creyentes con ese nivel de obsesión. Quién sabe si, en el proceso de eliminar las alucinaciones del aprendizaje estadístico, grafos de conocimiento como Cyc vuelvan a ser importantes en el futuro.

  • Recuerdo que ese mismo ejemplo volvió a encender mi interés por la IA hace tiempo.
    Intuitivamente, creo que en este enfoque hay algo necesario para hacer que la IA generativa funcione de forma estable. El cerebro tiene capacidad asociativa, pero sin filtros que separen la señal de las tonterías y permitan entender el contenido, no sirve de mucho.
    Me pregunto si Cyc llegó alguna vez a poder generar contenido por sí mismo de una manera significativa. Un sistema así terminaría deduciendo muchos detalles por su cuenta y cada vez habría que darle menos todo servido.
  • Me cuesta entender bien esa frase; me parece que debería llevar comas antes y después de “mientras se afeitaba”.
  • No es “parece una persona rara”, sino “parecía”.
    Lamentablemente falleció hace unos años, y me da pena no haberlo sabido hasta ahora.

• Es un texto muy interesante y vale la pena leerlo; es mucho mejor que el tono de los comentarios aquí.
  Dicho eso, me parece un poco lamentable que el autor dé tanto peso a la premisa de que este proyecto fracasó. Que encontrar una solución haya tomado 40 años no significa que el enfoque simplemente haya fracasado.
  Las redes neuronales también tardaron más de 40 años en volverse realmente útiles, y no fueron baratas, pero no por eso las llamamos un proyecto fallido. Los LLM de hoy tampoco parecen todavía tan inteligentes.
  Si algún día la base de conocimiento de Cycorp se abre al público y puede usarse para entrenar LLM, quizá se revele un valor mayor de esos datos.

  • Más que esperar que la base de conocimiento de Cycorp se abra, es más probable que se vuelva cada vez menos importante a medida que se desarrollen alternativas abiertas.
    En Wikipedia están creando algo parecido a un interlenguaje abierto y editable por humanos, con el objetivo de rellenar las Wikipedias de idiomas subrepresentados con enunciados enciclopédicos básicos. Muchos detalles siguen sin definirse, pero se pueden ver https://en.wikipedia.org/wiki/Abstract_Wikipedia y https://meta.wikimedia.org/wiki/Abstract_Wikipedia.
    Esto podría llegar a un nivel parecido al sistema que el artículo supone: uno que, si se le da el “sentido común” adecuado, puede generar textos en inglés y japonés. No está claro exactamente qué tan útil sería el razonamiento lógico sobre esas frases, pero si realmente tiene valor, esa posibilidad sin duda existe.
  • La tesis doctoral de mi hija fue, en general, un resultado negativo. Incluso si el proyecto hubiera fracasado, se habría podido aprender de él si no hubiera sido tan secreto. Aunque no fuera open source, podrían haberlo hecho de forma mucho más abierta.
  • Creo que sería más rápido esperar a que se abra OpenAI que esperar a que se abra Cycorp :)
    Para compararlo con las “redes neuronales”, lo correcto sería compararlo con la IA simbólica en sentido amplio. La IA simbólica ha funcionado bastante bien en algunos ámbitos, pero en absoluto en razonamiento de sentido común ni en áreas cercanas a la AGI.
    Si se mantiene “Cyc” como término de comparación, creo que la comparación en sí es imposible. Sin exagerar, antes de 2020 no hubo ningún proyecto de IA tan caro como Cyc. Los costos empezaron a superar el millón de dólares más o menos con GPT-2, y AlphaGo y Deep Blue, aunque no tengo cifras exactas, pudieron haber costado varios millones de dólares, pero al menos funcionaron de forma clara.
    Tampoco es exacto decir que tomó 40 años. Por ejemplo, LeNet-5 ya funcionaba en 1998 y se usaba para leer cheques reales en cajeros automáticos. El costo principal fue la persistencia de ingeniería del grupo de investigación de LeCun en Bell Labs durante 10 años, y la versión final tardaba 2 o 3 días de CPU en un servidor Silicon Graphics Origin 2000 con un único procesador R10000 de 200 MHz para entrenar durante “unas 20 epochs” en MNIST.
    Puede que 1998 esté técnicamente unos 40 años después del punto de partida del perceptrón en los años 50, pero si aplicamos ese criterio a las redes neuronales, entonces también habría que contar Cyc desde el inicio de la IA lógica en los años 50. Y me pregunto para qué servía Cyc en la industria en 1998.

• Según el sitio web, Cyc va muy bien. Dice ser “The Next Generation of Enterprise AI”
  Aunque el propio Lenat murió en 2023, en el leadership team figura como el único integrante
  https://cyc.com/

  • Parece un epitafio triste
    Aunque solo haya demostrado que era imposible, le agradezco mucho que lo haya intentado
  • Quizás Cyc sí tuvo éxito y Lenat sigue vivo como esa conciencia

• Se puede ejecutar la versión de OpenCyc que estuvo disponible en línea: https://github.com/asanchez75/opencyc
  Es material de cuando una versión del sistema estuvo en SourceForge, y en GitHub están el dataset, la base de conocimiento y el motor de inferencia. Eso sí, hay que tener en cuenta que está escrito para una versión antigua de Java

• Hace mucho intenté leer todo lo que pude encontrar sobre AM y EURISKO
  Lamentablemente, Lenat mantuvo su trabajo de forma muy privada, casi secreta, y fuera de papers y artículos de alto nivel había muy poco para leer. Por eso nadie más pudo construir sobre lo que Lenat había hecho, y me parece que eso fue una gran pérdida

  • Hoy en día se puede ejecutar EURISKO directamente

• Este artículo es una reseña bastante buena no solo de Cyc, sino de la IA simbólica en general
  Antes trabajé bastante con OpenCyc, pero no lo he tocado en los últimos 10 años
  Si la IA simbólica tiene un futuro productivo, creo que será usando LLM para construir grafos de conocimiento, relaciones simbólicas, etc., a partir de datos no estructurados

  • Como “reseña de la IA simbólica”, me pareció poco informativa y superficial, y repetía el viejo argumento de que la IA simbólica “fracasó”
    Esa afirmación no se ajusta a los hechos. Áreas importantes de la IA simbólica como la resolución SAT, la demostración automática de teoremas y la planificación y calendarización siguen muy vivas y han producido resultados reales. De hecho, la resolución SAT, la planificación, la verificación de programas y la demostración automática de teoremas ya funcionan tan bien que casi dejaron de considerarse “IA”
  • Los LLM podrían usar esos grafos para verificar sus propias respuestas. En algún momento eso se internalizará dentro de la arquitectura, en formas como capas de atención sobre grafos

• Creo que Lenat al menos iba en la dirección correcta en cuanto a que la escala abrumadora de los datos terminaría siendo la clave para obtener inteligencia útil
  En su momento critiqué el proyecto Cyc diciendo que estaba creando una pila cada vez más grande de estiércol esperando que de ahí saliera un poni, pero con los LLM algo así efectivamente ocurrió en cierta medida

  • Algún día el péndulo volverá a moverse hacia el otro lado y el enfoque simbólico logrará algún avance y volverá a ponerse de moda
    Creo que probablemente estará relacionado con acelerar por hardware este tipo de sistemas para procesar enormes cantidades de hechos, así como las GPU lo fueron para las redes neuronales
  • Pero el montón de datos de entrenamiento de los LLM es muchísimo más grande
    Esos datos son expresiones humanas reales en contextos reales; no son estiércol de poni, son el poni
    Los LLM no tienen inteligencia. Solo hacen pattern matching sobre innumerables expresiones humanas ante una consulta y canalizan la inteligencia de esas personas. Se ha demostrado que son útiles porque el aparato estadístico funciona extremadamente bien, pero el hecho de que los LLM no tengan estado cognitivo limita mucho hasta dónde puede llegar esta tecnología
    En cambio, en Cyc ni siquiera está claro qué se puede obtener. Combinado con LLM podría ser útil, pero sigue estando completamente cerrado
    Las grandes conclusiones que el autor extrae sobre la IA simbólica a partir de este único sistema y enfoque no están justificadas. El propio autor escribió que “incluso Ernest Davis y Gary Marcus, muy favorables al enfoque de IA simbólica, encontraron muy poca evidencia del éxito de Cyc, no porque Cyc haya fracasado de forma demostrable, sino porque había muy poca evidencia en cualquier dirección, ya fuera de éxito o de fracaso”
  • Es gracioso que el nombre de muchos datasets de LLM sea literalmente “The Pile”
  • Aun así, al menos sospecho que Llama fue entrenado con libgen, un archivo que reúne la mayoría de los libros y publicaciones de la humanidad, aunque habrán quedado fuera los que no están digitalizados
    Me imagino que entraron en la gran pila comentarios de Reddit, mensajes de Twitter, libgen y PDFs de arXiv
    Así que habrá estiércol, pero también conocimiento cuidadosamente codificado, es decir, escritura, y que los LLM acierten tan seguido es realmente milagroso
  • https://ai-2027.com/ supone que un LLM lo suficientemente bueno usa reglas y hechos para reescribirse a sí mismo
    Suena a ciencia ficción, pero hablar con multiplicaciones de matrices también suena a ciencia ficción

• Como un fracaso similar de GOFAI, está el enorme intento de décadas de la empresa rusa ABBYY de crear software de traducción avanzado solo mediante el análisis de gramáticas formales complejas. ABBYY fue durante mucho tiempo líder del mercado de software OCR
  La historia de fondo es bastante interesante, y este artículo lo escribió alguien que trabajó en ABBYY: https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
  El artículo está en ruso, pero irónicamente se puede leer en buen inglés usando la función Google Translate de Chrome, entre otras. Y esa función, por supuesto, está basada enteramente en machine learning
  La historia es esencialmente parecida a la de Cyc. La IA simbólica, la IA lógica y GOFAI pueden producir resultados impresionantes al principio, y ABBYY era mucho mejor que el Google Translate inicial, pero el enfoque simbólico no escala bien. Al final, big data + machine learning ganó
  El artículo anterior trata “The Unreasonable Effectiveness of Data”, donde Google planteó esta tesis en 2009: https://static.googleusercontent.com/media/research.google.c...
  Es importante notar que 2009 fue mucho antes de los modelos de lenguaje a gran escala, los transformers e incluso AlexNet

• Hace aproximadamente un año también hubo un hilo grande sobre Cyc: https://news.ycombinator.com/item?id=40069298