Falleció Doug Lenat
(substack.com/garymarcus)- El investigador de IA Doug Lenat fue una figura clave que intentó convertir la IA simbólica, centrada en representaciones explícitas, en sistemas reales; Gary Marcus lo calificó como “un gigante que la IA perdió”
- Lenat dedicó los últimos 40 años de su vida a Cyc, intentando codificar el sentido común en una forma interpretable por máquinas, y Cycorp siguió existiendo durante 40 años aun sin lograr un gran éxito comercial
- El intento de Cyc apuntaba de frente al problema de la representación y el razonamiento de sentido común, que los modelos de lenguaje grandes (LLM) todavía encuentran difícil
- Ken Forbus y Muktha Ananda valoran mucho el impacto que Cyc dejó en la representación simbólica, el razonamiento y la investigación sobre grafos de conocimiento/la web
- Uno de los últimos artículos de Lenat, Getting from Generative AI to Trustworthy AI, fue un intento de conectar las lecciones de Cyc con los LLM modernos
Doug Lenat y el lugar de Cyc
- Doug Lenat fue un investigador que intentó hacer funcionar en la práctica la IA simbólica explorada por Marvin Minsky, John McCarthy, Allen Newell y otros
- Gary Marcus ha tomado como tema de toda su vida la integración de las redes neuronales y la IA simbólica, pero considera que Lenat había profundizado mucho más en el ámbito de la IA puramente simbólica
- Durante sus últimos 40 años, Lenat inició y lideró el proyecto Cyc
- Cyc fue un intento de codificar el sentido común sobre el mundo en una forma que las máquinas pudieran interpretar
- Cyc, y Cycorp, la empresa creada para alojarlo, no lograron un gran éxito comercial
- Aun así, que Cycorp siga operando 40 años después es un caso poco común entre las empresas de IA
- Para Marcus, Cyc es un experimento pionero difícil de clasificar simplemente como éxito o fracaso
- Cyc no terminó de consolidarse por completo, pero cuanto más avance real haya hacia la inteligencia artificial general, más importante podría parecer
El problema del razonamiento de sentido común y el último artículo
- Existe la preocupación de que muchos investigadores jóvenes de IA no conozcan bien Cyc, pero deberían saber qué intentó hacer
- Esto no significa proponer a Cyc como reemplazo inmediato de los modelos de lenguaje grandes
- El objetivo de lograr que las máquinas representen y razonen con sentido común sigue vigente
- La charla TED de 2023 de Yejin Choi, Why AI is incredibly smart and shockingly stupid, continúa la línea de que los sistemas de IA actuales, pese a sus éxitos aparentes, carecen de sentido común
- El libro de 2019 de Marcus y Ernie Davis, Rebooting AI, también trata el mismo tema
- Los modelos de lenguaje grandes pueden acertar en algunos casos y equivocarse en otros según la formulación de la pregunta o las casualidades de los datos de entrenamiento, creando una ilusión de sentido común
- Aunque se parcheen errores concretos, pueden seguir apareciendo otros casos de tipo similar
- Cyc fue un intento de encontrar una respuesta más profunda y robusta
- El investigador de IA de Northwestern University Ken Forbus considera a Cyc como el primer caso que mostró que la representación y el razonamiento simbólicos podían contener una parte importante del sentido común
- En la industria son comunes las bases de conocimiento con miles de millones de hechos, pero considera que Cyc sigue siendo la más avanzada en términos de expresividad
- El grupo de investigación de Forbus ha usado durante décadas las representaciones de Cyc
- Muktha Ananda, Google Learning Platform Director, valoró mucho la visión, perseverancia y tenacidad de Lenat, y afirmó que el trabajo de Cyc fue una gran inspiración en su propio recorrido de investigación sobre grafos de conocimiento/la web
- Marcus y Lenat intentaron escribir juntos durante el último año un artículo largo que resumiera las lecciones aprendidas de Cyc
- El manuscrito llegó a casi 40.000 palabras y mezclaba ciencia con historia oral
- Cyc fue extraordinario en alcance, pero su implementación era difícil de manejar, y desde una perspectiva académica el mayor problema era que se trataba de un sistema propietario
- Cuando Lenat enfermó y el tiempo empezó a escasear, escribieron por separado un artículo más breve y condensado
- El 31 de julio de 2023 se publicó en arXiv Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc
- Revisa lo que Cyc intentó hacer
- Condensa los elementos que deberíamos esperar de una verdadera inteligencia artificial
- Pide una reconciliación entre la profunda tradición de IA simbólica a la que pertenecía Lenat y los LLM modernos
1 comentarios
Opiniones en Hacker News
Doug a veces era directo, pero en el fondo era una persona amable y generosa, y su dedicación a su visión y a las personas que trabajaban con él merecía respeto
Trabajé en Cycorp entre 2016 y 2020, y como la oficina no era grande, podía ver a Doug con frecuencia
Una vez, durante el almuerzo semanal de toda la empresa, comentó que iba a comprar un auto nuevo y preguntó si alguien necesitaba su auto anterior, viejo pero bien cuidado; cuando un empleado levantó la mano con cautela diciendo que su hija pronto empezaría a manejar, se lo regaló ahí mismo
También le gustaban los juegos de mesa y jugaba en un grupo de D&D con gente de la empresa; escuché que siempre elegía personajes legal bueno. Dicen que era alguien que no sabía hacerlo de otra manera
Entrevisté con Doug Lenat cuando era un estudiante de secundaria de 17 años, me contrataron como pasante de verano en Cycorp y conseguí mi primer trabajo real de programación
Esa pasantía me cambió la vida, y siempre le estaré agradecido a Doug por darle literalmente una oportunidad audaz a un chico
Doug era un científico de la computación brillante y un pionero de la inteligencia artificial; como Cycorp era una empresa pequeña, participé en muchas reuniones, y era evidente que entendía todos los detalles de la tecnología
Cycorp estaba 30 años adelantada a su época, pero en la práctica no funcionaba; para explicárselo a quien no la conoce, fue el primer gran intento comercial de crear inteligencia artificial general, en la práctica algo así como la primera OpenAI
Aprendí mucho de Doug sobre cómo tener ambiciones absurdamente grandes y no rendirse; he visto a muy pocas personas sostener Cycorp durante décadas, mantener el financiamiento, contratar gente excelente y seguir empujando el problema
También me da curiosidad qué hiciste exactamente como pasante de 17 años y qué habilidades tenías
Trabajé con Doug en Cyc aproximadamente entre 1985 y 1989. También coincidimos en PARC, pero ahí no interactuamos mucho
Lo primero que hice fue descartar la implementación existente y empezar de cero, diseñando el sistema de jerarquías y todo el código de bootstrap
Fue una época divertida con un pequeño equipo central, principalmente Guha, Doug y yo, pero con el tiempo me fue incomodando la arbitrariedad de la base de conocimiento
Para cuando dejé el proyecto Cyc por razones personales, aunque teníamos una relación cercana y el proyecto corría sobre mi código, era bastante negativo respecto de sus fundamentos
Solo con el tiempo, al volverme más inteligente, volví a reconocer su valor; creo que en ese entonces lo veía demasiado desde una perspectiva de matemática pura
Después me dediqué a otras cosas y perdí contacto con Doug y Mary, y lo lamento
Que Doug Lenat descanse en paz. Trabajé en Cycorp, en Austin, entre 2000 y 2006
Se fue demasiado pronto, pero Doug tuvo la oportunidad de contribuir al avance de la investigación en ciencias de la computación de las instituciones militares y de inteligencia de Estados Unidos
Algún día, cuando se desacelere el rápido avance de la inteligencia artificial mediante LLM, la atención volverá al Cyc Project y a Cycorp, a sus integrantes, y al razonamiento lógico y la representación del conocimiento que el Dr. Doug Lenat impulsó
Porque si la inferencia con redes neuronales fuera tan rápida, no compilaríamos programas en C en razonamiento lógico deductivo ejecutado eficientemente por un compilador, sino en redes neuronales
Al contrario, gracias a los LLM son más relevantes que nunca
La inteligencia artificial neuronal y la inteligencia artificial simbólica terminarán fusionándose, y los modelos simbólicos aportan la eficiencia y la robustez imprescindibles mediante la regularización
¿Qué sentido tiene que tantos datos se queden acumulando polvo y sin producir grandes resultados?
¿Quién afirma que la inferencia con redes neuronales sea la forma más rápida de ejecutar cualquier cómputo?
En lugar de menospreciar otra tecnología, las redes neuronales, sería mejor concentrarse en hacer que los métodos simbólicos puedan resolver problemas reales. Por ejemplo, ¿cómo se podría crear con métodos simbólicos un sistema robusto de detección de spam en correo electrónico?
Si quieres escuchar más sobre el trabajo y las ideas de Doug, el año pasado Lex Fridman le hizo una entrevista bastante larga a Doug
https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...
Doug dice que unos 5 años después aprendió que esa estimación estaba equivocada por un orden de magnitud, y que en realidad se acercaba más a unos 10 millones
Me pregunto si hay bibliografía o publicaciones relacionadas. Me intriga cómo se sabe que no son 100 millones, por qué puede considerarse finito y por qué no ocurre una explosión combinatoria
Claro que para seguir durante 38 años debieron haber tenido métricas de evaluación constantes, pero no entiendo bien esa lógica, así que me gustaría ver referencias o enlaces a críticas
Había oído hablar de Cyc en los años 90, pero no sabía que seguía vivo; es impresionante que lo hayan mantenido tanto tiempo
El artículo de Wikipedia también está bastante bien: https://en.wikipedia.org/wiki/Cyc#Criticisms
Aun así, la afirmación de 1 millón o 10 millones es fuerte como para sostenerla durante décadas, así que me pregunto si estuvo respaldada por métricas realmente sólidas
Leer el paper enlazado es divertido porque siempre me atrajo la idea de convertir los principios que ellos creían que debían estar dentro de la computadora en estructuras comunitarias externas
Sería muy útil si la gente pudiera explorar y colaborar sobre un corpus de argumentos y conclusiones, y enriquecerlo con el tiempo al discrepar con partes del grafo de argumentos o agregarle cosas
Entonces otras personas también podrían leer y adoptar el mismo razonamiento
Estoy experimentando con estas ideas en http://concludia.org/, en lo que trabajo de vez en cuando, aunque por ahora es más una excusa para jugar con el concepto y aprender más programación con Akka(Pekko)
Algún día pienso agregar cuentas de usuario y argumentos editables para convertirlo en un sitio web de verdad
Los argumentos se conectan con evidencias, los conceptos con conceptos relacionados, y así sucesivamente
https://en.m.wikipedia.org/wiki/Zettelkasten
Creo que sería bueno para hacer brainstorming
Se me ocurrió al imaginar una forma de hacer converger el debate público en un país muy polarizado políticamente
Sería una especie de foro de debate público estructurado, donde la gente podría ver mejor en qué parte de la jerarquía discrepan y, más importante aún, cuánto es lo que en realidad comparten
Siempre pensé en Cyc como la versión de inteligencia artificial de los Principia de Russell y Whitehead
Técnicamente ambicioso e interesante en sí mismo, pero al final me da la impresión de que es un enfoque equivocado que, de manera independiente, no funcionará bien por más tiempo que se le dedique y más reglas que se sigan agregando
Aun así, creo que podría ser útil para probar y enseñar modelos de redes neuronales
En la época en que Lenat inició Cyc no existían los recursos de cómputo para ejecutar modelos de redes neuronales que mostraran el nivel de lo que hoy llamaríamos “razonamiento de sentido común”, así que es totalmente comprensible que haya partido por ese camino
“Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc”
El último paper de Lenat, publicado el 31 de julio junto con Gary Marcus
https://news.ycombinator.com/item?id=37354601
Este paper puede hacer tambalear dos ideas: la de que los modelos neuronales actuales, es decir, los LLM, muestran razonamiento de sentido común, y la de que el enfoque que representa Cyc y el enfoque que representan los LLM son mutuamente excluyentes
Al ver la parte final del texto, me dieron ganas de publicar más de las cosas que he creado y pensado.
No soy Doug Lenat, y es muy probable que mi contenido solo le agregue ruido a internet, pero aun así no hay que dejar que las ideas de uno mueran con uno ni que queden controladas por una junta de stakeholders.
No soy un fanático del open source, pero el open source es una buena manera de permitir que otras personas continúen el trabajo que uno empezó.
Durante el último año, Gary Marcus y Doug intentaron escribir un artículo largo y complejo que nunca terminaron de completar, y Cyc era enorme en alcance, pero su implementación era difícil de manejar.
Desde una perspectiva académica, el mayor problema de Cyc era que era software propietario.
Doug quería transmitir a la siguiente generación de investigadores las lecciones que aprendió con Cyc, para que más personas las entendieran: qué funcionó y por qué, cuándo y por qué fracasó, qué fue difícil de implementar y qué le habría gustado hacer de otra manera.
Uno de sus últimos correos fue una súplica para publicar el artículo lo antes posible, y tras varios altibajos, el 31 de julio se subió a arXiv Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf).
Es un texto breve, pero es a la vez una revisión de lo que Cyc intentó hacer, un resumen de lo que deberíamos esperar de una verdadera inteligencia artificial y un llamado a la reconciliación entre la profunda tradición simbólica de la que él formó parte y los modelos de lenguaje grandes modernos.
Basta con compartir lo que uno considera importante.
Incluso una mejora del conocimiento pequeña y aparentemente poco probable puede tener sentido. Si hay suficientes de esas, estadísticamente pueden mover la aguja.
Claro que hay que poder encontrar el contenido relacionado, y eso en sí mismo también es un gran problema.
Aunque nunca lo conocí en persona, el trabajo de Doug fue una de mis mayores inspiraciones en computación.
Me parece apropiado enlazar una entrada de blog que escribí en 2018. Es un texto que resume brevemente la trayectoria del trabajo de Lenat que llevó a Cyc y reúne enlaces a sus papers.
http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...
Cyc, pronunciado “Syke”, es un proyecto que desde hace mucho me ha parecido vagamente interesante, pero nunca tuve el tiempo ni la energía para revisarlo en serio.
Es un proyecto de inteligencia artificial basado en una ontología integral y una base de conocimiento.
Resumen de Wikipedia: <https://en.wikipedia.org/wiki/Cyc>
Página del proyecto/empresa: <https://cyc.com/>
Fue el último gran intento de hacer inteligencia artificial de una forma “limpia”, y su fracaso ayudó a dar lugar al enfoque “sucio” de inteligencia artificial que hoy ha tenido mucho éxito.
Ese fracaso no desmerece a Doug. Alguien tenía que intentarlo, y es una suerte que haya sido una de las personas más inteligentes.
Creo que se aferró a eso durante mucho tiempo después de que ya era claro que no iba a funcionar, pero los avances decisivos a veces sí ocurren.
El auge actual del machine learning también es, en sí mismo, el resurgimiento de técnicas que en algún momento se habían descartado, y las personas que siguieron insistiendo encontraron la forma de hacerlas funcionar.
Hace algunos años trabajé con una consultora que quería meterse en inteligencia artificial, y esa empresa eligió Cyc como plataforma para venderla principalmente a clientes financieros.
Pero no parece que se haya iniciado ni un solo proyecto real, y tampoco había una idea clara de qué se podía vender.
No quiero pensar en Lenat como un estafador, porque parecía una persona sincera y brillante.
Pero sí creo que Cyc fue vendido con una exageración enorme, aunque casi no logró hacer nada útil. El sitio web está lleno de expresiones técnicas, pero después de 40 años de negocio no tiene ni un solo caso de estudio.