Richard Sutton y Andrew Barto reciben el Premio Turing 2024

• ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology

• Andrew Barto and Richard Sutton Recognized as Pioneers of Reinforcement Learning

  • ACM anunció a Andrew G. Barto y Richard S. Sutton como ganadores del ACM A.M. Turing Award 2024. Ambos desarrollaron los fundamentos conceptuales y algorítmicos del aprendizaje por refuerzo.
  • Barto es profesor emérito de Information and Computer Sciences en la University of Massachusetts Amherst, y Sutton actualmente es profesor de Computer Science en la University of Alberta.
  • El Turing Award es conocido como el Nobel de la computación y otorga un premio de 1 millón de dólares con apoyo financiero de Google.

• What is Reinforcement Learning?

  • El campo de la inteligencia artificial (AI) se enfoca principalmente en construir agentes que perciben y actúan. El aprendizaje por refuerzo (RL) es el proceso mediante el cual estos agentes aprenden mejores acciones a través de señales de recompensa.
  • Los fundamentos del aprendizaje por refuerzo comenzaron a inicios de la década de 1980, cuando Barto y Sutton formalizaron el aprendizaje por refuerzo como un marco general de problemas a partir de observaciones en psicología.
  • Desarrollaron algoritmos de aprendizaje por refuerzo utilizando fundamentos matemáticos basados en los procesos de decisión de Markov (MDP).

• Principales contribuciones

  • Barto y Sutton desarrollaron los enfoques algorítmicos básicos del aprendizaje por refuerzo, en particular el aprendizaje por diferencia temporal, los métodos de gradiente de política y la representación de funciones de aprendizaje con redes neuronales.
  • Su libro de texto "Reinforcement Learning: An Introduction" sigue siendo la referencia estándar del campo y ha sido citado más de 75,000 veces.

• Aplicaciones prácticas del aprendizaje por refuerzo

  • En los últimos 15 años, el aprendizaje por refuerzo ha logrado grandes avances al combinarse con algoritmos de aprendizaje profundo. Ejemplos representativos son la victoria de AlphaGo en go y el desarrollo de ChatGPT.
  • El aprendizaje por refuerzo ha tenido éxito en diversos campos, como el aprendizaje de habilidades motoras en robótica, el control de congestión de red, el diseño de chips y la optimización de publicidad en internet.

• Inspiración neurocientífica del aprendizaje por refuerzo

  • Investigaciones recientes muestran que ciertos algoritmos de aprendizaje por refuerzo desarrollados en AI son los que mejor explican el sistema de dopamina del cerebro humano.

• Explicación sobre el ACM A.M. Turing Award

  • El Turing Award se otorga desde 1966 para honrar a científicos e ingenieros en computación que han impulsado la industria de la tecnología de la información.

• Ganadores del 2024 ACM A.M. Turing Award

  • Andrew Barto es profesor emérito de Information and Computer Sciences en la University of Massachusetts Amherst y ha recibido diversos premios.
  • Richard Sutton es profesor de Computer Science en la University of Alberta, ha trabajado en varias instituciones de investigación y ha recibido múltiples premios.

[GN⁺]

Comentarios de Hacker News

• Esto está muy genial. Mi esposa y yo compramos la casa de Andy Barto y su esposa

  • Hubo una guerra de ofertas durante la compra
  • Como sabía que él era matemático, hice una oferta con un número primo
  • De verdad me alegra ver que se reconozcan sus logros

• ¡Genial! Es alguien muy merecedor. Ofrecen gratis en PDF las dos ediciones de su libro de texto sobre RL

  • He trabajado como profesional de IA desde 1982, y RL fue personalmente un tema difícil de dominar
  • El libro de Sutton/Barto, el curso de RL en Coursera del profesor White y otros recursos me ayudaron mucho: lo recomiendo
  • Los programas de ejemplo de su libro están disponibles en Common Lisp y Python

• Es un buen momento para volver a leer The Bitter Lesson

• Sutton es un sucesionista humano y no le importa si toda la humanidad muere. No es alguien confiable ni una persona a la que haya que felicitar

• Habría sido mejor dárselo a físicos

• Sorprende que Sutton viva en Edmonton, Canadá, en lugar de Estados Unidos

  • Eso muestra que valora la verdad y la integridad más que el honor y el dinero

• Son excelentes, pero lamentablemente el libro de IA de Sutton y Barto es realmente malo

  • Grokking Machine Learning de Trask y unos meses implementando papers de ML serían mejores

• Usé su libro de RL en una clase que impartí

  • Está bellamente escrito y se ofrece gratis
  • A menudo me concentraba tanto en la belleza de la prosa que terminaba perdiéndome el contenido real

• Felicito sinceramente a Andrew Barto y Richard Sutton por recibir el Turing Award

  • Cuando era estudiante, su libro de texto Reinforcement Learning: An Introduction fue lo que me abrió la puerta a este campo
  • El capítulo 6 sobre 'Temporal Difference Learning' cambió de forma fundamental mi manera de pensar sobre la toma de decisiones secuencial
  • Sigue siendo un clásico que recomiendo mucho leer incluso hoy

• Esto tardó mucho en llegar. Llevaron la idea de principio a fin y la expandieron hasta convertirla en todo un campo, en lugar de dejarla como un subcapítulo de un libro de programación dinámica

  • Ojalá más juegos usaran RL de verdad —ahí fue donde empezó todo—, sería realmente genial