Tecnología de inteligencia artificial probabilística

Inteligencia artificial probabilística

• La inteligencia artificial se refiere a la ciencia e ingeniería de sistemas artificiales capaces de realizar tareas que requieren inteligencia humana. En los últimos años ha habido avances interesantes en enfoques de aprendizaje centrados en datos y basados en el aprendizaje, y el aprendizaje automático y el aprendizaje profundo han hecho posible nuevas formas en que los sistemas computacionales perciben el mundo. El aprendizaje por refuerzo ha logrado avances decisivos en juegos complejos como el Go y en tareas de robótica.

• Un aspecto central de la inteligencia es no solo hacer predicciones, sino también comprender la incertidumbre de esas predicciones y tomarla en cuenta al tomar decisiones. Este artículo trata sobre la "inteligencia artificial probabilística".

Enfoque probabilístico

• La primera parte aborda el enfoque probabilístico del aprendizaje automático. Se analiza la diferencia entre la incertidumbre "epistémica" causada por la falta de datos y la incertidumbre "aleatoria", que surge, por ejemplo, de observaciones y resultados con ruido. Se discuten enfoques concretos para la inferencia probabilística y enfoques modernos para una inferencia aproximada eficiente.

Consideración de la incertidumbre en tareas de decisión secuencial

• La segunda parte trata sobre cómo considerar la incertidumbre en tareas de decisión secuencial. Se examinan el aprendizaje activo y la optimización bayesiana, que son enfoques para recopilar datos proponiendo experimentos informativos con el fin de reducir la incertidumbre epistémica. Se consideran el aprendizaje por refuerzo y los enfoques modernos de deep RL que usan aproximación funcional con redes neuronales. Se discuten enfoques modernos de RL basado en modelos, que aprovechan la incertidumbre epistémica y aleatoria para guiar la exploración y considerar la seguridad.

[GN⁺]

Comentarios de Hacker News

• El texto tiene excelentes diagramas explicativos y parece ofrecer una visión general de alta calidad del aprendizaje automático desde la perspectiva de la probabilidad

  • Hace poco me impresionaron mucho el libro de texto gratuito de Zhao, "Mathematical Foundation of Reinforcement Learning", y sus clases en YouTube
  • Si no tienes mucho tiempo, vale la pena al menos revisar los diagramas de resumen de Zhao. Son un buen mapa conceptual de todo el campo
  • Y también recomiendo ver el video introductorio

• Encontré este material hace unos días y buscaba una excusa para revisarlo en serio, porque Andreas Krause ha hecho trabajo profundo e interesante sobre Gaussian Processes y Bandits

• La realidad existencial es una distribución de potenciales, no un arreglo de estados

  • El potencial existe, y la probabilidad es la descripción matemática de esa distribución. Toda propiedad es una dimensión (vector)
  • El estado es solo una medición instantánea de la resolución. Los potenciales interactúan mediante interferencia constructiva y destructiva
  • La interferencia constructiva y destructiva se resuelve como el estado del "ahora" en una medición instantánea

• Pregunta sobre si un LLM (es decir, una red neuronal) puede decir la probabilidad de la respuesta que acaba de soltar

  • Hace mucho estudié estas cosas en la universidad e hice un intérprete de Prolog con probabilidades y coeficientes de confianza para cada término

• Creo que se necesita una GUI para democratizar la interpretabilidad de los modelos y permitir que incluso los gamers la exploren

  • Básicamente, sería entrenar otro modelo que transforme el LLM a una forma 3D y lo coloque en un mundo 3D comprensible para humanos
  • Como ejemplo simple, representar el LLM como un campo verde y objetos, con un humano como único agente

• Creo que los Gaussian Processes con el kernel adecuado pueden ser muy potentes incluso con unos pocos puntos de datos y un conjunto pequeño de parámetros

  • Los usé en una tarea de visión por computadora como un proceso no lineal predecible para ajustar la entrada, y los resultados fueron muy buenos

• Parece coincidir en parte con la mejor referencia sobre el tema. Se menciona "An Introduction to Statistical Learning", de Gareth James y otros

  • Me pregunto si este material será más accesible, y los ejemplos en R/Python serían de ayuda

• Kevin Murphy está renombrando su serie Probabilistic Machine Learning

• Gemini 2.0 Experimental 02-05 vio esto con "solo" 107K tokens

  • Es útil si necesitas ayuda para desglosarlo

• La Laplace Approximation es una forma "rápida y simple" de convertir una distribución de probabilidad compleja en una Gaussian simple (curva de campana)

  • Funciona encontrando el punto máximo y ajustando la curvatura en ese punto
  • Es rápida y fácil, pero puede ser muy inexacta y dar exceso de confianza si la distribución real no se parece a una curva de campana

• Tomé este curso en ETH Zurich y es una de mis clases favoritas

  • Me impresionó especialmente cómo cuantifica la incertidumbre y cómo construye los bloques iniciales del aprendizaje por refuerzo
  • Es una excelente lectura para científicos de datos e ingenieros de ML. Este documento son apuntes de clase