Los efectos secundarios de la eficiencia excesiva (2022)

Una eficiencia demasiado alta empeora todo: sobreajuste y la versión fuerte de la ley de Goodhart

Cuando la eficiencia aumenta, de forma paradójica los resultados pueden empeorar. Esto es cierto en casi todas partes. A este fenómeno lo llamaremos la versión fuerte de la ley de Goodhart. Por ejemplo, el seguimiento centralizado del rendimiento estudiantil mediante exámenes estandarizados parece una buena idea, pero puede hacer que las escuelas se concentren en preparar para el examen y empeorar los resultados educativos en general. Existen ejemplos similares en muchos campos, como la política, la economía, la salud y la ciencia.

Sobreajuste y ley de Goodhart

• Sobreajuste: en machine learning, como no se puede apuntar directamente al objetivo, se entrena el modelo usando un proxy similar. Al principio, a medida que mejora el proxy, también mejora el objetivo, pero si se sigue optimizando, aunque el proxy siga mejorando, el objetivo deja de mejorar. A esto se le llama sobreajuste.
• Ley de Goodhart: cuando una medida se convierte en objetivo, deja de ser una buena medida. Esto aplica no solo en economía, sino también en muchos otros campos.

La versión fuerte de la ley de Goodhart: cuando nos volvemos demasiado eficientes, empeora aquello que nos importa

• Si se sigue optimizando un objetivo proxy, el objetivo real puede empeorar. Este es un fenómeno muy común en machine learning.
• Versión fuerte de la ley de Goodhart: cuando una medida se convierte en objetivo y se optimiza de manera efectiva, empeora aquello que se intentaba medir.

El aumento de la eficiencia y el sobreajuste están por todas partes

• Cuando la eficiencia aumenta, puede producir resultados positivos o negativos en toda la sociedad.
• Ejemplos:
  • Objetivo: educar bien a los niños
    • Proxy: puntajes de exámenes estandarizados
    • Resultado: al enfocarse solo en preparar el examen, baja la calidad real de la educación
  • Objetivo: avance rápido de la ciencia
    • Proxy: bonos según la cantidad de publicaciones
    • Resultado: aumento en la publicación de resultados de investigación inexactos
  • Objetivo: una población sana
    • Proxy: acceso a alimentos nutritivos
    • Resultado: problema de obesidad

Cómo mitigar el sobreajuste y la versión fuerte de la ley de Goodhart

• Alinear mejor los objetivos proxy con los resultados deseados: en machine learning, se recopilan ejemplos de entrenamiento similares a la situación de prueba. En los sistemas sociales, se cambian leyes, incentivos y normas sociales para que encajen mejor con el objetivo.
• Agregar penalizaciones de regularización: en machine learning, se mantiene pequeño el tamaño de los parámetros. En los sistemas sociales, se reduce la complejidad o se imponen costos adicionales.
• Inyectar ruido en el sistema: en machine learning, se agrega ruido aleatorio a las entradas, los parámetros o los estados internos. En los sistemas sociales, se añaden elementos aleatorios para reducir la predictibilidad.
• Detención temprana: en machine learning, se detiene el entrenamiento cuando la pérdida de validación empieza a empeorar. En los sistemas sociales, se limita el tiempo de toma de decisiones o se detiene la actividad del mercado.
• Limitar capacidad/capacidad: en machine learning, se hace el modelo más pequeño para evitar el sobreajuste. En los sistemas sociales, se limita la capacidad de organizaciones o agentes.
• Aumentar capacidad/capacidad: en machine learning, se hace el modelo muy grande para evitar el sobreajuste. En los sistemas sociales, se incrementa mucho la capacidad para eliminar el trade-off entre objetivo y proxy.

Reflexión final

La versión fuerte de la ley de Goodhart es la causa fundamental de mis temores personales sobre la IA. La IA puede aumentar la eficiencia en casi cualquier tarea. Hay muchas oportunidades de investigación para resolver este problema. Si los sistemas sociales colapsan debido a la versión fuerte de la ley de Goodhart, se vuelve difícil tomar acciones racionales para solucionarlo. Ponerle nombre a este fenómeno y entenderlo mejor será de ayuda.

Resumen de GN⁺

• La versión fuerte de la ley de Goodhart explica que, cuando la eficiencia aumenta, el objetivo puede empeorar.
• Es similar al fenómeno del sobreajuste en machine learning y puede aplicarse a muchos campos.
• El problema puede mitigarse alineando mejor los objetivos proxy con los objetivos reales, agregando penalizaciones de regularización e inyectando ruido en el sistema.
• El aumento de eficiencia de la IA puede causar diversos efectos secundarios, y hace falta investigación para resolverlos.
• Es importante entender y responder a la versión fuerte de la ley de Goodhart para evitar que los sistemas sociales colapsen.

[gguimoon]

He oído que el examen de admisión universitaria de nuestro país se ha desviado de su propósito original de medir la capacidad matemática y se ha transformado en un sistema que solo busca hacer más eficiente la distribución de los puntajes de corte por niveles. Esto parece ser un ejemplo que no logra escapar de la ley de Goodhart.

[GN⁺]

Opiniones de Hacker News

• Jascha es un destacado investigador de ML que trabajó en Google Brain y ahora está en Anthropic

  • Es famoso por su investigación que explicó matemáticamente la propagación de señales en redes neuronales profundas
  • Logró la convergencia de modelos transformer muy profundos mediante conceptos como "dynamical isometry"
  • Su intuición sobre optimización va más allá del ML y se extiende a la sociedad moderna en general
  • Su mensaje va más allá del trasfondo técnico y es un llamado humano y empático a la acción
  • Propone conexiones matemáticas entre el problema del sobreajuste y otros campos como economía, ciencia política y administración

• La ley de Goodhart plantea que cuando una medida se convierte en objetivo, deja de ser una buena medida

  • El problema no está solo en la medición, sino también en el comportamiento humano
  • Los humanos intentan explotar los sistemas de control establecidos
  • La ley de Campbell explica esto mejor
  • Medidas de mitigación como la regularización o la detención temprana pueden ser indirectas o generar nuevos problemas

• En Suecia se ha vuelto un problema social durante los últimos 20 años

  • La eficiencia médica se mide por el "trabajo completado" de los médicos de cabecera
  • Está optimizado para atender casos simples, y el contacto personal ha desaparecido
  • El sistema ferroviario fue privatizado, pero sigue sufriendo problemas de retrasos

• También existe una ley similar en fisiología del ejercicio

  • Las metodologías generales de entrenamiento ofrecen métricas más significativas
  • En atletas especializados, la mejora del rendimiento no representa una mejora de la condición física general
  • En el deporte existe la analogía entre "condición física base" y "condición física pico"

• También hay una ley relacionada en teoría de colas

  • Cuando la utilización se acerca al 100%, el tiempo de espera aumenta hasta el infinito
  • Se necesita holgura

• No le gusta enfocarse en el PIB

  • Encuestas trimestrales sobre satisfacción con la vida y optimismo serían mejores indicadores
  • El PIB refleja actividad económica, pero no calidad de vida

• Encontró un ejemplo de esta ley en una ferretería local

  • La instalación de jaulas antirrobo empeoró la experiencia del cliente
  • Las decisiones basadas en datos no siempre conducen al mejor resultado

• Tuvo una experiencia similar al visitar restaurantes de cadena

  • Todo está tan optimizado que se siente mecánico y artificial
  • El enfoque está en generar ganancias, no en la experiencia del cliente

• Recordó el nombre del autor

  • Inventó el primer modelo generativo de difusión en 2015

• El efecto existe, pero los ejemplos no son precisos

  • El énfasis excesivo en el rendimiento académico es distinto del propósito de la educación
  • La obesidad no es resultado de priorizar alimentos nutritivos
  • El aumento de la desigualdad no tiene relación con distribuir recursos según necesidades sociales
  • La falta de estímulos provoca adicción sensorial o juego
  • Ampliar la educación pública, gravar el azúcar y redistribuir la riqueza son soluciones más sencillas