Introducción
Este año, seis artículos recibieron el premio a artículos destacados. El proceso de selección fue el siguiente.
Primero, los artículos pasaron por un filtrado previo y se seleccionaron 32 como posibles ganadores. En este proceso, se eligieron los artículos con puntajes promedio más altos y los recomendados por el comité del programa. Como resultado, este conjunto incluía artículos que cubrían 16 temas tratados en las sesiones de presentación oral. Estos artículos fueron entregados al comité de premios a artículos destacados.
El comité consideró estos artículos y seleccionó a los ganadores según su claridad excepcional, profundidad, creatividad e impacto duradero.
Por supuesto, no existe un proceso perfecto para elegir a los artículos ganadores, pero creemos que la comunidad de ICML reconocerá las contribuciones sumamente sólidas de estos trabajos.
- Comité de premios a artículos destacados: Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang
Los ganadores son los siguientes (en orden de ID del artículo):
-
D-Adaptation mediante aprendizaje sin tasa de aprendizaje (Learning-Rate-Free Learning by D-Adaptation)
Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
https://openreview.net/forum?id=GXZ6cT5cvY
Este artículo presenta un enfoque interesante para abordar el desafío de obtener cotas óptimas sin tasa de aprendizaje para la optimización convexa estocástica no suave. Los autores proponen un método novedoso para optimizar estos problemas superando las limitaciones de la selección tradicional de la tasa de aprendizaje. Este trabajo aporta una contribución valiosa y práctica al campo de la optimización. -
Una marca de agua para modelos de lenguaje grandes (A Watermark for Large Language Models)
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
https://openreview.net/forum?id=aX8ig9X2a7
Este artículo propone una forma de aplicar una marca de agua a la salida de modelos de lenguaje grandes, es decir, de incrustar en el texto generado una señal imperceptible para las personas pero detectable algorítmicamente. La marca de agua puede generarse sin volver a entrenar el modelo de lenguaje y puede detectarse sin acceso a la API ni a los parámetros. El artículo también propone una prueba estadística con un valor p interpretable para detectar la marca de agua y presenta un marco de teoría de la información para analizar su sensibilidad. El método propuesto es simple e innovador, y presenta un análisis teórico exhaustivo junto con experimentos sólidos. Dado el importante desafío que supone detectar y auditar texto sintético generado por LLM, este artículo tiene potencial para tener un impacto importante en la comunidad. -
Generalización sobre lo no visto, razonamiento lógico y currículo por grado (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
https://openreview.net/forum?id=3dqwXb1te4
Este trabajo ofrece un avance importante en el aprendizaje de funciones booleanas, en particular para el escenario de generalización sobre lo no visto (GOTU). Se trata de un problema desafiante que plantea la cuestión de la generalización fuera de distribución. El artículo aborda este tema crucial en profundidad y presenta un enfoque bien estructurado respaldado por análisis teórico y experimentos extensos. Esta investigación mejora la comprensión teórica del aprendizaje de funciones booleanas y muestra cómo aplicarla en algoritmos reales. -
Diseño de estrategias de exploración-explotación usando la razón de información algorítmica (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
https://openreview.net/forum?id=tRhQsHnoFw
Este artículo aborda el problema muy general de diseñar estrategias para bandidos y otras formas de toma de decisiones secuencial. Propone una manera de acotar el regret de cualquier estrategia usando una nueva cantidad llamada razón de información algorítmica, y deriva cómo optimizar esa cota. Esta cota es más ajustada que cantidades previas similares basadas en teoría de la información, y los métodos funcionan bien tanto en entornos de bandidos estocásticos como adversariales, alcanzando el mejor desempeño en todos los escenarios. Un aspecto especialmente interesante es que este artículo sugiere la posibilidad de abrir toda una nueva línea de estrategias de exploración-explotación más allá de Thompson Sampling y UCB, bien conocidos en el contexto de bandidos. La extensión de este principio al aprendizaje por refuerzo es muy prometedora. Este artículo recibió un apoyo sólidamente consistente por parte de revisores expertos.
Material de referencia
Este es el sitio web oficial de ICML 2023. Allí se pueden consultar diversos artículos y trabajos premiados:
https://icml.cc/Conferences/2023
Esta es una plataforma donde se pueden consultar reseñas y discusiones sobre los artículos. A través de los enlaces de cada trabajo se puede ver más detalle y debate:
https://openreview.net/
- Este texto es una descripción generada automáticamente con GPT-4 y puede contener errores.
- Si encuentras información incorrecta, te agradeceremos que lo indiques en los comentarios.
1 comentarios
Leer más