σ-GPTs: un nuevo enfoque para modelos autorregresivos

σ-GPTs: un nuevo enfoque para modelos autorregresivos

Resumen

• Los modelos autorregresivos (familia GPT) normalmente generan secuencias en un orden fijo (por lo general, de izquierda a derecha).
• Este artículo muestra que, al agregar codificación posicional a la salida, es posible ajustar ese orden dinámicamente para cada muestra.
• Esto permite muestrear y condicionar subconjuntos arbitrarios de tokens, y según la estrategia de rechazo, se pueden muestrear dinámicamente varios tokens a la vez.
• Como resultado, se puede reducir el número de evaluaciones del modelo de forma sublineal.

Puntos principales

• Adición de codificación posicional: al agregar codificación posicional a la salida, se puede ajustar dinámicamente el orden de generación de la secuencia.
• Evaluación en diversos dominios: se realizaron evaluaciones en varios dominios, como modelado de lenguaje, resolución de trayectorias y predicción de velocidad vertical de aeronaves.
• Mayor eficiencia: se logró reducir en una dimensión la cantidad de pasos necesarios para la generación.

La opinión de GN⁺

• Innovación técnica: al salir del orden fijo tradicional y permitir el ajuste dinámico del orden, mejora notablemente la flexibilidad y la eficiencia del modelo.
• Aplicación práctica: los resultados de evaluación en diversos dominios sugieren que este enfoque tiene un alto potencial de aplicación práctica.
• Mejora del rendimiento: mediante evaluaciones sublineales del modelo, es posible mejorar significativamente el rendimiento.
• Dirección para futuras investigaciones: existe la posibilidad de aplicar este enfoque a otros tipos de modelos o a problemas más complejos.
• Mirada crítica: el ajuste dinámico del orden podría no garantizar siempre los mejores resultados en todas las situaciones. Se necesitan más investigaciones y validación.

[GN⁺]

Comentarios de Hacker News

• Primer comentario: El autor entrena el modelo mezclando aleatoriamente los tokens de entrada y agregando dos codificaciones posicionales. Con esta modificación simple, el modelo puede predecir tokens en paralelo sin depender del orden.
• Segundo comentario: Esta investigación usa un enfoque similar al del artículo de Taylorformer. Ayuda a predecir procesos continuos como los datos de series temporales.
• Tercer comentario: Es una lástima que no se cite la investigación previa. Este trabajo ya fue presentado en ICML y tiene alrededor de 250 citas.
• Cuarto comentario: Este concepto parece similar a la dinámica de los modelos de generación de imágenes. Parece útil que primero aparezca la idea grande y luego se vayan completando naturalmente los detalles.
• Quinto comentario: Hay un video en Twitter que genera texto. (se proporciona enlace)
• Sexto comentario: Me gusta mucho la capacidad que ofrece este artículo. Parece que permitiría varios experimentos, como generación de JSON o descripciones con una longitud específica.
• Séptimo comentario: Este enfoque parece especialmente útil para la generación de código. La salida actual podría cambiar según lo que se escriba después.
• Octavo comentario: Parece que aplica al transformer de lenguaje la forma de entrenamiento de los vision transformers. Es similar a cómo los modelos de visión dividen una imagen en mosaicos y agregan codificaciones posicionales.
• Noveno comentario: Me pregunto dónde está el código. No terminé de entender la doble posición y el mezclado aleatorio. Es interesante que usen concat en la codificación posicional.
• Décimo comentario: BERT usaba enmascaramiento aleatorio en la secuencia, pero el tiempo sigue siendo secuencial.