Nueva investigación, modelos y conjuntos de datos compartidos de Meta FAIR

• Resumen

  • Meta FAIR publicó sus avances de investigación más recientes y presentó varios modelos, incluyendo Meta Motivo para el control del comportamiento de agentes virtuales y Meta Video Seal para el marcado de agua en video.
  • Estas investigaciones buscan impulsar el avance de la inteligencia de las máquinas y reflejan la intención de democratizar el acceso a tecnologías que podrían transformar de forma innovadora la interacción con el mundo físico.
  • La investigación publicada se enfoca en mejorar las capacidades de los agentes, la robustez y la seguridad, así como en innovaciones de arquitectura para que los modelos puedan aprender nueva información de manera efectiva.

• Meta Motivo

  • Meta Motivo es el primer modelo basado en comportamiento para controlar el movimiento de agentes humanoides virtuales, diseñado para ejecutar tareas complejas.
  • El modelo utiliza aprendizaje por refuerzo no supervisado para aprender comportamientos similares a los humanos y puede resolver diversas tareas de control de cuerpo completo sin entrenamiento adicional.
  • Muestra una alta robustez ante cambios en el entorno y podría contribuir al desarrollo de agentes plenamente incorporados en el metaverso.

• Meta Video Seal

  • Meta Video Seal es un framework integral para el marcado de agua en video que añade marcas de agua capaces de rastrear el origen de un video.
  • El modelo es resistente a la edición de video y a los algoritmos de compresión, y permite que la comunidad de investigación integre capacidades de watermarking.
  • A través de un leaderboard llamado Meta Omni Seal Bench, los investigadores pueden probar y añadir sus propios trabajos.

• Flow Matching

  • Flow Matching es un paradigma generativo para distintas modalidades como imágenes, video y audio, que mejora el rendimiento y la eficiencia.
  • Este método facilita la generalización sobre datos complejos y permite que la comunidad de investigación lo aproveche en sus propios proyectos generativos.

• Meta Explore Theory-of-Mind

  • Meta Explore Theory-of-Mind contribuye a evaluar y mejorar el rendimiento de los modelos de lenguaje a gran escala mediante la generación de diversos datos de razonamiento ToM.
  • Este framework puede usarse para evaluar el rendimiento de los LLM, reforzar escenarios orientados a objetivos y recopilar conjuntos de datos interactivos.

• Meta Large Concept Models

  • Meta Large Concept Models propone un nuevo paradigma de entrenamiento para el modelado del lenguaje, separando las representaciones lingüísticas mediante predicción de conceptos.
  • Este modelo muestra un rendimiento superior al de LLM recientes en tareas de resumen y ofrece una sólida generalización zero-shot para lenguas desconocidas.

• Meta Dynamic Byte Latent Transformer

  • Dynamic Byte Latent Transformer es un modelo sin tokenizador que mejora el rendimiento en secuencias de texto poco frecuentes.
  • Este modelo contribuye a mejorar el razonamiento en diversos dominios y destaca en el manejo de secuencias raras.

• Meta Memory Layers

  • Meta Memory Layers presenta una forma de ampliar las capas de memoria para aumentar la factualidad.
  • Este método permite una expansión eficiente de arquitecturas de memoria dispersa y mejora el rendimiento en benchmarks generales de factualidad.

• Meta Image Diversity Modeling

  • Se está llevando a cabo investigación para el desarrollo seguro de modelos de generación de imágenes, y se publicaron herramientas de evaluación para modelos de generación de texto a imagen.
  • En colaboración con expertos externos, se realiza investigación para mejorar la responsabilidad en el modelado de diversidad de imágenes.

• Meta CLIP 1.2

  • Meta CLIP 1.2 marca un hito importante en el desarrollo de encoders visión-lenguaje y contribuye a mapear con precisión el significado entre imágenes y lenguaje.
  • Se publicaron algoritmos de datos y métodos de entrenamiento para que investigadores y desarrolladores puedan seguir avanzando en la comprensión visión-lenguaje.

[GN⁺]

Opiniones de Hacker News

• En Meta se están logrando varias innovaciones tecnológicas. En particular, las tecnologías relacionadas con los LLM son interesantes.

  • Se incluyen modelos conceptuales a gran escala, transformadores latentes dinámicos a nivel de bytes y capas de memoria dispersa.
  • Se dice que cada una de estas tecnologías mejora la calidad y la eficiencia.
  • Da curiosidad ver cuánto mejora la calidad/eficiencia cuando se combinan todas las tecnologías.
  • Podrían aplicarse en Llama 4.

• Hubo oportunidad de escuchar una charla de Ross Taylor, ex empleado de Meta, en el encuentro AI Engineer London.

  • Se habían pasado por alto muchos estudios de Meta sobre razonamiento y teoría de la mente.

• Probar el primer demo es muy divertido.

  • El objetivo es hacer que el modelo haga moonwalk.
  • Se proporciona un ejemplo del código que se intentó.

• "Meta Explore Theory of Mind" resulta aún más interesante.

  • Hace un mes hubo un hilo donde se discutió el concepto relacionado.

• Viendo la situación financiera de Meta, invertir millones de dólares en especialistas de IA no representa una gran carga.

• Se espera con entusiasmo el éxito de Dynamic Byte Latent Transformers.

  • Se espera el fin de los tokenizadores.
  • La jerarquía está compuesta solo por dos niveles.
  • Acumular más niveles podría ser la dirección de la investigación.

• Cada vez que se limpia texto, uno se arrepiente de no haber entrenado un autoencoder denoising a nivel de bytes.

• El "Video Seal" de Meta es una herramienta digital que enfatiza la confiabilidad.

  • Se describe como una herramienta potente para rastrear contenido incluso en el entorno de internet.

• Da curiosidad cómo agregar voluntariamente marcas de agua a videos de IA ayuda a la seguridad de la IA.

• Meta está contribuyendo a que la IA no sea propietaria.