Meta AI anuncia CoTracker, un modelo que rastrea todos los puntos (píxeles) en un video

• Meta AI anunció CoTracker, un nuevo modelo para rastrear puntos (píxeles) en videos
• CoTracker tiene como objetivo rastrear múltiples puntos a lo largo de todo el video considerando las correlaciones entre los puntos
• La arquitectura se basa en ideas de la literatura sobre flujo óptico y tracking, y utiliza una red transformer con capas de atención especializadas
• Usa un enfoque de ventana deslizante, por lo que puede aplicarse a videos largos, y ha demostrado ser eficiente y más preciso en comparación con otros métodos de tracking de puntos
• Este modelo genera trayectorias más limpias y lineales, especialmente incluso cuando hay oclusiones
• CoTracker muestra un rendimiento superior al de otras investigaciones como TAPIR y Multi-Flow Tracking en términos de precisión
• Representa un avance importante al ofrecer a los ingenieros de software una nueva herramienta potente para rastrear puntos en videos, mejorando el rendimiento y la precisión

[kuroneko]

El demo se ve bonito. Pensando en lo que se necesita en VR, parece que también podría haber cierta alineación en el negocio...

[GN⁺]

Comentarios de Hacker News

• El ángulo de negocio de la división de investigación de Meta no está claro, y no se entiende su relación con el negocio principal.
• Parece que la experiencia de Facebook con el píxel de seguimiento contribuyó al éxito del modelo CoTracker de Meta.
• Meta parece estar enfocada en hacer que la RV sea increíblemente convincente y en crear sistemas de IA capaces de entender el mundo en tiempo real.
• Se proporcionan enlaces al paper, GitHub y demo de CoTracker.
• Google tiene su propia versión de seguimiento de puntos llamada Tapir, con licencia Apache-2.0.
• El proceso de investigación en una empresa de producto es diferente al de una empresa centrada en ingeniería.
• La comparación entre CoTracker y los algoritmos de estimación de movimiento de los códecs de video plantea dudas.
• Los modelos de IA de código abierto como CoTracker podrían llevar a las startups a un mercado altamente competitivo y de márgenes bajos.
• Se mencionó a figuras influyentes como Andrew Zisserman, Hartley y Poggio.
• CoTracker podría tener futuras aplicaciones en AR.

[xguru]

El ángulo de negocio de la división de investigación de Meta AI no es claro, y no se entiende su relación con el negocio principal.

Este es justamente el comentario clave. La investigación está bien, pero hay muchas partes donde no queda muy clara su alineación con el negocio.
Se siente un poco como ver al Google de antes..