- Artículo sobre un nuevo enfoque de modelado con prioridad en el espacio de imagen para la dinamicidad de escenas, desarrollado por investigadores de Google
- El modelo se entrena usando trayectorias de movimiento extraídas de secuencias de video reales que incluyen movimientos oscilatorios naturales
- El modelo usa un proceso de muestreo por difusión ajustado por frecuencia para predecir representaciones de movimiento de largo plazo por píxel en el dominio de Fourier, llamadas texturas neuronales estocásticas de movimiento
- Esta representación puede convertirse en trayectorias de movimiento densas que abarcan todo el video
- El modelo puede usarse en diversas aplicaciones, como convertir imágenes estáticas en videos dinámicos que se repiten de forma fluida o permitir que los usuarios interactúen de manera realista con objetos en fotos reales
- El modelo puede simular la respuesta de la dinamicidad de los objetos ante la excitación del usuario que interactúa
- Es posible reducir o ampliar el movimiento ajustando la amplitud de la textura de movimiento
- Es posible generar video en cámara lenta interpolando la textura de movimiento predicha
- Los investigadores reconocen las contribuciones de Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo y Lucy Chai por su corrección, comentarios y discusiones
- El sitio web usado en la demostración fue tomado de nerfies, y expresan su agradecimiento a Keunhong
Aún no hay comentarios.