Edición de video open source sin entrenamiento

Se comparten como open source tanto el método como el código para permitir video editing libre y sin entrenamiento (training-free).🌱

• Video Editing: se refiere a generar un video agregando al video de entrada lo que el usuario desea mediante un text prompt. (Es decir, la consistencia entre el video de entrada y el de salida es importante).
• Training-Free Video Editing: sin entrenamiento, durante el proceso de inference se manipula el latent vector dentro del modelo de diffusion para guiar la generación del video según el text prompt que quiere el usuario.🐬

Se creó código para hacer video editing basándose en el modelo WAN2.1-T2V-1.3B, que recientemente está ganando atención en video generation.🔮

• Se aplicaron a WAN2.1 métodos training-free que se usaban en Image Editing.
  • FlowEdit & FlowAlign

Además, el autor propone un método llamado WANAlign2.1🌠.🛠️

• En el attention map, solo se enmascaran las áreas a editar, un método que mejora aún más la consistencia con el video de entrada.

🌟🌟Úsenlo libremente, y si les pareció interesante, denle una estrella🌟🌟!!