Buscar dentro de videos de YouTube con lenguaje natural

• Buscar escenas específicas dentro de un video usando la red neuronal CLIP de OpenAI

→ Buscar imágenes dentro del video como "Road Works", "People crossing the street" y "Fire truck"

Cómo funciona

1. Descargar el video de YouTube

2. Extraer cada fotograma

3. Codificar todos los fotogramas con CLIP

4. Codificar la búsqueda en lenguaje natural con CLIP

5. Encontrar una escena específica usando la búsqueda en lenguaje natural

• Se puede ejecutar directamente como notebook en Google Colab

→ https://colab.research.google.com/github/haltakov/…

[xguru]

En los comentarios, el mismo desarrollador también tiene una búsqueda de imágenes de Unsplash hecha con CLIP; esto también parece muy útil.

• https://github.com/haltakov/natural-language-image-search

• Google Colab: https://colab.research.google.com/github/haltakov/…

Te encuentra la foto con el contenido que quieres entre los 2 millones de fotos subidas a Unsplash.

• "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"