Resumen de un sistema de visión por computadora para identificar jugadores de baloncesto

🏀 Resumen de un sistema de visión por computadora para identificar jugadores de baloncesto

Esta entrada de blog explica en detalle el proceso de construir un sistema complejo que utiliza tecnología de visión por computadora para detectar, rastrear e identificar jugadores en video de partidos de baloncesto. El sistema combina varios modelos modernos de IA en forma de pipeline para resolver problemas difíciles como el movimiento rápido de los jugadores, las oclusiones por contacto físico, los uniformes similares y el movimiento de cámara.

---

Tecnologías principales y pipeline

Este sistema identifica a los jugadores mediante un proceso sofisticado de varias etapas.

1. Detección de objetos (Object Detection):

   • Usa el modelo RF-DETR para localizar con precisión la posición de objetos clave dentro del video, como jugadores, números de camiseta, balón y aro.

2. Seguimiento de jugadores (Player Tracking):

   • Utiliza SAM2 (Segment Anything Model 2) para rastrear a los jugadores en cada fotograma. Gracias a la función de memoria interna de SAM2, puede reconocer y mantener el seguimiento del mismo jugador incluso cuando queda oculto momentáneamente por otros jugadores u objetos.

3. Separación por equipos (Team Clustering):

   • Usa un enfoque de clustering no supervisado para distinguir a los dos equipos según el color del uniforme.
   • El modelo SigLIP convierte las características visuales de cada jugador en vectores de embeddings.
   • UMAP reduce los datos de embeddings de alta dimensión a una dimensión más baja.
   • Aplica el algoritmo de clustering K-means para dividir a los jugadores en dos grupos (equipos).

4. Identificación de jugadores (Player Identification):

   • Reconoce los números de camiseta para identificar finalmente a cada jugador.
   • Al principio se usó SmolVLM para OCR (reconocimiento óptico de caracteres), pero un modelo ResNet ajustado específicamente para clasificar números de camiseta mostró mayor precisión y fue el elegido al final.
   • Usa una métrica llamada IoS (Intersection over Smaller Area) para asegurar que el número de camiseta detectado se asocie correctamente con la máscara del jugador correspondiente.
   • Para aumentar la confiabilidad del sistema, el número de un jugador solo se confirma cuando la misma predicción se repite varias veces.

---

Conclusión y código fuente

Este sistema es un caso exitoso que muestra el potencial de resolver problemas complejos de análisis deportivo del mundo real mediante la integración creativa de varios modelos de visión por computadora de vanguardia. Sin embargo, debido a la complejidad del procesamiento, no funciona en tiempo real.

• Código fuente: El código completo del proyecto puede revisarse en el siguiente repositorio de GitHub.
  • https://github.com/roboflow/basketball-player-identification

[shakespeares]

No se puede agregar el enlace al código fuente.