Monitorear cámaras de seguridad con IA local

• Frigate NVR proporciona una solución de detección de objetos basada en IA local para cámaras de seguridad instaladas en el hogar o la oficina
• Soporta la integración con plataformas de automatización populares como Home Assistant, OpenHab y NodeRed
• Frigate se integra directamente con el Media Browser de Home Assistant, por lo que puede usarse para transmisiones de cámara inmediatas y automatizaciones
• Al exponer en tiempo real datos de sensores y switches, es posible armar escenarios de alertas y automatizaciones diversos
• Gracias a la interoperabilidad escalable mediante MQTT, es posible construir un hogar inteligente eficiente

---

Funciones principales de Frigate NVR

• Frigate NVR ejecuta inteligencia artificial de detección de objetos de forma local, lo que permite analizar los videos de las cámaras de seguridad sin depender de servicios de nube externos
• Puede conectarse con Home Assistant, OpenHab, NodeRed, y otras plataformas, por lo que se integra fácilmente con distintos sistemas de automatización para hogares inteligentes
• Frigate muestra directamente el video de la cámara en el Media Browser de Home Assistant y ofrece entidades de cámara de baja latencia
• Al exponer los resultados de detección de objetos como datos de sensores y switches en tiempo real, muestra diversas posibilidades de uso, como detección de eventos basada en video, reglas de automatización y configuración de alertas
• Gracias al soporte del protocolo MQTT, tiene la ventaja de poder integrarse de manera escalable con otros sistemas IoT y de automatización

[GN⁺]

Opinión de Hacker News

• Llevo más de dos años operando Frigate y, en términos de velocidad y confiabilidad de detección, la experiencia ha sido claramente mejor que la de cualquier sistema que haya probado. Antes también probé cámaras Ring, Tapo y Eufy Security, pero ahora solo conecto cámaras Tapo a Frigate a través de un stream RTSP. Bloqueé el acceso a internet de esas cámaras, por lo que la privacidad está totalmente protegida. En Eufy Security, cada vez que tocaba una notificación de detección de movimiento me mostraban anuncios de nuevos productos, priorizando la publicidad por encima de mi propia seguridad, así que no me transmitió confianza. Incluso con membresía de pago, tenía problemas para abrir grabaciones de la nube y además guardaba credenciales de acceso como contraseñas sin cifrar. Eso, entre otras cosas, fue una de las razones principales para migrar a una solución self-hosted. Frigate está corriendo con aceleración por hardware en hardware de segunda mano con una GPU RX 550, y la latencia de detección siempre es inferior a 1 segundo. También hice una app propia para enviar capturas de pantalla por Telegram y Pushover usando la API de Frigate y mantuve una operación autónoma durante dos años. En todo ese tiempo sólo tuve que reiniciar el servicio dos veces. Hago túnel desde un VPS al servidor local de casa y lo uso perfectamente desde afuera. De verdad, estoy muy agradecido por este proyecto increíble.

  • Me gustaría saber si lo estás usando integrado con Home Assistant. Por cierto, mi ISP bloquea el acceso al sitio de hacs, así que la integración de HACS no funciona bien. Aun así, si intento instalarlo con wget desde get.hacs.xyz, me sale un error de SSL y se corta la conexión.

  • Si lo tienes desconectado de internet y solo en la red local, y además quieres bloquear cualquier posible canal de retorno, si tienes un método propio compártelo.

  • Me gustaría saber si es posible usar cámaras Eufy junto con Frigate.

  • Estoy intrigado por cómo hiciste para que una cámara Tapo sea bien compatible con Frigate en modo RTSP. Yo, en cuanto conecto una sola cámara al Wi-Fi, la red se vuelve muy inestable. También separé por bandas, un dispositivo por AP, y aun así seguía pasando.

  • Me sorprendió que al principio les hubiera confiado datos de video tan sensibles. Antes me parecían extraños los activistas de GNU, pero ahora no entiendo a mis colegas que ni siquiera usan bloqueadores de anuncios.

• Es uno de mis reclamos habituales. En la primera frase usaste la sigla NVR sin explicar nada. NVR es la abreviatura de Network Video Recorder. Como no todo el mundo tiene experiencia en ese campo, me gustaría que no lo hicieras.

  • Me parece razonable suponer que el visitante sabe qué significa NVR, y además que por el contexto puede inferir qué es Frigate.

  • No estoy de acuerdo. Espero que más del 90% de la gente que busca Frigate sepa qué es NVR. No digo que haya que definir todos los términos, pero NVR es un conocimiento básico si alguien quiere usar ese tipo de productos.

  • En general estoy de acuerdo, pero NVR es una abreviatura muy común también entre consumidores, no solo entre gente de la industria. Si alguien busca una solución de CCTV, casi seguro que se cruza con el término NVR. Si no lo conoce, el propio Network Video Recorder tampoco le diría nada. Frigate justamente reemplaza ese tipo de caja cerrada y rígida (la "caja NVR"), por eso usa esa palabra en el nombre del producto.

  • En las tiendas físicas, casi todo está etiquetado como NVR o NVR Recorder (según mi experiencia). Con solo buscar, ya obtienes una respuesta.

• GPU y TPU no son indispensables. Si tienes pocas cámaras y zonas de detección bien configuradas, es suficiente. Yo uso un substream MJPEG de baja resolución/fps para detección y h264 solo para grabación/visualización. Para inferencia en CPU, OpenVINO es mucho más rápido que TensorFlow por defecto; en una VM de 6 núcleos (Ivy Bridge Xeon), al correr dos cámaras, la CPU usa apenas alrededor del 20%.

• La aceleración de video (la decodificación, no la inferencia de objetos) es un poco inestable, pero después de eso fue la mejor experiencia en una solución de detección de objetos en tiempo real que he tenido. Ya no me despierta más de madrugada un animalito. Además, mantengo suscripción anual para entrenar el modelo de IA con los datos de falsos positivos que yo proporciono. Esto aumentó bastante la precisión.

  • Está bueno que ya no me despierte por animales por la noche, pero también es increíble poder reunir fotos de distintos animales. Se siente como descubrir un mundo que estaba escondido.

  • El problema del driver y software de la Coral AI Board es el típico Google Abandonware(tm): te obliga a una versión antigua de Python y tiene mala compatibilidad con OS y GPU modernos. Es como comprar en 2025 hardware al que le hace falta software de nivel Windows 7.

  • En mi caso la situación va empeorando con el tiempo. Llevo 2-3 años usándolo de forma continua, pero últimamente juguetes infantiles, scooters de jardín o banderas piratas están disparando falsos positivos todo el tiempo. Por privacidad personal no puedo enviar datos de falsos positivos, así que planeo entrenar un modelo yo mismo con los datos acumulados durante mucho tiempo.

  • Pago esa suscripción por varias razones: 1) apoyo al desarrollador, 2) el costo de entrenamiento aparece explícitamente reflejado, 3) puedo conservar los modelos entrenados de forma permanente. Es todo lo contrario que AgentDVR. AgentDVR requiere acceso remoto o notificaciones push, pero yo las resuelvo yo; aun así, AgentDVR te pide suscripción mensual aunque solo quieras acceso por VPN.

• El empaquetado de Frigate impresiona mucho. De forma base, go2rtc o MediaMTX también alcanzan, pero si quieres meter procesamiento de IA no hay una herramienta realmente fácil y unix-like; hay que implementarlo en Python.

  • He usado Motion durante mucho tiempo. Es fácil y flexible en la configuración base. Si necesitas ajustes avanzados, requiere un poco de tuning.

• Si lo que quieres no es procesar en tiempo real un video grabado y, por ejemplo, extraer solo los momentos de un video de 5 horas donde pase un coche por cierta posición o el conductor lleve un celular en la mano, me gustaría saber por dónde empezar o qué framework usar.

  • Recomiendo revisar la documentación y ejemplos de OpenCV. Yo hice reconocimiento facial con el ejemplo de face_recognition. Para autos, etc., hay que entrenar un modelo aparte o aplicar algo como el ejemplo de YOLO para YOLOv3.

  • Si le preguntas eso a un buen AI comercial, probablemente te genere un script de Python en seguida que cargue el video y solo imprima frames donde el conductor lleve un celular en cierto horario.

  • También podría ayudarte la técnica You Only Look Once.

• Se plantea como broma la idea de que esto se invalide si alguien solo sostiene una cartelera gigante diciendo que ignore el sistema de seguridad.

  • Mirando en Github, usan OpenCV y TensorFlow. La detección de movimiento se basa en OpenCV y requiere que una persona se mueva; salvo que se mueva extremadamente despacio, no se la puede evadir. La detección de objetos (TensorFlow) no hace OCR, así que no se puede engañar al sistema leyendo texto. Aun así, al tener una lista limitada de clases detectables, podría evitarse usando disfraces de árbol u otros artefactos similares.

  • Me pregunto si bastaría con ponerse una llamada "scramble suit" o camisetas con patrones diseñados para evadir reconocimiento (scramble suit, adversarial t-shirts).

  • También hay quien usa un disfraz de mapache completo.

  • La arquitectura es de dos etapas: la primera es detección de movimiento con OpenCV y luego reconocimiento de objetos en zonas de interés con distintos modelos según el hardware. Soportan Coral TPU, Halio Accelerator y la mayoría de GPUs (AMD no funciona con iGPU y ROCm). Coral es compatible con edgedet, además de YOLO-NAS, YOLO, D-Fine y RF-DETR. También hay modelos de pago especializados en YOLO-NAS o puedes entrenar uno propio.

  • No es un LLM, sino un modelo de IA "normal" (aunque con un LLM también se podría generar explicación automáticamente).

• Uso Frigate con 5 cámaras IP (3 Hikvision y 2 Amcrest), más 1 USB, y con un Coral TPU USB funciona bien en un i7-6700 antiguo con la CPU en torno al 30%. No es perfecto, pero aun así es utilizable. Los videos de Amcrest se reproducen bien, pero en Hikvision a veces hay que transcodificar por problemas de compatibilidad de códecs. Como no hay una función integrada para exportar grabaciones fuera, aunque hice espejo del directorio de almacenamiento, estructuralmente era difícil hacer backups solo de eventos importantes.

  • Además de detectar personas, me interesa saber si es posible la identificación de personas usando fotos registradas previamente (identified recognition).

• Se destaca que, sin GPU ni TPU, si ajustas bien la cantidad de cámaras y zonas de detección, también es suficiente con CPU. Aquí comparto experiencia con modelos varios (OpenVINO, TensorFlow, etc.).

• Es una pregunta un poco distinta, pero me pregunto por qué aún se siguen instalando cámaras de seguridad que uno mismo monitorea. Hay estudios de psicología que muestran que ese tipo de sistemas en realidad aumenta el estrés y la ansiedad. En la prevención de delitos no ayudan mucho; para investigación policial o evidencia para el seguro parece necesitarse backup fuera del sitio. Aun con mucha CCTV en espacios públicos, los casos en que eso aporta de forma significativa a resolver delitos (por ejemplo, identificar placas de vehículos) son extremadamente pocos.

  • Una ventaja importante de poner una cámara es el control cívico. Después de colocar una cámara arriba de la puerta de entrada, el repartidor deja de hacer cosas pesadas y no daña la reja. También sirve para ubicar al gato, monitoreo remoto cuando sales y para reclamos de seguro, entre otras cosas. Sin embargo, en la mayoría de CCTV baratos siento que importa más la sensibilidad IR nocturna que la resolución. Para identificación real uso cámaras de nivel profesional con baja resolución. De código abierto llevo mucho tiempo usando ZoneMinder junto con IA local.

  • La parte en la que se dice “aumenta el estrés y sube la ansiedad” me parece que incluso critica mis propias emociones y me incomoda un poco. Creo que cada persona usa estas cámaras por razones distintas.

  • Cada persona tiene entornos, niveles de riesgo y apoyo policial diferentes, así que usa cámaras con criterios, objetivos y estado mental distintos. Yo vivo en un lugar tranquilo y a veces paso largos periodos fuera; para mí, la sensación de poder vigilar durante esos periodos pesa más que la de no tener cámara.

  • Mi timbre tiene grabación local; cuando alguien toca el botón, recibo unos segundos antes la imagen en una notificación en el escritorio o el celular. Así puedo ver quién llegó y decidir respuesta, y hasta me sirve para hacer consultas con LLM como contar aves nuevas o “¿está el perro en el patio trasero?”.

  • El objetivo principal de Frigate y otros similares es no tener que estar vigilando todo el tiempo. Los falsos positivos de fauna pequeña o coches de conocidos los puedes ignorar y solo prestas atención a eventos realmente importantes.

• Soy usuario de Frigate desde hace 4 años. Lo usé sin Home Assistant durante bastante tiempo, pero recientemente volví a incorporar Home Assistant y conecté el stream WebRTC de las cámaras Nest a Frigate. Ahora puedo seguir usándolo igual sin suscripción de Nest Aware, y eso me deja satisfecho en cuanto a costo.