Windrecorder - app de Windows de código abierto para rebobinar y buscar todo lo que aparece en tu pantalla

• A veces, cuando intentas recordar algo que leíste o viste antes, puedes revisar todas las apps y aun así no encontrarlo
• En especial, la información dispersa entre varias páginas web, videos, mensajes de chat y más aparece y desaparece en un instante, así que aunque intentes reconstruir el recuerdo o revisar el historial del navegador, se siente como si nunca hubiera existido
• Peor aún, esa información pudo haber sido eliminada, ocultada o modificada

Motivación para desarrollar una app de memoria personal

• Como alguien con mala memoria y al mismo tiempo miedo de perderme algo importante (FOMO), terminé desarrollando esta app para Windows
• La inspiración principal vino del concepto inicial de la app para Mac Rewind y de Black Mirror S1E3 "The Entire History of You"
  • La meta era que los personajes pudieran registrar todo con los ojos y rebobinar o buscar todo lo que apareció en la pantalla de la computadora
• Esta app también ofrece varias ventajas adicionales
  • Una memoria personal inmutable almacenada localmente
  • Sin riesgo de perder pistas de memoria
  • Posibilidad de restaurar trabajo en caso de fallos de software
  • Se puede rastrear el origen de los datos descargados
  • Se puede encontrar información que antes pasó desapercibida
  • (En lo personal, se ha convertido en una herramienta para bromear con mis amigos)

Cómo funciona la app

• Usa ffmpeg para grabar la pantalla en pequeños archivos segmentados de 15 minutos y luego los indexa con la API local de OCR de Windows y embeddings de imagen
• También se puede elegir ignorar programas específicos o ciertas áreas de la pantalla
• Todo esto permite rebobinar o buscar mediante una interfaz web local (títulos de ventana, palabras clave de texto, descripciones de imagen, etc.)
• Con estos datos también se agregaron funciones de vista general, como tiempo de pantalla diario y periódico, resúmenes circadianos y generación de lightboxes mensuales

Privacidad y código abierto

• Como la privacidad es importante, todo ocurre solo en la computadora y no se guarda nada en la nube
• Todo fue implementado en Python de forma transparente, y es fácil de modificar por cuenta propia (aunque el rendimiento puede ser algo más lento)
• Se puede usar gratis, sin suscripción, y los datos pertenecen al usuario

Estado actual del proyecto y planes a futuro

• Como no soy un desarrollador profesional, y lo hice por interés personal y por ganas de usarlo, puede no ser perfecto y quizás tenga algunos problemas
• Sin embargo, después de usarlo durante un tiempo, creo que ya es lo bastante maduro y estable
• Si te interesa este proyecto, eres bienvenido a sumarte a la discusión, reportar problemas o contribuir para convertirlo en una app mejor
• (No estoy seguro de si ya existe una app similar en Windows, y sé que en Linux hay apps como Memento. Si conoces alguna, avísame)

[GN⁺]

Comentarios de Hacker News

Resumen del proyecto DejaView:

• Un proyecto desarrollado hace 20 años que ofrece funciones para grabar, reproducir, buscar y reanudar el historial de uso de una computadora de escritorio
• Registra la salida de pantalla y el estado de la aplicación/sistema de archivos como puntos de control, y captura e indexa el texto mostrado junto con información de contexto
• El usuario puede buscar toda la información visual mostrada en el escritorio y volver al estado de ese momento para interactuar
• Funciona de forma transparente mediante virtualización, sin modificar las aplicaciones, el sistema de ventanas ni el kernel del SO
• En evaluaciones con aplicaciones reales de escritorio, permitió grabación continua con una sobrecarga tan baja que el usuario no la percibe, y búsqueda y reproducción lo bastante rápidas para uso interactivo

Presentación de proyectos similares:

• El proyecto de código abierto para macOS rem fue presentado en HN y generó una discusión activa
• También existe el proyecto comercial para Windows TimeSnapper

Opiniones sobre el proyecto:

• Era una idea que alguien había tenido durante mucho tiempo, y ver que otra persona la implementó resulta emocionante
• Pero parece implicar un gran riesgo para la seguridad de los datos. Hace falta pensar cómo prevenir comportamientos maliciosos de la propia aplicación
• En lugar de OCR, usar una API de accesibilidad permitiría obtener el texto directamente y sería mucho más eficiente. También podría ser una buena forma de conectar un LLM con la UI y recopilar datos de entrenamiento

Casos de proyectos similares en el pasado:

• En 2014, Savant Recall no logró ser seleccionado por YC y fue publicado como código abierto
• El cofundador de Napster lo adquirió, lo renombró como Atlas Recall y mejoró la UI, además de levantar 20 millones de dólares en inversión, pero al cabo de un año fue adquirido por Xinova y el servicio cerró repentinamente
• En 2019 también existió un proyecto llamado Apse

Otros:

• Según la descripción en GitHub, se espera un volumen de grabación de unos 100-200 GB al año, lo cual no está mal
• Felicidades por haber implementado bien una idea nueva. Es inspirador para cualquiera que piense "¿por qué no existe una app así?"
• Parece similar a Apse.io, construyendo un índice buscable de todo lo que se muestra en pantalla mediante OCR. Me gusta el aspecto de código abierto de Windrecorder
• Se lo podría vender fácilmente por $5 por asiento a grandes empresas que quieran instalar spyware en las estaciones de trabajo de sus empleados