rem(Remember Everything) - código abierto para registrar y buscar todo en Apple Silicon

• Graba toda la actividad que ocurre en la pantalla de la computadora (toma una captura de pantalla cada 2 segundos)
• En la vista de línea de tiempo, se puede navegar en el tiempo desplazándose a izquierda/derecha
  • Si Live Text reconoce texto, se puede seleccionar
• Puedes buscar una palabra específica para encontrar la pantalla, ver todo el contenido con OCR de esa pantalla o enviar ese texto a ChatGPT, etc., para trabajo adicional
• Solo se ha probado en Apple Silicon, y las versiones publicadas también son exclusivas para Apple Silicon.
• Está en una fase muy temprana: fue hecho en unos pocos días durante las vacaciones, y el autor es principiante en Swift

Primeros pasos

• Compílalo tú mismo o descarga la versión publicada y ejecuta xattr -c rem.app para aprobar la app en macOS.
• Después de abrir la app, haz clic en "Start Remembering" para otorgar permiso de acceso a "Screen Recording".
• Abre la vista de línea de tiempo con "Open timeline" o "Cmd + Scroll Up".
• En la línea de tiempo, desplázate hacia la izquierda o la derecha para moverte en el tiempo.
• Haz clic en "Search" para abrir la vista de búsqueda, y haz clic en una miniatura de la línea de tiempo para ir a ese momento.
• Activa Live Text en la línea de tiempo para poder seleccionar texto.
• Haz clic en "Copy Recent Context" para copiar lo visto recientemente como un prompt para interactuar con un LLM.
• Haz clic en "Purge All Data" para eliminar todos los datos.

Funciones compatibles actualmente:

• Volver al pasado (scrubber de pantalla completa de todo lo que has visto).
• Copiar texto del pasado.
• Buscar en todo lo que has visto.
• Obtener fácilmente contexto reciente para interactuar con un LLM.

Funciones que se quieren agregar:

• Búsqueda en lenguaje natural / interacción con agentes mediante actualización local de embeddings vectoriales.
• Explorar un nuevo enfoque para bases de datos vectoriales.
• Soporte para múltiples monitores.

[GN⁺]

Opiniones de Hacker News

• Resumen del primer comentario:

  • Esta herramienta se ve genial. Me recuerda que hace poco, mientras intentaba liberar espacio en disco, encontré una grabación de pantalla de 9 horas de hace casi un año. Creo que la había dejado grabando por accidente. Revisarla rápidamente y ver todo en unos minutos fue una experiencia fascinante que me permitió asomarme a mi proceso de pensamiento de ese momento. Pude ver cómo investigaba algo en línea, y fue educativo y útil, como volver a ver un partido deportivo. Además, revisar de nuevo los detalles de aquella época hizo una diferencia. Creé una herramienta llamada "DownloadNet" que guarda sin conexión todas las páginas visitadas y las indexa por completo. También se puede configurar para guardar solo las páginas marcadas. La herramienta es de código abierto, así que vale la pena verla: enlace de DownloadNet en GitHub
  • Poder copiar texto de videos guardados es sorprendente.

• Resumen del segundo comentario:

  • En el pasado usé una utilidad llamada TimeSnapper Classic que tomaba capturas de pantalla a intervalos regulares. Pero las capturas empezaron a llenar el disco y la mayoría se veían casi idénticas. Pensé que debería crear un códec optimizado para secuencias de imágenes, y al final me di cuenta de que había reinventado un códec de GIF/video. Así que escribí un script que pone marcas de tiempo en las imágenes con ImageMagick y luego las convierte en video con ffmpeg. Eso redujo el tamaño de los archivos en un 99.9%.

• Resumen del tercer comentario:

  • Hace mucho trabajé en un proyecto que tomaba capturas de pantalla cada pocos segundos y extraía información automáticamente. Creé una PNG DB que dividía las imágenes PNG en varios bloques y guardaba cada bloque en una base de datos. Los bloques idénticos se almacenaban solo una vez, y era posible hacer búsquedas rápidas mediante una tabla hash. Con esta PNG DB logré una compresión de alrededor de 400-500%. enlace de PNG DB en GitHub Sin embargo, el script para analizar las capturas no terminó siendo muy exitoso. enlace de screenshooting en GitHub Esa experiencia llevó a otros proyectos donde se guardaba de forma más directa información sobre la app en uso o los archivos abiertos. enlace de timecapture en GitHub

• Resumen del cuarto comentario:

  • Parece alguien que valora la privacidad y la seguridad, así que resulta interesante que use un navegador web de código cerrado (Arc Browser).

• Resumen del quinto comentario:

  • Quiero una herramienta así que sea realmente multiplataforma y funcione en local. Linux y Windows son imprescindibles, y debe ser 100% offline, usable incluso sin internet. Estaría dispuesto a pagar 60 dólares por cada versión mayor al año. Si además tuviera una licencia de código abierto permisiva, sería cliente de por vida. Quizá, si a otros también les interesa, tendré que hacerla yo mismo.

• Resumen del sexto comentario:

  • Sobre "Remember Everything": uso la extensión de navegador "singleFile" para guardar copias de todas las páginas web que veo en Chrome y FireFox. También uso el programa "AutomaticScreenshotter" para registrar actividad en pantalla que no sea del navegador. Así puedo saber qué estaba haciendo en la PC en cualquier fecha pasada. Todos los archivos se guardan en una estructura de directorios año/mes/día. Actualmente uso la búsqueda de Windows para encontrar archivos. Uso "ditto" para guardar todas las operaciones de copiar y pegar en mysqldb. He usado esta estructura de directorios desde antes de 2010, y empecé con la extensión y las capturas hace unos 3-4 años. Me pregunto si serviría usar o adaptar herramientas forenses de investigación de PCs para ayudar a crear una línea de tiempo de la actividad en la PC.

• Resumen del séptimo comentario:

  • Será interesante ver cómo se usan estas tecnologías dentro de 5 o 10 años. Es curioso que tengamos los dispositivos de memoria más potentes de la historia y, aun así, intentemos constantemente no usarlos. En un sentido más serio, creo que estas herramientas también podrían obstaculizar la creatividad. Uno podría formar el hábito de depender de ellas en lugar de recordar por sí mismo, y la creatividad consiste en la capacidad de recombinar recuerdos del pasado con ideas futuras.

• Resumen del octavo comentario:

  • La demo del OP está muy buena. Me pregunto por qué esto es exclusivo para Apple Silicon. ¿Será por un mejor soporte de ML que en Windows? Es una pena que Olama no se pueda usar en Windows. No tengo una laptop con Apple Silicon; solo tengo una Apple Intel y una Windows potente, así que no puedo probar esto. Como programador principiante y sin el lenguaje Swift, no tengo mucha idea de cómo construir algo así desde cero. Si yo fuera el OP, haría muchos tutoriales de Swift para empezar. Hacer un clon en Java o C# para que funcione en Linux o Windows suena más a un deseo, pero no tengo nada de experiencia con ML, ni con la API de DirectX, ni con las APIs de escritorios Linux. Hay muchas APIs y herramientas con las que habría que familiarizarse antes de empezar el proyecto. Me pregunto cómo el OP pudo construir esto sin experiencia en Swift, y si crear proyectos en Apple Silicon es más fácil. Tengo 4 años de experiencia y trabajo con APIs web y WinForm/DevExpress en Java y C#.

• Resumen del noveno comentario:

  • Creo que esto también podría usarse como una forma de responsabilizarse a uno mismo. Me pregunto si sería fácil clasificar las capturas entre actividades "que hacen perder el tiempo" y actividades "productivas" (probablemente sería posible con un modelo de ML). Gamificar las estadísticas también podría ser una opción. Por ejemplo, podrías ver métricas como que en la última hora fuiste 78% productivo, 12% Hacker News y 10% inactivo. Incluso podrías intentar superar tus propios récords (por ejemplo, tener tres periodos de una hora al día con 100% de productividad probablemente sería un gran día). Me gustó el video demo. En menos de 30 segundos pude entender qué hace esta herramienta. ¡Gracias! PPS: el controlador de velocidad del video (add-on del navegador) ahora sí funciona con videos de loom; hace unos meses no era así.

• Resumen del décimo comentario:

  • Hay posibles escenarios de pesadilla con este tipo de tecnologías. A los empleadores les encantaría usar herramientas así para vigilar completamente a sus empleados. Si se conectan con IA, podrían monitorear en tiempo real todo lo que hace cada persona y lanzar alertas.