Cómo Clawdbot gestiona la memoria: una arquitectura híbrida de memoria basada en Markdown

Resumen:

• Clawdbot es un asistente de IA local y de código abierto que guarda y gestiona la memoria a largo plazo del usuario como archivos Markdown en el entorno local, sin depender de la nube.
• Gracias a un sistema de memoria de dos capas (registros diarios y conocimiento a largo plazo) y a una búsqueda híbrida (vectorial + por palabras clave), puede recuperar información de forma eficiente incluso en contextos de gran escala.
• Para superar los límites de la ventana de contexto, utiliza técnicas de "compactación" (Compaction) y "poda" (Pruning), logrando al mismo tiempo optimización de costos y mantenimiento del rendimiento.

Resumen detallado:

1. Visión general y filosofía de diseño
   Clawdbot gestiona todos los recuerdos como archivos Markdown dentro del espacio de trabajo local para devolver la propiedad de los datos al usuario. Con la transparencia (Transparency) como valor central, fue diseñado para que el usuario pueda leer, editar y versionar directamente los archivos de memoria.

2. Estructura de memoria de dos capas
   La memoria se divide en dos grandes capas:

• Layer 1 (Daily Logs): registra en el archivo memory/YYYY-MM-DD.md los resúmenes de las conversaciones del día, las decisiones tomadas y las preferencias del usuario.
• Layer 2 (Long-term Knowledge): almacena en el archivo MEMORY.md los hechos clave que deben persistir entre varias sesiones, las decisiones de proyecto y el perfil fijo del usuario.

3. Motor de búsqueda híbrida (Hybrid Search)
   El agente usa la herramienta memory_search para consultar la memoria solo cuando es necesario:

• Búsqueda semántica (Vector Search): encuentra contenido semánticamente similar mediante embeddings (usando SQLite-vec).
• Búsqueda por palabras clave (BM25): utiliza en paralelo el motor FTS5 para encontrar nombres propios exactos, fechas, IDs y otros datos precisos.
• Cálculo de puntaje final: aplica un esquema ponderado de (0.7 * puntaje vectorial) + (0.3 * puntaje de texto) para mejorar la precisión.

4. Técnicas de gestión de contexto

• Compactación (Compaction): cuando se alcanza el límite de contexto, reemplaza las conversaciones anteriores por un resumen. En particular, mediante la etapa de "volcado de memoria" (Memory Flush), guarda de antemano en archivos Markdown la información importante antes de resumirla, para evitar la pérdida de información.
• Poda (Pruning): recorta resultados de ejecución de herramientas innecesariamente largos, como salidas extensas de logs, para ahorrar tokens. Incluye una lógica de eliminación inteligente que considera el TTL del prompt caching de Anthropic.

5. Stack técnico y flujo de datos

• Almacenamiento: archivos Markdown locales (Source of Truth) y SQLite (para indexación).
• Flujo de trabajo: detección de cambios en archivos (Chokidar) -> chunking (bloques de 400 tokens, con superposición de 80 tokens) -> embeddings -> almacenamiento en SQLite.