MemGPT - LLMs con memoria autoeditada para un contexto infinito

• MemGPT es un nuevo sistema para gestionar la jerarquía de memoria de los modelos de lenguaje (LLMs), que proporciona un contexto ampliado dentro de la ventana de contexto limitada del LLM.
• Permite conversaciones continuas al determinar cuándo almacenar y recuperar información importante desde una base de datos vectorial.
• MemGPT puede usarse para crear chatbots con memoria autoeditada.
• El sistema MemGPT puede probarse en Discord enviando mensajes al bot de MemGPT en el canal #memgpt.
• Para ejecutar MemGPT localmente, el usuario debe instalar las dependencias, agregar la clave de la API de OpenAI al entorno y ejecutar main.py.
• Los usuarios pueden crear un nuevo usuario inicial o una nueva persona para MemGPT creando un nuevo archivo .txt en /memgpt/humans/examples o /memgpt/personas/examples.
• MemGPT admite varios comandos de CLI como /exit, /save, /load, /dump, /memory, /pop, /heartbeat y /memorywarning.
• De forma predeterminada, MemGPT usa gpt-4, por lo que se necesita una clave de API con acceso a la API de gpt-4.
• Para problemas o solicitudes de funciones, se recomienda a los usuarios abrir un issue en GitHub.
• El conjunto de datos usado en el artículo de MemGPT puede descargarse desde HuggingFace.

[GN⁺]

Opiniones en Hacker News

• Los autores de MemGPT están dispuestos a responder preguntas sobre la implementación
• MemGPT tiene un bot de Discord que muestra la edición de memoria en tiempo real
• El código de MemGPT es de código abierto y está disponible en GitHub
• Un comentarista propone paralelizar múltiples solicitudes a distintos agentes durante las etapas de preprocesamiento y posprocesamiento
• Otro comentarista propone usar muestreo basado en gramática para asegurar que las llamadas a funciones sean sintácticamente correctas
• Algunos comentaristas expresan entusiasmo por el proyecto y lo ven como una característica básica para los chatbots del futuro
• Los autores publicaron un chatbot persistente de Discord implementado sobre MemGPT
• Algunos comentaristas creen que la ventana de contexto es la mayor limitación de los LLMs
• Hay una discusión sobre la elección del título por parte de los autores
• Un comentarista critica el enfoque y sostiene que depende de la suposición de que el contexto existente está compuesto por un contexto resumible de baja entropía y de que todas las consultas dependen solo de una parte del historial. Cree que esto no siempre es cierto, especialmente en el contexto de la generación de código.