GPTCache - Biblioteca para almacenar en caché respuestas a consultas de LLM

• Almacena en caché las respuestas del LLM para reducir los costos de LLM de la organización y acelerar la velocidad de respuesta
• Mejora la tasa de aciertos de caché mediante una estrategia de caché semántica que encuentra consultas similares o relacionadas
  • Convierte las consultas en embeddings mediante algoritmos de embedding y realiza búsquedas relacionadas sobre esos embeddings a través de un vector store
• Adaptador de LLM: compatible con OpenAI ChatGPT y LangChain (también se planea soporte para Bard/Anthropic/LLaMA, etc.)
• Adaptador multimodal: OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
• Generador de embeddings: OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
• Almacenamiento de caché: SQLite, PostgreSQL, MySQL, SQLServer,..
• Vector Store: Mulvus, Zilliz Cloud, FAISS, Hnswlib
• Administrador de caché: LRU, FIFO