Pregunta en HN: ¿Cómo entrenan en diciembre de 2023 un LLM/ChatGPT personalizado con sus propios documentos?

Cómo proporcionar un conjunto de documentos personalizado a un LLM

• Debate sobre la mejor forma de proporcionar a un LLM (Large Language Models) un conjunto de documentos del usuario para obtener respuestas adecuadas sin resultados irreales.
• Se centra en cómo "enseñarle" a un LLM un conjunto de documentos específico. Esto no necesariamente significa entrenar un modelo propio, y también incluye enfoques como RAG (Retrieval-Augmented Generation).
• Existe un hilo de hace 5 meses, pero se necesita información acorde con la situación actual de diciembre de 2023.

Opinión de GN⁺

• Extraer información precisa de un conjunto de documentos específico usando un LLM se está volviendo más importante a medida que avanza la tecnología.
• Estas técnicas ayudan a que los usuarios obtengan resultados personalizados según lo que buscan, y pueden aplicarse en distintos campos como inteligencia de negocios, investigación y educación.
• Es importante aprovechar enfoques existentes como RAG o explorar métodos nuevos, ya que esto contribuirá a mejorar el uso de los LLM y a obtener resultados más precisos y confiables.

[GN⁺]

Opiniones de Hacker News

• En realidad no se entrena sobre los documentos; aunque muchas startups usan ese término, en la práctica usan RAG (Retrieval-Augmented Generation).

  • Llamaindex es considerado la mejor opción.
  • La mayoría de las startups que afirman entrenar sobre documentos en realidad usan RAG.
  • Recomiendan buscar scripts que generen automáticamente pares de preguntas y respuestas usando qLoRA.
  • Hay pocos casos de uso exitosos para una base de conocimiento de documentos personales; se usa principalmente para habilidades como matemáticas, razonamiento y Python.
  • Se ha demostrado empíricamente que simplemente meter un conjunto de documentos en un ajuste fino no funciona.

• Dependiendo de la cantidad de documentos, conviene considerar enfoques distintos.

  • RAG funciona bien con datasets pequeños, y Llamaindex ha hecho mucho trabajo de ingeniería en este campo.
  • La combinación de ajuste fino y RAG es efectiva para datasets grandes con conocimiento que se puede encontrar fácilmente en internet.
  • El preentrenamiento continuo es necesario cuando se tiene un dataset muy grande y conocimiento propietario.

• AWS Bedrock es fácil de usar: puedes subir documentos a S3, sincronizarlos con una base de datos vectorial y usarlos mediante una API.

  • Bedrock es un producto que ofrece varios modelos y una API común.

• h2ogpt es una implementación de RAG muy completa que puede procesar documentos en varios formatos y soporta distintas implementaciones de hosting de modelos.

• Se puede comprar una cuenta de ChatGPT y subir tus propios documentos, con lo que es posible crear una IA conversacional personalizada.

• GPT4 Assistants actualmente puede manejar RAG de forma nativa, y PrivateGPT es una de las opciones más conocidas para esto.

• Copilot Builder de Microsoft Office permite crear un AI Copilot en segundos especificando una URL base, archivos subidos, etc.

• Cheshire Cat es un framework de asistentes de IA que guarda documentos como "memoria" para poder recuperarlos después.

• Hay una guía en video sobre cómo hacer ajuste fino de Mistral 7B con QLoRA, y se menciona que la técnica RAG podría ser más recomendable.