¿Quieres crear tu propio chatbot de código abierto?

• La inteligencia artificial (IA) está transformando la web e influyendo en la vida de las personas.
• Mozilla está comprometida con una IA confiable, que incluye transparencia, privacidad, capacidad de decisión del usuario y equidad.
• Los chatbots de IA generativa son populares, pero la mayoría está controlada por grandes empresas tecnológicas.
• Mozilla cree en el poder del código abierto y trabaja para evitar que el control tecnológico quede en manos de unas cuantas empresas, además de empoderar a los usuarios.
• Mozilla organizó recientemente un hackathon para construir prototipos internos de chatbots.
• El equipo usó modelos de lenguaje grandes (LLM) de código abierto y se enfrentó a temas como hosting, entorno de ejecución, selección de modelos, sesgos y ampliación del conocimiento del chatbot.
• Decidieron alojar el chatbot en la infraestructura en la nube de Mozilla para garantizar privacidad y control.
• Usaron el proyecto de código abierto llama.cpp para ejecutar modelos basados en la arquitectura LLaMA.
• Evaluaron los modelos en cuanto a toxicidad, sesgos, desinformación y contenido peligroso, y eligieron el modelo LLaMA 2 de Facebook.
• Integraron conocimiento interno específico de Mozilla mediante embeddings y técnicas de búsqueda vectorial.
• Desarrollaron una solución manual con Python y varias bibliotecas.
• En el desarrollo de chatbots, la ingeniería de prompts es importante para aportar contexto y mejorar las respuestas.
• El prompt del sistema y la ventana de contexto son importantes para las funciones del chatbot y el contexto conversacional.
• LangChain es una herramienta líder de orquestación en el espacio de los modelos de lenguaje, pero puede ser compleja de aprender y usar.
• Se pueden usar interfaces de chatbot de código abierto como chatbot-ui y Companion para crear el frontend de modelos de lenguaje.
• Mozilla desarrolló un chatbot prototipo que refleja sus valores y está alojado de forma segura dentro de la organización.
• Los chatbots de código abierto aún están en evolución, y sigue siendo difícil evaluar modelos y tomar las decisiones correctas.
• Mozilla está trabajando para que a los desarrolladores les resulte más fácil participar en el ecosistema de aprendizaje automático de código abierto y contribuir a la comunidad.

[GN⁺]

Comentarios de Hacker News

• Los chatbots se perciben como una compensación por la falta de buenas prácticas de UX en los sitios web.
• A algunas personas los chatbots les resultan molestos y no creen que todos los negocios deban tener uno.
• La web está siendo controlada cada vez más por un número menor de empresas, lo que provoca una lucha por la visibilidad y la comunicación.
• Los chatbots se usan cuando los sitios web tienen una UI confusa o esconden información importante.
• El propósito real de los chatbots es reemplazar la web y las apps móviles como primer medio de contacto con las empresas.
• El autor en realidad no está construyendo un chatbot de código abierto, sino promoviendo el uso de bibliotecas de código abierto.
• Configurar un servidor dentro de la infraestructura de Google en realidad no es algo personal ni está bajo el control de Mozilla.
• Algunas personas han tenido experiencias positivas con chatbots y los encontraron más útiles que los métodos de búsqueda tradicionales.
• Se ofrecen recursos para construir modelos de chat con bases de datos vectoriales y ampliar la búsqueda por similitud semántica.