Explorando los GPTs: ¿ChatGPT con gabardina?

Cómo se configuran los GPT

• Un GPT es una configuración con nombre de ChatGPT que incluye nombre, logo y una breve descripción.
• Incluye instrucciones personalizadas que dictan el comportamiento del GPT, equivalentes al "system prompt".
• Se pueden proporcionar opcionalmente hasta 4 prompts de ejemplo para iniciar conversaciones.
• Se pueden subir varios archivos para aportar contexto adicional y ayudar a generar respuestas.
• Se puede activar o desactivar Code Interpreter, el modo Browse y DALL-E 3.
• Se pueden configurar "Actions" opcionales, que son endpoints de API que el GPT puede invocar.

Cómo funciona el constructor de GPT

• El constructor de GPT es un chatbot que crea automáticamente un GPT a través de una conversación con el usuario.
• La pestaña "Create" permite al usuario crear un GPT mediante conversación, pero en realidad completa automáticamente el formulario de "Configure".
• Muchas personas recomiendan evitar la pestaña "Create" después de crear su primer GPT.

Ejemplos interesantes de GPT

• Dejargonizer: un GPT que interpreta jerga técnica y define términos especializados al analizar texto.
• JavaScript Code Interpreter: un GPT que puede ejecutar código JavaScript usando un runtime de Deno adjunto.
• Dependency Chat: analiza la documentación de dependencias de un proyecto de GitHub y responde preguntas relacionadas.
• Add a walrus: un GPT que agrega una morsa a una imagen usando GPT-Vision y DALL-E.
• Animal Chefs: un GPT en el que chefs animales ofrecen recetas junto con historias personales.
• Talk to the datasette.io database: un GPT que responde preguntas ejecutando consultas SQL.
• Just GPT-4: un GPT que desactiva todas las funciones adicionales y ofrece una experiencia pura de GPT-4.

La función de conocimiento de los GPT

• Si se adjuntan archivos a un GPT, este intentará responder preguntas usándolos.
• Parece ser una implementación de Retrieval Augmented Generation (RAG).
• OpenAI no ha compartido información detallada sobre esta función, lo que dificulta que los usuarios la aprovechen de forma efectiva.

El modelo de pago de los GPT

• Los GPT solo pueden usarlos los suscriptores de ChatGPT Plus de $20/mes, lo que limita su distribución.
• Permiten desplegar proyectos basados en la plataforma de OpenAI sin que el usuario tenga que proporcionar su propia API key.

La importancia de la seguridad y apertura de los prompts

• Si un usuario se esfuerza lo suficiente, los documentos y prompts añadidos a un GPT pueden filtrarse.
• Es mejor asumir que los prompts se van a filtrar y, en cambio, hacerlos públicos.

Qué se espera de los GPT en el futuro

• Se esperan mejoras como mejor documentación de la función de conocimiento, acceso por API, formas de ofrecer GPT a no suscriptores y configuración de límites de presupuesto.

La opinión de GN⁺

Lo más importante de este artículo es la exploración de las nuevas funciones y posibilidades de los GPTs, un tema interesante para quienes trabajan en ingeniería de software e inteligencia artificial. La capacidad de que los usuarios creen su propio GPT e interactúen con otros usuarios plantea una nueva forma de construir interfaces conversacionales personalizadas. Además, muestra el potencial de mejorar la experiencia del usuario integrando diversas funciones como ejecución de código, búsqueda en documentos y generación de imágenes.

[GN⁺]

Opinión de Hacker News

• Como usuario de GPT, me di cuenta de que no quiero usar un GPT si no puedo ver el prompt. No quiero usar un ChatGPT en el que una persona desconocida pueda inyectar comportamientos extraños sin que yo lo sepa.
  • Quiero que OpenAI agregue una opción de "ver código fuente" a los GPT. Creo que debería estar "activada" por defecto, aunque puedo imaginar que sería una decisión impopular.
• Tiendo a evitar los chatbots basados en GPT. No quiero que me manipulen sutilmente según instrucciones personalizadas que desconozco.
  • Agregar una opción de "ver código fuente" haría que esta función pase de ser "meh" a "vale la pena pagar por ella".
  • Paso la mayor parte del tiempo usando Kagi y estoy considerando cancelar GPT Plus, pero este tipo de cambio haría que mantuviera la suscripción.
• Cómo me entero de las nuevas funciones de OpenAI:
  1. Veo por encima titulares exagerados en Twitter anunciando algo nuevo
  2. Recibo una cantidad abrumadora de tuits sobre el tema de influencers de Twitter
  3. Lo ignoro y espero a que simonw lo explique
  4. Leo una publicación del blog donde simonw ya probó la función de varias formas y escribió una explicación y crítica claras. Todo se entiende de inmediato.
• Es cierto que "solo es ChatGPT con un prompt previo".
  • También es cierto que "solo son Custom Instructions con una buena UI".
  • Pero nunca subestimen el impacto transformador de una "buena UI". GPT-3 estuvo disponible durante años, pero casi nadie lo conocía o le importaba hasta que hicieron una buena UI.
  • Esto parece un "pequeño ajuste" de usabilidad, pero tiene un impacto de nivel similar a un "salto cuántico".
• Hay personas que con frecuencia preguntan opiniones sobre GPT/AI. Les pregunto si lo han usado. "No". "¿Saben que es gratis?" "Sí". Me cuesta entender esa actitud. ¿Es miedo a lo desconocido? ¿Pereza? ¿Necesidad de prueba social antes de intentar algo?
• No puedo ver los prompts de OpenAI, y probablemente el autor tampoco, pero aun así quiero usar los GPT de OpenAI.
  • Aquí hay un salto de fe considerable. Me pregunto si OpenAI tiene una hoja de ruta concreta hacia la confiabilidad o la consistencia.
• Tengo el prompt completo de Custom GPT Builder: [se proporciona enlace a GitHub]
• Agradezco a simonw por documentar todo esto en tiempo real y por crear herramientas fáciles de entender y accesibles (como la línea de comandos llm).
  • Me parecía que la API de búsqueda estaba fallando al no proporcionar citas adecuadas, así que da gusto saber que no era el único.
• Quiero saber más sobre cómo openAI implementó la función de "base de conocimiento" de RAG. Pero faltan detalles.
  • Pude subir todo el texto de grugbrain.dev y conversar con un grug brain muy razonable: [se proporciona enlace al chat de OpenAI]
• Últimamente he estado creando "synbiogpt", y ahí me di cuenta de las limitaciones de los custom GPT.
  • Los datos de secuencias biológicas suelen ser muy largos. Los datos en archivos están bien, pero si necesitas interactuar con una API para funciones avanzadas (por ejemplo, optimización de codones), entonces hay que enviar esos datos por la red. Eso hace que la ventana de contexto de la llamada a la API se llene con datos de secuencia y falle.
  • No se pueden inyectar dependencias. A veces el GPT intenta su propia implementación, pero a menudo está mal.
  • Si GPT-4 cree que sabe de qué está hablando, la API de búsqueda muchas veces ni siquiera logra abrir los archivos. Cuando hablo sobre partes de genes, quiero ser muy específico sobre una parte concreta de mi librería, no sobre la parte que GPT-4 cree que es.
  • Resolví la mayoría de los problemas creando mi propio entorno de scripting en lua (las funciones biológicas están en golang, y uso gopher-lua para ejecutar el entorno lua). Le inyecto lua de ejemplo sobre cómo usar las funciones de scripting y mi pequeña librería actual de partes de genes, y le pido que genere lua para realizar una tarea específica sobre los archivos proporcionados. GPT-4 no ve los archivos en absoluto y mi app interna en golang ejecuta el lua generado por script. Este método funciona de maravilla y es mucho más rápido que un custom GPT.
  • Mi mayor problema ahora mismo es la parte del frontend. Quiero tener un clon open source de ChatGPT donde pueda extraer archivos adjuntos y modificar la entrada inicial del usuario. Hasta ahora no he encontrado una buena opción.
• Sobre cómo obtener mejores resultados usando RAG.
  • He tenido algo de éxito con esto.
  • Uso la Assistant API, que creo que no es lo mismo que GPT. He probado esto mediante la interfaz web.
  • Tengo más de 100 archivos PDF procesados con OCR por Tesseract. Luego le pedí a ChatGPT que escribiera un script para combinar todos los archivos en un solo archivo txt manteniendo el diseño.
  • Subí el archivo y empecé a hacer preguntas. El archivo contiene datos muy técnicos sobre normativas de construcción en un idioma que no es inglés, así que es probable que el modelo no esté acostumbrado a ese tipo de lenguaje.
  • Aun así, los resultados fueron sorprendentemente buenos. Sí pudo responder las preguntas y las respuestas fueron buenas. Debería anotar de dónde salió cada respuesta, pero eso no funcionó correctamente.
  • Probé subir PDF, archivos JSON, CSV, etc. Hasta ahora, el texto sin formato funciona mejor.
• Me parecen interesantes las notas sobre la función RAG de "conocimiento".
  • A partir de conversaciones y experiencia, la gente ha descubierto que la recuperación RAG es muy específica para el negocio y el modelo de datos. No existe una solución única para todos los casos. El siguiente paso para un cliente en un CMS no es lo mismo que generar SQL basándose en un esquema. Tampoco es lo mismo que comprar en un catálogo de comercio electrónico.
  • En esencia, es un problema relacionado con búsqueda. En la práctica, es todavía más difícil. Estos problemas son notoriamente difíciles.