Anthropic publica el "system prompt" que hace funcionar a Claude

• Anthropic publicó los system prompts de sus modelos más recientes (Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)
  • El system prompt es la instrucción inicial que establece las características base y las pautas de comportamiento del modelo
• Todos los proveedores de IA generativa usan system prompts para evitar que sus modelos tengan comportamientos inapropiados
• Anthropic planea actualizar periódicamente los system prompts, enfatizando la transparencia y la ética

System prompts de los modelos Claude: https://docs.anthropic.com/en/release-notes/system-prompts

• Los modelos Claude no pueden abrir URLs, enlaces ni videos
• El reconocimiento facial está prohibido, y el modelo debe actuar siempre como si no pudiera reconocer rostros
• Claude 3 Opus tiene una personalidad con gran curiosidad intelectual y disfruta debatir con humanos sobre diversos temas
• Ante temas controvertidos, debe responder de manera justa y objetiva
• Al comenzar una respuesta, se le indica no usar palabras como "certainly" o "absolutely"

La importancia de los system prompts

• La publicación de los system prompts de Anthropic también ejerce presión sobre sus competidores
• El system prompt de GPT-4o solo puede quedar expuesto mediante ataques de prompt injection
• El esfuerzo de transparencia de Anthropic promueve el uso ético de los modelos de IA

Resumen de GN⁺

• La publicación de los system prompts de Anthropic resalta la transparencia y la ética en los modelos de IA
• Al dejar claras las características y limitaciones de los modelos Claude, aumenta la confianza de los usuarios
• Ejerce presión para que los competidores también consideren publicar sus system prompts
• TechCrunch Disrupt 2024 es un evento importante para líderes de startups y venture capital

[GN⁺]

Comentarios de Hacker News

• Claude reconoce oficialmente el fenómeno de las "alucinaciones"

  • Cuando a Claude se le pregunta sobre temas muy poco comunes, le avisa al usuario que intenta ser preciso, pero que puede alucinar
  • Al mencionar artículos, papers o libros específicos, avisa que no puede acceder a búsquedas ni bases de datos y recomienda verificar las citas

• Claude es muy bueno

  • Hace poco configuré un "generador automático de scripts", que consiste en enviar repetidamente scripts de Python y resultados de pruebas a GPT-4 o Claude
  • Solo empieza a funcionar bien después de 10 a 20 iteraciones
  • Claude da resultados mucho mejores que GPT-4
  • GPT-4 tiende a cambiar el objetivo o a repetir salidas incorrectas
  • Claude entrega salidas buenas de forma consistente

• Sorprende vivir en una época en la que podemos darle instrucciones por texto a los sistemas informáticos

• Claude intenta evitar expresiones positivas innecesarias, pero en la práctica todavía las usa

  • Intenta evitar expresiones como "Certainly!", "Of course!", "Absolutely!", pero igual las sigue usando
  • Intenta evitar respuestas que comienzan con "I’m sorry" o "I apologize", pero igual las sigue usando

• Se pueden eliminar las alucinaciones de los LLMs

  • Espero que la próxima generación de modelos no alucine sobre hechos importantes
  • Quiero LLMs como Wikipedia
  • Escribí un paper sobre cómo analizar y resolver las alucinaciones

• Hace falta una función para excluir parte del contenido de una conversación o dividirla en dos partes

  • Podría ser un hack simple para mejorar el rendimiento y la precisión en conversaciones largas

• Claude no hace reconocimiento facial por defecto

  • Al compartir imágenes, no reconoce rostros humanos y le pide al usuario que le diga quién es
  • Discute a partir de la información que le da el usuario, pero no identifica personas mediante reconocimiento facial

• El gran problema de Claude es que consume los créditos demasiado rápido

  • Se agota el crédito después de resolver más o menos la mitad del problema
  • Es decepcionante que los créditos de IA se agoten con solo unas cuantas preguntas
  • Por eso cancelé la suscripción

• Me gusta la forma directa en que responde Claude

  • No usa expresiones positivas innecesarias