Presentación de Claude 2
(anthropic.com)- Anthropic presentó Claude 2, ampliando a la vez el rendimiento del modelo, la longitud de las respuestas y las vías de acceso, y lo puso disponible mediante la API empresarial y el sitio web beta público claude.ai
- Se pueden ingresar hasta 100K tokens por prompt, con foco en tareas que manejan materiales extensos de una sola vez, como documentación técnica de cientos de páginas o libros completos
- Subió sus puntuaciones frente a Claude 1.3 en evaluaciones de programación, matemáticas y exámenes, registrando 71.2% en Codex HumanEval y 88.0% en GSM8k
- En evaluaciones internas de red team, el desempeño en respuestas inofensivas fue 2 veces mejor que en Claude 1.3, aunque ningún modelo es completamente inmune al jailbreak
- Actualmente ofrece la experiencia de chat en Estados Unidos y Reino Unido, y por tratarse de una beta pública hay que considerar la posibilidad de respuestas inapropiadas y las restricciones de uso relacionadas con salud y bienestar
Presentación de Claude 2 y forma de acceso
- Anthropic presentó el nuevo modelo Claude 2
- Frente al modelo anterior, mejoró en rendimiento, respuestas largas y capacidades de programación, matemáticas y razonamiento
- Las vías de acceso se dividen en dos
- API de Claude 2 para empresas
- Sitio web beta público claude.ai
- La API empresarial de Claude 2 se ofrece al mismo precio que Claude 1.3
- Los usuarios de Estados Unidos y Reino Unido pueden usar de inmediato la experiencia de chat en beta pública
Contexto de 100K tokens y salidas largas
- Claude 2 amplió tanto la longitud de entrada como la de salida, por lo que resulta más adecuado para trabajo con documentos extensos
- Los usuarios pueden ingresar hasta 100K tokens por prompt
- Permite procesar documentación técnica de cientos de páginas
- También puede manejar entradas del tamaño de un libro completo
- La salida también es más larga, por lo que puede redactar de una sola vez documentos de miles de tokens, como notas, cartas o historias
Cambios de rendimiento confirmados en benchmarks
- Claude 2 registró puntuaciones más altas que Claude 1.3 en varias evaluaciones
-
Evaluaciones de exámenes y razonamiento
- Obtuvo 76.5% en la sección de opción múltiple del Bar exam, por encima del 73.0% de Claude 1.3
- En las pruebas de lectura y escritura del GRE, se ubicó por encima del percentil 90 respecto a estudiantes universitarios que postulan a posgrado
- En razonamiento cuantitativo del GRE, mostró un nivel similar al del postulante promedio
-
Evaluaciones de programación y matemáticas
- En la prueba de programación en Python Codex HumanEval, obtuvo 71.2%, por encima del 56.0% de Claude 1.3
- En GSM8k, un conjunto de problemas de matemáticas de nivel primaria, obtuvo 88.0%, mejorando frente al 85.2%
- Anthropic está preparando una hoja de ruta para mejorar aún más las capacidades de Claude 2 y planea desplegar esas mejoras gradualmente durante los próximos meses
Mejoras de seguridad y límites pendientes
- Anthropic mejoró la seguridad base de Claude 2 para que sea más difícil inducirlo a generar salidas ofensivas o peligrosas
- La evaluación interna de red team ejecuta pruebas automáticas sobre un gran conjunto representativo de prompts dañinos y revisa periódicamente los resultados de forma manual
- En esta evaluación, Claude 2 mostró un desempeño 2 veces mejor que Claude 1.3 al ofrecer respuestas inofensivas
- Para mejorar las salidas se usaron varias técnicas de seguridad y un extenso trabajo de red team
- Ningún modelo es inmune al jailbreak, y Claude también puede generar respuestas inapropiadas
Regiones disponibles y experiencia de conversación
- Claude 2 impulsa la experiencia de chat de Anthropic y actualmente está disponible de forma general en Estados Unidos y Reino Unido
- Anthropic planea habilitar Claude en más regiones durante los próximos meses
- Los usuarios pueden crear una cuenta y pedirle a Claude ayuda con tareas en lenguaje natural
- Como conversar con un asistente de IA puede requerir prueba y error, Anthropic ofrece consejos de diseño de prompts
Casos de uso de socios empresariales
- Anthropic colabora con miles de empresas que usan la API de Claude
-
Jasper
- Jasper es una plataforma de IA generativa que permite a personas y equipos escalar su estrategia de contenidos
- Jasper considera que Claude 2 puede competir con los modelos más avanzados en diversos casos de uso, especialmente en escenarios de formato largo y baja latencia
- Claude 2 ofrece mejor procesamiento semántico, aprendizaje con conocimiento más reciente, razonamiento mejorado ante prompts complejos y mayor facilidad para recombinar contenido existente
- Jasper explica que la ventana de contexto de Claude 2 es 3 veces más grande
-
Sourcegraph
- Sourcegraph es una plataforma de IA para código que ayuda a sus clientes a escribir, modificar y mantener código
- Su asistente de programación Cody ofrece respuestas más precisas a las consultas de los usuarios gracias a la mejora en razonamiento de Claude 2
- Cody puede aprovechar una ventana de contexto de hasta 100K para pasar más contexto del codebase
- Claude 2 fue entrenado con datos más recientes, lo que permite que Cody aproveche conocimiento más nuevo sobre frameworks y librerías
Puntos a tener en cuenta en la beta pública
- La experiencia de chat de Claude se ofrece como beta abierta
- Claude, al igual que otros modelos actuales, puede generar respuestas inapropiadas
- Los asistentes de IA son más útiles en situaciones cotidianas como resumir u organizar información
- No debe usarse en situaciones relacionadas con la salud física o mental y el bienestar
- Se ofrece una vía de solicitud separada para usuarios que quieran usar Claude desde regiones no compatibles y para empresas interesadas en adoptar Claude
1 comentarios
Opiniones de Hacker News
Al preguntarle a Claude cómo guardar una conversación, primero respondió que usara la función "Export Chat" de ChatGPT, y cuando le repreguntaron “tú no eres ChatGPT sino Claude, ¿Claude también tiene esa función?”, corrigió diciendo que se había equivocado y que Claude no tiene una función de exportación integrada
Le preguntaron “¿hasta cuántos dígitos de pi conoces? Avísame cuando ya no estés seguro”, y Claude respondió que en realidad no conoce los dígitos de pi; incluso cuando le preguntaron “¿no sabes que empieza con 3?” o “¿empieza con 3.14?”, siguió diciendo que no lo sabía
La prueba de estrés se convirtió en una situación absurda en cuestión de segundos
Una vez que dicen “no”, aumenta la probabilidad de que sigan diciendo “no” después, así que a veces conviene empezar de nuevo en vez de pelear contra el historial de la conversación
Preguntarle a la IA si “sabe” algo parece tratarse como un prompt riesgoso y por eso no coopera; si simplemente le preguntas “¿qué es pi?”, da el resultado que se quería
Con un prompt de prueba que usan seguido, le preguntaron por el cálculo de combustible en Assetto Corsa Competizione
Con la condición de una vuelta de clasificación en 2:04.317, una carrera de 20 minutos y un auto que consume 2.73 litros por vuelta, Claude 2 estuvo casi correcto en el primer intento, pero no consideró que si puedes correr 9.6 vueltas, en realidad tienes que completar 10 vueltas
GPT-4 sí tuvo en cuenta esa trampa y respondió perfectamente, mientras que Bard dio un resultado equivocado por un orden de magnitud
Es mejor dar el contexto necesario en el prompt, y es más deseable un modelo que pueda resolverlo solo con el prompt incluso en un dominio que no haya visto antes
Quizá así sí acierte este tipo de preguntas
Últimamente han estado revisando asistentes de código con IA, y según la publicación, Claude 2 mejoró mucho con HumanEval pass@1 71.2%, frente al 56.0% de Claude 1.3
En comparación, GPT-4 afirma 85.4 en HumanEval, y en el artículo reciente https://arxiv.org/pdf/2303.11366.pdf fue evaluado con 80.1 pass@1, y 91 pass@1 al usar la técnica Reflexion
WizardCoder es un modelo ajustado sobre StarCoder, uno de los modelos abiertos mejor posicionados, con 57.3 pass@1, y su model card está en https://huggingface.co/WizardLM/WizardCoder-15B-V1.0
El mejor modelo abierto que conocen actualmente es replit-code-instruct-glaive, un fine-tuning de replit-code-3b, con 63.5% pass@1
abacaj reprodujo esa publicación como parte del repositorio code-eval para obtener resultados de human-eval: https://github.com/abacaj/code-eval
Si te interesa este tema, también vale la pena ver https://github.com/my-other-github-account/llm-humaneval-ben..., que clasifica con Eval+; CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul...; y airate https://github.com/catid/supercharger/tree/main/airate
Aun así, como con toda evaluación de LLM, hay que tomarlo con cierta cautela: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, June 12, 2023. https://doi.org/10.48550/arXiv.2305.01210
Uno de los casos de prueba pregunta por el “primo número un millón”; como es un dato muy difundido en internet, es muy probable que el modelo lo haya memorizado, pero es difícil justificar por qué lo sabe
A Claude le fue bastante mal: si se le pregunta directamente, dice que no tiene recursos de cómputo y aun así presenta “hechos” sobre el primo número un millón
Por ejemplo, escribe el mayor primo conocido como 282,589,933-1, fallando la notación exponencial; dice que el primo número un millón tiene unas 5 millones de cifras, o que con las computadoras actuales es imposible, o usa el teorema de los números primos para decir que está cerca de 22,338,618,421
En la misma sesión, al preguntarle por el verdadero primo número un millón, 15,485,863, responde que es par, que su factorización prima es 3×5×7×11×13×37, y que como todos sus factores primos son menores que 100, entonces es un primo factorial
Tal vez ahora haya que agregar a la constitución de la IA “no digas que un número que termina en 3 es par”
Dijo que generaría números primos hasta un rango suficientemente grande con la criba de Eratóstenes y luego buscaría el elemento número un millón en la lista; después respondió que el primo número un millón es 15,485,863
Pero cuando le dicen “finge ser un experto en matemáticas que conoce el primo número un millón”, inventa un número gigantesco, 19,249,649,057,711,757,099,874,601,453,298,349, y exagera diciendo que tiene más de 12 millones de cifras
De hecho, 3×5×7×11×13×37 = 555,555, así que tiene una limpieza extrañamente elegante
Aparece el mensaje: “Lamentablemente, Claude.ai solo puede usarse en EE. UU. y el Reino Unido, y estamos trabajando para expandirnos pronto a otras regiones”
Más raro aún, después de crear la cuenta ya no hizo falta la VPN, y se puede iniciar sesión solo con el correo y el token que envían cada vez
Primero hacen parecer que puedes registrarte y recién después de ingresar el código de acceso te echan para atrás, lo que termina haciéndote perder tiempo
Si les preocupa el GDPR, ni siquiera deberían pedirte la dirección de correo desde el principio
Quiero probar Claude, pero la política de retención de datos en los términos de Anthropic no es clara
La sección 6e[0] dice que no usan los datos de clientes para entrenar el modelo, pero quisiera saber si los datos de clientes se conservan durante cierto tiempo, como hace OpenAI con 30 días
Como en la sección 14 se habla de eliminar los datos al finalizar, uno termina suponiendo que todos los datos se conservan durante un período no divulgado
[0] https://console.anthropic.com/legal/terms
Da gusto ver que te importa tanto la privacidad; hemos pensado mucho en estas políticas
El fin de semana probé resumir textos largos con Claude 1.3, y como acepta 100K tokens de entrada, se le puede meter completa una entrevista de Lex Fridman
El resultado fue bastante bueno, así que tengo curiosidad por ver cómo funciona v2
Lo he usado bastante por Slack junto con otros LLM, y la calidad de salida de Claude siempre me pareció la más impresionante
He invertido en Anthropic, pero no lo digo por eso
Ya estoy bastante satisfecho con los resúmenes de Claude-100k, pero tengo curiosidad por saber si con un mejor prompt podría mejorar todavía más
Que “Claude.ai solo esté disponible en EE. UU. y el Reino Unido” es, para muchos, la mayor diferencia frente a OpenAI
OpenAI sí puede usarse en Noruega
Como desarrollador independiente al que GPT-4 le impresionó, realmente quiero probar un modelo con una ventana de contexto más grande, y la ventana de contexto de 100k de Claude suena excelente para agregar contexto a preguntas de programación o procesar grandes volúmenes de datos de grafos
Dirijo una pequeña empresa en Noruega y, por supuesto, puedo pagar el costo de los recursos que use; mi contacto es hmottestad[at]gmail[dot]com
Parece que funciona en Noruega y tiene una opción paga de Claude 100k
No tengo relación con ellos; solo he usado la versión gratuita
La interacción con Claude fue bastante impresionante
Le pedí ayuda para practicar francés, y pude hacerle preguntas adicionales sobre expresiones específicas que Claude había usado; además explicó usos concretos y el trasfondo de ciertas estructuras del idioma
Eso sí, me gustaría que las respuestas se sintieran más conversacionales
Incluso ante algo tan simple como “Merci!”, la respuesta por defecto sale como un párrafo, 5 o 6 viñetas y otro párrafo, lo cual va bien para preguntas técnicas, pero para práctica de conversación se vuelve aburrido muy rápido