Anthropic lanza Claude 2.1

• Claude 2.1 está disponible a través de la API y ofrece la experiencia de chat de claude.ai.
• Sus características incluyen una ventana de contexto de 200K tokens, reducción de las alucinaciones del modelo, system prompts y una nueva función beta de uso de herramientas.
• Se prevé una actualización de la política de precios para mejorar la eficiencia de costos para los clientes.

Ventana de contexto de 200K

• Los usuarios de Claude han pedido una ventana de contexto más grande y resultados más precisos al trabajar con documentos extensos.
• Con 200,000 tokens, es posible entregar a Claude aproximadamente 150,000 palabras o materiales de más de 500 páginas.
• Claude puede conversar con grandes volúmenes de contenido o datos y realizar diversas tareas como resúmenes, preguntas y respuestas, predicción de tendencias y comparación de múltiples documentos.

Tasa de alucinación reducida a la mitad

• Claude 2.1 reduce a la mitad la tasa de afirmaciones falsas para mejorar la honestidad.
• Las empresas pueden crear y desplegar aplicaciones de IA en sus operaciones con mayor confianza y fiabilidad.
• Claude 2.1 muestra mejoras en comprensión y capacidad de resumen, especialmente en documentos largos y complejos donde se requiere precisión.

API Tool Use

• Se añade una nueva función beta, "Tool Use", que puede integrarse con los procesos, productos y API existentes del usuario.
• Claude puede orquestar funciones o API definidas por desarrolladores, buscar fuentes web y recuperar información de bases de conocimiento privadas.
• Tool Use se encuentra en una etapa temprana de desarrollo, y se están construyendo funciones para desarrolladores y guías de prompting.

Experiencia para desarrolladores

• Se simplifica la experiencia de la consola para desarrolladores para los usuarios de la API de Claude y se facilita la prueba de nuevos prompts.
• A través del nuevo producto Workbench, los desarrolladores pueden iterar prompts y acceder a configuraciones del modelo para optimizar el comportamiento de Claude.
• Se introducen system prompts para que los usuarios puedan proporcionar instrucciones personalizadas a Claude.

Opinión de GN⁺

• Las características más importantes de Claude 2.1 son la ventana de contexto de 200K tokens y la reducción de la tasa de alucinación, lo que permite a los usuarios procesar documentos y datos más grandes y obtener resultados más confiables.
• Estas funciones muestran el avance de la tecnología de IA y tienen el potencial de transformar el trabajo de empresas y desarrolladores al ofrecer herramientas más eficientes y precisas.
• Este artículo ofrece información interesante sobre las últimas tendencias en tecnología de IA y las nuevas herramientas disponibles para desarrolladores, lo que lo convierte en un contenido atractivo para las personas interesadas en la tecnología.

[GN⁺]

Opiniones de Hacker News

• Lo agridulce del contexto de 200k: decepciona que la tasa de errores aumente bruscamente de 70k a 195k. Aun así, merece reconocimiento la reducción de errores en la parte media.
• Quejas sobre el uso limitado del modelo: Claude no rechaza poco, como sugiere el título. Anthropic está censurando demasiado el modelo, así que es difícil usarlo. El usuario debería decidir la herramienta; la herramienta no debería decidir al usuario.
• Señalan una inconsistencia entre el título y el contenido: la “reducción de rechazos” mencionada en el anuncio no coincide con el contenido real. Claude 2.1 parece ser más propenso a rechazar que a dar información incorrecta.
• Ineficiencia para programar: es 10 veces peor que GPT-4. Al pedir una función simple de sincronización de base de datos, dio mucho pseudocódigo en lugar de código real.
• Impresión negativa del modelo: el modelo de Anthropic ha sido entrenado en exceso para rechazar la mayoría de las solicitudes, por lo que conversar con Claude no resulta agradable.
• Caso de rechazo desde una perspectiva ideológica: se generó una situación humorística cuando rechazó una solicitud de lista de vocabulario para hablar como un altruista eficaz.
• Decepción con Claude 2: al principio había expectativas, pero se considera que su rendimiento está muy por debajo de GPT-4; incluso con una gran ventana de contexto, si la calidad de las respuestas es mala, no tiene sentido.
• Problemas de accesibilidad para usar la API: hay interés en usar la API, pero decepciona no haber recibido respuesta. Da la impresión de poco interés como plataforma para desarrolladores.
• Dificultad para acceder a la API: no hubo respuesta a las solicitudes hechas a través del sitio web de Anthropic o de Bedrock, por lo que el acceso a la API parece inviable como negocio.
• Interés en la introducción del system prompt: llama la atención la incorporación de system prompts para que el usuario pueda dar instrucciones personalizadas a Claude y mejorar el rendimiento. Hay expectativa por la facilidad tanto de uso como de abuso.
• Uso de prueba de Claude y elección de OpenAI: aunque todavía no se usa en producción, se incluye regularmente en pruebas al desarrollar nuevas funciones con LLM. OpenAI obtuvo certificaciones más rápido y salió antes al mercado, y su API es mejor, más confiable y más barata. Pero con la inclusión de Claude en AWS Bedrock, ahora son posibles cosas que antes no lo eran.