Notas sobre la nueva herramienta de analysis con ejecución de código JavaScript de Claude

• Anthropic lanzó el "Analysis Tool" para la interfaz de chatbot de Claude.ai
• Esta herramienta es similar al modo de intérprete de código de ChatGPT de OpenAI y permite que Claude escriba y ejecute código para usar los resultados en la conversación
• Los usuarios pueden activar esta función desde la página de banderas de funciones de Claude

Cómo funciona la ejecución de código JavaScript

• El intérprete de código de ChatGPT y Google Gemini funcionan escribiendo código Python y ejecutándolo en un servidor sandbox seguro
• Claude usa JavaScript en lugar de Python y se ejecuta directamente dentro del navegador
• Se ejecuta en un Web Worker restringido y se comunica con la página principal mediante la intercepción de mensajes de console.log()
• Está implementado como una herramienta llamada repl, y se le puede pedir a Claude mediante un prompt la descripción de la función repl

repl

• repl es un REPL de JavaScript
• Se usa para problemas matemáticos complejos o para analizar archivos grandes de usuarios
• Puede leer datos de archivos compartidos con la función fs.readFile()
• Se pueden usar bibliotecas como Lodash y Papa Parse
• No es un entorno Node.js y se debe usar sintaxis de importación estilo React
• La interacción entre la herramienta de análisis y Claude Artifacts es algo confusa
  • El código de la herramienta de análisis no está en un entorno compartido con Artifact
  • Para reutilizar el código de la herramienta de análisis en Artifact, hay que reescribir todo el código
• Los archivos subidos se agregan al contexto actual de Claude, por lo que hay límites de tamaño y solo funcionan formatos de texto

Resumen de GN⁺

• La nueva herramienta de análisis de Claude se diferencia de ChatGPT y Google Gemini porque está basada en JavaScript y se ejecuta directamente en el navegador
• Parece útil para tareas de análisis de datos porque incluye capacidad de procesamiento de archivos
• Sin embargo, todavía solo admite archivos de texto y su integración con Artifact es algo limitada, por lo que aún hay espacio para mejorar
• Para los usuarios que prefieren soluciones basadas en Python como las de OpenAI o Google, podría resultar algo extraña
• Se espera que su utilidad aumente aún más si en el futuro se añaden funciones como manejo de archivos binarios o compatibilidad con SQLite

[GN⁺]

Comentario de Hacker News

• Es interesante la idea de ejecutar JavaScript del lado del cliente para reducir costos del servidor

  • Anthropic probablemente obtenga ahorros al no tener que ejecutar el servidor cada vez

• En las instrucciones personalizadas para el modelo se indica: "Esto es similar a la sintaxis antArtifact usada en Artifacts, pero no es lo mismo"

  • Resulta curioso el tono de disculpa hacia el modelo en el prompt del sistema

• Estaba buscando el patrón correcto para ejecutar código JavaScript no confiable en un sandbox del navegador, y parece que Anthropic ya resolvió eso

  • Su código JavaScript está tan ofuscado que es difícil hacer ingeniería inversa

• Probé pruebas de generación de código con Claude y ChatGPT

  • Al trabajar con Python, Sonnet (antes de la versión 3.5) era mejor que ChatGPT en legibilidad, estructura y comprensión del prompt
  • Después de cambiar a un proyecto en JavaScript, Sonnet 3.5 se volvió más verboso y requirió correcciones, mientras que ChatGPT fue más conciso y preciso
  • Estoy atento a si Claude mejorará al enfocarse en JavaScript

• duckdb-wasm sería una buena incorporación

  • Lo están usando en Definite y tienen una opinión positiva de duckdb

• JavaScript es el lenguaje perfecto para este trabajo

  • Espero un entorno de programación en sandbox donde la IA pueda actuar con libertad

• Es un gran avance, pero no creo que sea muy útil hasta antes de perder el contexto

  • Tengo grandes expectativas sobre Anthropic y me alegra que no se haya convertido en un mercado donde el ganador se lo lleva todo, como predije en 2021