Scraping de video: extraer datos JSON por 0.1 centavos a partir de una captura de pantalla de 35 segundos

• Surgió la necesidad de sumar valores numéricos dispersos en 12 correos electrónicos distintos
• Como daba flojera copiarlos manualmente, se grabó una captura de pantalla mientras se revisaba la cuenta de Gmail y luego se usó Google Gemini para extraer los números de ese video; funcionó sorprendentemente bien

Scraping de video rentable con AI Studio y QuickTime

• Primero, se hizo una grabación de pantalla con QuickTime Player mientras se navegaba por los correos relevantes
• El video grabado de 35 segundos se subió a AI Studio de Google y se le pidió al modelo Gemini que extrajera la información en formato de arreglo JSON
  • Devolvió correctamente un arreglo JSON con fechas y montos en dólares
• Luego se le pidió que lo convirtiera a formato CSV para pegar el resultado en Numbers
• El costo fue extremadamente bajo, de alrededor de 0.1 centavos o menos. Actualmente AI Studio se ofrece gratis

Limitaciones de las alternativas

• Copiar los datos manualmente es tedioso y tiene alta probabilidad de errores
• Usar la API de Gmail es complejo y requiere mucho esfuerzo
• La automatización del navegador requiere una etapa adicional para parsear los correos
• Usar herramientas de IA sofisticadas con acceso a la cuenta de correo conlleva riesgos como prompt injection

Ventajas del scraping de video

• Permite extraer todo lo que aparece en pantalla
• El usuario puede controlar por completo qué contenido exponer al modelo de IA
• No se ve afectado por autenticación de sitios web ni por tecnologías anti-scraping
• No tiene ningún costo de configuración
• Puede usarse a un costo muy bajo
• También podría ser útil en el campo del periodismo de datos

Extra: calculadora de precios para LLM

• El autor también creó por separado una herramienta para calcular precios de tokens
  • Probó usando ChatGPT Code Interpreter, pero hubo errores de cálculo
• Luego creó la calculadora de precios con Claude 3.5
  • Permite configurar manualmente los precios de tokens de entrada/salida o establecer precios por modelo con botones predefinidos
• Todo el proceso de creación se iteró y mejoró en 10 versiones en 19 minutos mediante una conversación con Claude
• La información de precios se obtuvo insertando directamente capturas de pantalla en la conversación para que Claude la extrajera