- Guía sistematizada de todo el proceso, desde elegir la funcionalidad correcta hasta implementarla y mejorarla, basada en la experiencia práctica que PostHog obtuvo al desarrollar durante 12 meses la funcionalidad de IA Max AI
- Las funcionalidades de IA pueden empeorar el producto si resuelven problemas lentos, poco confiables o sin sentido, por lo que hay que aprovechar patrones probados (búsqueda/resumen de datos, generadores, uso de herramientas)
- En la etapa de implementación, el contexto y la gestión de estado de la app son clave; hay que guiar a la IA en la dirección correcta con planeación de consultas y enrutamiento condicional, y prepararse para fallas con monitoreo y guardrails
- Para la optimización de velocidad, hay que seguir de forma continua los benchmarks de modelos, mezclar modelos rápidos y lentos según la tarea, y aprovechar el procesamiento asíncrono
- Para la evaluación y mejora continuas, hay que agregar evals desde la etapa inicial, ejecutar pruebas A/B, evitar que el conocimiento de IA quede aislado y distribuir la experiencia en IA a todo el equipo
Elegir qué construir
- Hay que reconocer que la IA puede empeorar el producto y evitar construir funcionalidades equivocadas que resuelvan problemas demasiado lentos, poco confiables o que a nadie le importan
1. Aprender los patrones en los que la IA destaca
- Copiar patrones de IA ya probados para combinar patrones de UX familiares para el usuario con funcionalidades que la IA realmente hace bien
- Primer patrón: “conversar con documentos/datos/PDF” - la IA sobresale en búsqueda y resumen, y eso se puede aprovechar para generar reportes y recomendaciones (ej.: Fin de Intercom, chat de documentación de Mintlify)
- Segundo patrón: varios tipos de generadores - generan títulos, código, documentos, SQL, imágenes, filtros, etc. (ej.: Lovable, Bolt.new, Figma, Rippling, Notion)
- Tercer patrón: uso de herramientas - la IA aprovecha herramientas bien definidas para automatizar y mejorar flujos de trabajo (ej.: servidores MCP, Zapier, Atlassian, Asana)
- Max AI de PostHog aprovecha varios patrones
- Conversar con datos y documentación
- Generación de insights en SQL y de filtros
- Uso de herramientas como generación de encuestas e insights analíticos
- Más adelante planean ampliar el uso de herramientas, como ver y analizar automáticamente grabaciones de sesión
2. Identificar problemas que la IA puede resolver
- Revisar tareas a lo largo de todo el producto enfocándose en el valor que la IA puede aportar
- Tareas únicas y claras que toman más de 30 segundos: llenar formularios largos, entrada manual de datos, configuración de integraciones, instalación de SDK, etc.
- Casos donde se requiere usar un lenguaje o una interfaz que el usuario no entiende: UI complejas, consultas SQL, creación de apps, etc.
- Tareas repetidas 20 veces o más: redactar descripciones, escribir resúmenes, crear elementos, etc.
- Consejo de Stephen Whitworth de incident.io: enfocarse menos en “cosas nuevas e increíbles que la IA puede hacer” y más en “cosas que los usuarios hacen 100 veces al día y que la IA puede mejorar”
- Ejemplo: los usuarios prefieren mucho más los resúmenes de incidentes generados automáticamente que escribirlos manualmente, y hoy el 75% de esos resúmenes se generan con IA
- Casos de uso en PostHog
- Asistente de instalación con IA: redujo el tiempo de instalación de PostHog de unos 10 minutos a 90 segundos
- Traducción a SQL en Max AI: permite escribir consultas SQL complejas fácilmente en lenguaje natural, para que incluso usuarios no familiarizados con SQL puedan crear insights personalizados
3. Validar que el problema sea específico y valioso
- Hay que acotar el alcance a problemas específicos y valiosos
- Errores que conviene evitar
- Aplicar patrones existentes a problemas sin valor: en un producto simple en etapa inicial, una función de “conversar con documentos” es innecesaria y puede ocultar problemas clave de usabilidad
- Intentar resolver con IA un problema demasiado grande: la IA no te va a hacer ganar mil millones de dólares; primero conviene resolver un problema acotado y luego expandir
- Al construir Max, identificaron rápido que preguntas demasiado amplias como “¿cómo aumentamos ingresos?” no eran efectivas
- En cambio, se enfocaron en funcionalidades concretas integradas en PostHog que aprovechan el contexto del usuario dentro de PostHog
- Ejemplo: Max puede escribir mejor SQL porque sabe qué tablas están disponibles, y como entiende las herramientas integradas que puede usar, puede responder preguntas sobre el producto con visualizaciones nativas
Implementar la idea
- Enfocarse en los elementos clave para comprobar que lo que se quiere construir realmente funcione
4. El contexto y el estado de la app son clave
- Cualquiera puede llamar a la API de OpenAI, pero el contexto de la app es único
- Datos que se pueden incluir
- Lo que el usuario intenta hacer
- Quién lo está haciendo
- El estado de la cuenta
- En qué parte de la app está
- El esquema de datos de la app
- Información que recibe la API cuando a Max le preguntan “¿por qué bajaron los registros la semana pasada?”
- Página actual (dashboard, insights mostrados, filtros aplicados, rol del usuario)
- Esquema de datos (eventos disponibles, propiedades de eventos, propiedades de personas)
- Cuenta (tier de la organización, zona horaria, período de retención)
- Ejemplo de código para formatear el contexto de la UI
- Información del dashboard (nombre, insights mostrados, filtros aplicados, rango de fechas)
- Información del insight (nombre, tipo de consulta, evento analizado, desglose)
- También es esencial manejar el “contexto” (estado) dentro del flujo de trabajo
- Hay que evitar que el contexto se pierda a medida que avanza la conversación, especialmente cuando hay varios subagentes
- Guardar e incluir el contexto en todas las partes del workflow
- Optimizar contexto y elegir el modelo correcto es más efectivo y útil que hacer fine-tuning del modelo
5. Guiar a la IA hacia el éxito con planeación de consultas y enrutamiento condicional
- Si dejas a la IA sin restricciones, puede tener todo tipo de comportamientos inesperados, así que necesita guía para tener éxito
- Implementarlo orquestando y conectando varias etapas: planeación de consultas → recuperación de datos → visualización
- Además de la gestión de estado, también se necesita
- Que la IA reconozca las herramientas y datos que puede usar
- Que pueda elegir las herramientas y datos correctos según la tarea deseada
- Verificar que herramientas como la ejecución y el formateo de consultas realmente funcionen
- Ejemplo del router de más alto nivel de PostHog
- Determinar si hay que generar un insight
- Determinar si hay que buscar documentación
- Determinar si se trata de un tema de facturación
- Cada nodo del router tiene sus propias condiciones para conectarse con los datos y herramientas adecuados para la tarea
- Así se asegura que la IA tenga los componentes necesarios para completar el trabajo y aumentan las probabilidades de éxito
6. Prepararse para fallas con monitoreo, guardrails y manejo de errores
- La estructura que construiste ayuda a evitar fallas, pero al final la IA chocará con los guardrails, así que es indispensable ponerlos
Monitoreo
- Implementar monitoreo desde el inicio para saber cuándo aparecen problemas
- Consejo de Georgiy, del equipo de Max AI
- Monitorear trazas en producción es indispensable
- Construyeron herramientas de monitoreo para dogfooding, y ojalá las hubieran tenido desde el principio
- Monitorear trazas se vuelve más difícil a escala, así que la evaluación en línea será útil (siguiente prioridad)
- Revisar 100 conversaciones ya es difícil; revisar 1,000 al día es imposible
- Esas conversaciones contienen preguntas y dificultades reales de los usuarios, y entregan todos los insights necesarios para construir agentes
Prevención de alucinaciones
- La IA alucinará todo lo que pueda alucinar, así que hay que explicitar los datos que debe configurar directamente y las reglas que debe seguir
- Ejemplos de reglas del asistente de instalación con IA
- Nunca alucinar una API key. En su lugar, usar siempre la API key ya completada en el archivo
.env
- No agregar comentarios placeholder como “
// en la app real...”
- No modificar lógica de negocio existente ni agregar código de simulación
- No importar paquetes o librerías nuevas que no se estén usando ya
- No asumir que hay librerías de autenticación disponibles (Clerk, Auth.js, etc.)
Guardrails para el usuario
- Cuando ven una caja de texto vacía, las personas se asustan y se les olvida todo
- Solución: agregar sugerencias sobre cómo usar la funcionalidad de IA, guiarlos en la dirección correcta y recordarles lo que pueden hacer
Manejo de errores
- Como los workflows a veces se interrumpen, hay que manejarlo con elegancia con reintentos y rate limiting
- Para usuarios avanzados, se puede configurar análisis de LLM, seguimiento de errores y feature flags
- PostHog ofrece las tres cosas (una coincidencia conveniente)
Mejorar la funcionalidad
- Como los modelos de IA evolucionan rápido y de manera impredecible, las funcionalidades de IA requieren más mantenimiento y mejora continua de lo que uno esperaría
7. Evitar silos de conocimiento sobre IA
- Construir funcionalidades de IA no debería ser responsabilidad de una sola “persona de IA” dentro del equipo
- La IA debe integrarse profundamente en el producto, y eso requiere la experiencia de quienes hablan con los usuarios y construyen cosas para ellos
- Recomendaciones
- Construir primitivas y hacer que las funciones de IA sean componibles: así el equipo no tiene que reinventar prompts, streaming, consentimiento, evals y analítica, y puede enfocarse en funciones de IA únicas y de valor agregado
- Mantener patrones de UX consistentes en toda la app: en el caso de PostHog, eso lo cumple Max, evitando la confusión que generarían miles de widgets de IA
- Insertar temporalmente expertos en IA dentro de los equipos: para ayudar a construir funciones de IA más rápido y distribuir el conocimiento de IA por toda la organización (algo que hizo el equipo de Max AI)
8. Enfocarse en la velocidad
- Uno de los grandes desafíos de las funcionalidades de IA, sobre todo las complejas, es la lentitud
- Los workflows muchas veces implican múltiples llamadas a proveedores de LLM, lo que puede traducirse en mucha latencia
- Puede ser especialmente frustrante cuando existe otra forma de completar la tarea en la app o el sitio web
- Consejo de Rahul Vohra, fundador de Superhuman: “la velocidad gana”
- Ejemplos: Instant Reply o Auto Summarize
- Gmail y Outlook también tienen funciones similares, pero tienen que generar la respuesta o el resumen cuando se solicita y hay que esperar a que termine
- En Superhuman, eso se precalcula para que siempre esté disponible al instante, y esa diferencia tan simple tiene un impacto enorme en la experiencia de usuario
Cómo mejorar
- Seguir benchmarks de modelos y estar al tanto de nuevos lanzamientos: cuando sale un modelo mejor y más rápido, probarlo y usarlo puede generar la mayor mejora tanto en funcionalidad como en velocidad (usando análisis de LLM)
- Mezclar modelos rápidos y lentos según la tarea
- Para generación de títulos, filtros de reproducción de sesiones, resúmenes de encuestas y búsqueda de insights, usan modelos rápidos (
gpt-4.1-mini, gpt-4.1-nano)
- Para generación de esquemas, manejo de conversaciones y gestión de contexto, usan modelos lentos (
gpt-4.1)
- Usar procesamiento asíncrono: tareas de IA complejas como resumen de sesiones y extracción de patrones se ejecutan de forma asíncrona mediante workflows de Temporal, para no bloquear la interacción del usuario. Después se cachean en Redis, lo que permite reintentos sin recalcular
9. Monitorear y evaluar continuamente la efectividad
- No porque una funcionalidad nueva sea ✨ IA ✨ hay que juzgarla con menos rigor
- Una mala idea puede empeorar el producto, y los cambios en el modelo pueden afectar negativamente la experiencia sin que el usuario lo note
Cómo evaluar la efectividad
- Agregar evals temprano: incluso un pequeño dataset golden o sintético ofrece una mejora enorme de rendimiento frente a un ciclo de desarrollo común. A escala, también fue más fácil de implementar de lo esperado y acelera la creación de futuras funcionalidades
- Pruebas A/B: comparar la funcionalidad con IA con la experiencia normal, y probar distintos prompts, contextos, workflows, etc.
- Revisar la tasa de uso de IA entre distintos tipos de clientes (ej.: usuarios gratis vs enterprise, producto vs ventas)
- Descubrieron que los product managers y marketers usan Max más seguido que los ingenieros de producto, que eran su perfil de cliente ideal, lo que los llevó a reconsiderar el roadmap
- Permitir que los usuarios califiquen las respuestas de la IA como buenas o malas: si califican una respuesta como mala, pedir más detalles y usar eso para ajustar contexto, prompts y workflows
- Comparar uso con IA vs sin IA: usar métricas existentes de activación y retención para entender en qué parte del producto y del ciclo de vida del usuario encaja mejor la IA y si está teniendo un impacto positivo
Cierre
- Estas 9 lecciones no son independientes; funcionan juntas
- Es un error saltarse todo lo demás y pensar que optimizar evals al final equivale a construir un gran producto
- El objetivo es construir algo valioso para el usuario, no una demo técnica llamativa
- Que algo tenga IA no significa que el usuario le vaya a encontrar valor
- Todo lo que aprendimos sobre construir grandes productos sigue aplicando
- Hablar con los usuarios
- Lanzar rápido
- Ejecutar experimentos
- Iterar
Aún no hay comentarios.