Entrenar nuestro propio modelo de IA

• PostHog está intentando entrenar modelos con datos internos para crear productos más proactivos y autónomos, después de AI installation wizard, PostHog AI y MCP
• El objetivo principal es PostHog Code, para respaldar una dirección de producto que encuentre y ejecute respuestas y soluciones por sí mismo, y mejore con el tiempo
• Busca mejorar el análisis de session replay, las pruebas con usuarios sintéticos y la predicción del comportamiento del usuario para reducir el costo de detectar problemas y encontrar errores y puntos de confusión antes del despliegue
• Los datos de entrenamiento se anonimizan y solo se usan datos que ya existen en la instancia de PostHog; no se venden ni se envían a proveedores de modelos de terceros
• EU Cloud y los clientes con contratos que limitan el entrenamiento quedan excluidos por defecto, mientras que US Cloud queda incluido por defecto; los usuarios pueden optar por salir antes del 29 de junio

---

El plan de PostHog para entrenar su propio modelo de IA

• Durante el último año, PostHog ha añadido funciones de IA a su producto, como AI installation wizard, PostHog AI y MCP, y ahora quiere crear productos más proactivos y autónomos
• La siguiente etapa de PostHog apunta a construir productos que encuentren y ejecuten respuestas y soluciones en nombre del usuario, y que mejoren con el tiempo
• PostHog Code, actualmente en beta, es el producto clave de esa dirección, y para hacerlo posible quieren entrenar un modelo con datos internos de PostHog

Funciones que quieren crear

• El objetivo es hacer que los productos existentes sean más inteligentes y proactivos, y ayudar a los equipos a crear mejores productos más rápido con productos nuevos como PostHog Code

• Análisis de session replay

  • PostHog AI ya puede detectar problemas en los replays, pero el costo es alto y no resulta adecuado para escalar a gran tamaño
  • Para usar los replays con fuerza a gran escala, como cuando se diagnostican problemas de usuarios individuales, se necesita un modelo entrenado con los datos subyacentes que componen esos replays

• Pruebas con usuarios sintéticos

  • Las pruebas con usuarios sintéticos son la idea de usar conocimiento sobre el comportamiento del usuario para encontrar puntos donde los usuarios podrían confundirse o flujos que podrían romperse antes de desplegarlos en producción
  • A medida que mejoran los modelos de código, el trabajo de pruebas y revisión está creciendo mucho, y PostHog quiere automatizar ese trabajo para que los usuarios se enfoquen en el producto mismo

• Predicción del comportamiento del usuario

  • Si mejora la predicción del comportamiento del usuario, se podrían sugerir cambios que aumenten la conversión y reduzcan la frustración del usuario incluso en funciones ya desplegadas
  • Si se logra automatizar, disminuirá el tiempo de análisis manual y también los tokens consumidos en ese proceso
  • Estas ideas siguen siendo experimentales, y hará falta iterar hasta encontrar cómo entrenar el modelo de manera efectiva y qué datos resultan realmente útiles
  • PostHog basa este intento en el hecho de que la IA les ha dado buenos resultados cuando hace que el producto sea más simple o más potente

Cómo funcionará y principios de uso de datos

• Este plan se centra en reforzar las funciones existentes y ofrecer capacidades que mejoren el producto de forma más proactiva
• Muchas herramientas se enfocan en ofrecer el mejor código posible, pero PostHog quiere enfocarse en hacer que el producto del usuario en sí sea mejor
• Por eso describen a PostHog Code como un editor de producto
• La principal preocupación es que se usarán datos alojados en PostHog para entrenar el modelo, y PostHog quiere comunicarlo abiertamente en lugar de esconderlo dentro de una actualización de términos

• Aplicación por defecto

  • Los usuarios de instancias EU Cloud quedan excluidos por defecto
  • También quedan excluidos por defecto los usuarios con contratos que impidan el entrenamiento, como BAA, MSA o acuerdos similares
  • Todos los demás usuarios de instancias US Cloud quedan incluidos por defecto

• Procesamiento de datos y limitaciones

  • Antes de usarse para entrenamiento, todos los datos se anonimizan
  • Solo se usan datos que ya existen dentro de la instancia de PostHog del usuario
  • El entrenamiento del modelo lo realiza directamente PostHog
  • No venden ni envían datos de usuario a proveedores de modelos de terceros

• Opción de salida

  • Los usuarios pueden optar por salir en cualquier momento desde la configuración de organización de PostHog
  • Cambiar la configuración de la organización requiere permisos de administrador
  • El entrenamiento no comenzará hasta el 29 de junio, así que los usuarios tienen tiempo para decidir

Plan de comunicación

• PostHog planea enviar un correo a todos sus clientes dejando claro el propósito
• Para los usuarios que no leen correos, también notificará a todos mediante avisos dentro de la app
• El plan es comunicarlo públicamente
• El objetivo es mejorar el producto de PostHog para los clientes, no exponer ni vender modelos entrenados con datos de usuarios ni monetizar esos datos

Por qué no es opt-in sino opt-out

• Eligieron inclusión por defecto con opt-out en lugar de opt-in por defecto porque, de otro modo, no reunirían suficientes datos como para entrenar un modelo realmente útil
• Si un usuario decide salir, no podrá usar las nuevas funciones construidas con esos modelos
• Los usuarios excluidos por defecto, como los de instancias EU Cloud, pueden optar por entrar manualmente si su acuerdo legal con PostHog no lo impide
• PostHog eligió anunciarlo con anticipación en lugar de desplegarlo silenciosamente
• PostHog también está contratando investigadores de IA para trabajar en esto

[GN⁺]

Opiniones en Hacker News

• “opt-in por defecto” es una contradicción. Si es el valor predeterminado, no di mi consentimiento; simplemente viene activado por defecto

  • Esto también me frustra. Si es opt-in, significa que no estás incluido por defecto y que puedes elegir participar si quieres
    Si es opt-out, significa que estás incluido por defecto y que puedes salirte si quieres, pero hoy en día se usa al revés, así que hay que agregar una explicación
    Recuerdo haber visto antes una publicación sobre telemetría con opt-in de verdad, y aun así el comentario más votado la atacaba creyendo que era “incluido por defecto”. Siento que esta palabra ya casi llegó a significar lo contrario
  • “opt-in por defecto” es simplemente opt-out. Ya existe un término para eso
  • Qué maravilla eso de “hacerte consentir” por defecto
  • Totalmente. Estaba considerando PostHog, pero esta redacción se ve muy engañosa y me quita las ganas
  • Los CEO siempre salen con juegos de palabras tramposos

• PostHog era uno de esos sistemas que configuras una vez, revisas de vez en cuando y te da algo de valor, y en general era inofensivo dejarlo ahí
  Pero ahora se convirtió en otra herramienta más que hay que mirar con sospecha activamente, y si los valores por defecto siguen yéndose en una dirección insoportable, es más fácil sacarlo del sistema y seguir adelante

  • PostHog era una gran solución de analítica por su enfoque developer-first, sus buenas herramientas y un precio razonable
    Ya ni puedo contar cuántas veces he visto el mismo patrón de empresas exitosas que cambian a medida que crecen en los últimos 20 años. En plena fiebre de la IA, PostHog también se lanzó de lleno, y parece estar explorando incluso cosas como herramientas no-code
    Supabase también era genial, pero ahora da la impresión de haberse metido en el abismo de la IA. Tal vez el único que no cambia soy yo, y el problema soy yo, y debería aceptar a los nuevos señores de la IA e irme todo-in con IA

• La mayoría de las empresas habría escondido este cambio en una actualización aburrida de términos, pero ellos dicen algo como que valoran la transparencia, así que publican lo que necesitas saber en una lista numerada amigable para internet
  Los usuarios de instancias cloud de la UE quedan excluidos por defecto, y también los usuarios con contratos que impiden el entrenamiento
  Fuera de eso, los usuarios de instancias cloud de EE. UU. quedan incluidos por defecto
  Dicen que anonimizarán todos los datos antes del entrenamiento, que solo usarán datos que ya están dentro de la instancia de PostHog y que harán el entrenamiento ellos mismos, sin vender ni enviar datos a proveedores de modelos de terceros
  También dicen que puedes salirte en cualquier momento desde la configuración de la organización, que se requieren permisos de administrador y que el entrenamiento no comenzará hasta el 29 de junio, así que hay tiempo de sobra para decidir

  • Qué bien eso de “fuera de eso, los usuarios de instancias cloud de EE. UU. quedan incluidos por defecto”. O sea, la empresa decide a qué “consintió” el usuario y no hace falta ninguna acción del usuario
    Entonces yo también voy a poner este fin de semana tu tiempo como “voluntariado” para reconstruir mi terraza. No te preocupes, ya lo marqué como voluntario por ti
  • Si tu modelo de negocio es “sabemos que no se va a juntar suficiente data si los usuarios tienen que consentir directamente, así que vamos a incluir a todos”, creo que es momento de replantearlo
  • No existe tal cosa como opt-in por defecto. Este tipo de decisión que quema la buena voluntad del cliente es algo que solo se puede permitir una empresa con mucha más cuota de mercado y cuyos clientes tienen más difícil irse
    Mejor habrían ofrecido un descuento a quienes aceptaran
  • La defensa de “valoramos la transparencia” se ve bastante mal. Está bien avisarlo con claridad, pero no quiero que mi sistema de analítica escriba código
    Ya hay competidores más avanzados que lo hacen mejor, y preferiría conectar algo así al análisis de PostHog
  • Lo importante en eso de “anonimizaremos todos los datos antes del entrenamiento” es qué estándar de anonimización están usando. Si es el estándar del GDPR, el umbral es muy alto
    Habría que revisar si “fuera de eso, los usuarios de instancias cloud de EE. UU. quedan incluidos por defecto” también abarca a usuarios finales de la UE. Como los datos personales se obtuvieron directamente del titular, aplica la obligación de información del Artículo 13 del GDPR
    Una omisión del Artículo 13 no se puede corregir retroactivamente después. Tendrían que poder demostrar que todos sus clientes dieron un aviso del Artículo 13 suficientemente amplio para cubrir este tratamiento. Y casi con seguridad también entraría dentro del alcance de 3(2)(b)

• Excelente recordatorio de que debería construir mi propia herramienta de analítica y autoalojarla. PostHog acaba de perder un cliente
  Habría sido fácil mandar un correo a cada cliente preguntando si quería participar; hacer este tipo de suposición demuestra falta de criterio de producto no solo hacia sus propios clientes, sino también hacia los clientes de sus clientes. Adiós

  • No quiero sonar sarcástico, pero me da curiosidad por qué no simplemente hacer opt-out en vez de construir tu propia plataforma de analítica con “vibe coding”
    Me incomoda que usen mis datos para entrenamiento de IA, pero mi preocupación principal es a dónde van esos datos y si se me notifica y lo sé. Aquí PostHog está dando respuestas razonables a esas preguntas

• Llevaba meses dudando si cambiarme, y los nuevos productos de IA y la interfaz rara ya me venían molestando. Esto es el último clavo en el ataúd
  Me parece que el opt-in es un modelo de negocio terrible

  • De acuerdo. No me preocupa tanto como para arrancarlo de un producto existente, pero definitivamente no lo voy a agregar a ningún producto nuevo
    Recuerdo cuando la gente aplaudía el rediseño web “OS”. Era la complicación de UX más confusa e innecesaria cuando intentabas encontrar una session replay para depurar. Después terminaron agregando navegación en la esquina superior derecha

• ¿“opt-in por defecto” no es, al final, opt-out?

  • opt significa elegir o escoger una alternativa. O son incompetentes, o están mintiendo a propósito

• Ya es bastante claro, pero hay algo que decir sobre las empresas con esa vibra de ingenio tipo SF
  Cosas como el rediseño OS, “documentos legales sexys”, correos con títulos raros o una tienda de merchandising que vende figuras de acción del CEO
  Puede ser una ventaja cuando intentas aumentar la adopción con movimientos amistosos hacia el usuario. Pero cuando buscas crecer ingresos tomando decisiones en contra del usuario, se vuelve insulto sobre insulto
  No quiero convertir esto en una discusión general de que la tecnología no debería ser divertida, pero cuando el mensaje no coincide con las decisiones del liderazgo, el problema se vuelve enorme

  • Empezó bien. Era una herramienta de analítica enfocada en desarrolladores y se sentía fresca frente a la competencia
    Pero parece que hasta las cosas buenas se acaban, y más aún si hablamos de empresas. En los últimos 2 años se fue por un rumbo completamente raro, y la IA ha empeorado todo
    Supongo que toca volver a revisar proyectos open source

• La lógica es: “¿por qué opt-out y no opt-in? En pocas palabras, porque si no, no habría suficientes datos para entrenar un modelo realmente útil”
  Si la gente no quiere consentir explícitamente para entregar sus datos a otro antiservicio de IA, eso significa que no quiere hacerlo; qué raro, ¿no?
  Si la única forma de obtener los datos es “asumir que podemos tomarlos y hacer que te tengas que oponer”, me pregunto qué significará eso. Un misterio imposible de resolver, supongo

• Esto debería servir como lección de mala comunicación. Fue un gran error no dejar claro qué es lo que están entrenando
  Este anuncio expone perfectamente las desventajas de la filosofía de marca exageradamente llamativa de PostHog

• Cada día agradezco más la legislación de la UE. Ya no tengo nada más que decir por ahora

  • Esa legislación es moralmente defendible por sí misma. Pero cuando miras el sistema completo, pasa algo interesante
    La ley de la UE frena las tácticas de extracción de datos y de lock-in de plataforma que Big Tech ya usó para convertirse en monopolio
    Pero las grandes plataformas no tienen que revertir las ventajas que ya obtuvieron, ni pagar por prácticas que ahora están restringidas y consideradas ilegales. Así que pueden seguir extrayendo renta tranquilamente desde una posición ya consolidada, mientras a todos los demás se les niega la escalera por la que ellos subieron
  • Eso solo se siente así hasta que ves las tasas de crecimiento económico de Europa y Estados Unidos desde 2008