Fundador de fintech acusado de fraude; se revela que una app de IA era operada por personas en Filipinas

• Albert Saniger, fundador y ex CEO de Nate, fue acusado por el Departamento de Justicia de EE. UU. de engañar a inversionistas
• Nate era una startup fintech fundada en 2018 que afirmaba ofrecer una experiencia de “checkout universal” basada en IA
• Recibió más de 50 millones de dólares en inversión de firmas como Coatue y Forerunner Ventures, y en 2021 levantó una Serie A de 38 millones de dólares liderada por Renegade Partners

Una app de compras con IA que en realidad funcionaba a mano

• Nate afirmaba que la IA gestionaba automáticamente las compras en todos los sitios de comercio electrónico, pero en realidad cientos de trabajadores de un centro de llamadas en Filipinas procesaban manualmente los pedidos
• El Departamento de Justicia sostiene que el nivel de automatización de Nate era prácticamente 0%
• Para atraer inversión, promocionó que “la IA procesaba todo sin intervención humana”, pero la mayor parte del trabajo era realizada por personas
• Aunque hubo cierta adopción de tecnología de IA y contratación de científicos de datos, no se logró una automatización funcional

Denuncia interna y caída de Nate

• En 2022, un reportaje de The Information expuso cómo funcionaba realmente Nate
• Saniger figura en LinkedIn como fuera del cargo de CEO desde 2023
• Nate vendió sus activos en enero de 2023 por falta de fondos, y los inversionistas perdieron casi todo su dinero
• Actualmente, Saniger figura como managing partner de Buttercore Partners, pero no ha emitido una postura oficial

Los casos de exageración sobre tecnología de IA continúan

• Además de Nate, The Verge informó en 2023 sobre una startup de software de “drive-thru con IA” que en realidad dependía principalmente de trabajadores en Filipinas
• Más recientemente, Business Insider informó que la startup unicornio de tecnología legal con IA EvenUp en realidad hacía que muchas tareas fueran realizadas por personal humano

[aer0700]

Últimamente, a veces se ven negocios que se promocionan diciendo que automatizan con IA tareas que ya se resolvían bien desde antes, o que están implementados en Rust, etc.
Están haciendo ~.
Siento que al final habría que juzgarlos solo por eso. Ya sea que usen IA o que esté implementado en Rust, lo que corresponde es evaluarlos por qué tan bien hacen ~; desde la perspectiva del usuario o del inversionista, no parece tan importante con qué medio interno lo implementaron. Si han publicado el código, desde la perspectiva de un desarrollador sí puede dar curiosidad, claro.

[GN⁺]

Comentario en Hacker News

• Me recordó un artículo de hace 2 años y mi comentario en HN. Es otra ruta típica de una startup de IA

  • Alguien descubre un problema interesante que podría resolverse con ML/IA e intenta resolverlo por su cuenta
  • Piensa: "El modelo funciona más o menos. Es lo bastante útil como para que otros paguen por él"
  • Lanza una API de pago, una startup SaaS, etc., y consigue algunos clientes
  • Se hace evidente que el enfoque de ML/IA no generaliza. Como la reputación importa, contratan personas para resolver el problema
  • El rendimiento del modelo cae y el trabajo humano se vuelve una parte importante de todo el flujo de trabajo
  • Alguien escribe un artículo diciendo que usan mano de obra barata

• En el self-checkout de un supermercado me señalaron como posible ladrón mediante análisis de video de CCTV. (Por supuesto, fue un análisis incorrecto). Al salir de la tienda, me pregunté si era análisis de software o si alguien en India o Filipinas me estaba vigilando en tiempo real

• Siempre me pregunté por qué no hubo preocupación del DOJ cuando Amazon Go hacía lo mismo

  • Amazon Go: al principio dejó claro que estaba probando la tecnología "Just Walk Out", y en la comunidad técnica se sabía que humanos revisaban los edge cases a través de los feeds de video
  • Decían que la tecnología eventualmente mejoraría y que el respaldo humano era principalmente para datos de entrenamiento y aseguramiento de calidad
  • No dijeron: "Ahora funciona 100% con IA sin ayuda humana"
  • Nate: afirmaba que ya estaba completamente automatizado
  • El CEO dijo explícitamente que la IA hacía todo el trabajo y que solo usaban contratistas para edge cases poco frecuentes
  • Según el DOJ, en realidad los humanos hacían todo y la IA era solo una herramienta de marca
  • A los inversionistas les decían que era una plataforma de software, pero en realidad era un BPO

• Me pregunto en qué momento esto pasa a considerarse "fraude". Casi todas las aplicaciones de "IA" tienen mucho respaldo humano. Waymo tiene conductores humanos que pueden operar el vehículo de forma remota cuando se detiene. Las tiendas Amazon Go en realidad eran operadas por equipos en India. Las empresas llevan 10 años afirmando que están "impulsadas por IA"

  • Probablemente porque los inversionistas vieron los márgenes y detectaron una enorme partida offshore. De otro modo, la "tasa de automatización" es una cifra demasiado ambigua para que los inversionistas la sigan
  • Este tipo de engaño convierte a inversionistas inocentes en víctimas

• En los últimos 5 años ha habido muchas startups con alguna variante de "la IA ahora puede automatizar la interacción con empresas que ya no quieren interactuar contigo". Esto es común en salud, fintech, compras de consumo, etc.

  • Van a automatizar con llamadas de IA la disponibilidad de proveedores, las citas y las reservas
  • Van a vender un dispositivo de consumo que automatice todas las interacciones con apps usando un "modelo de acción a gran escala"
  • Van a automatizar con un screen scraper de IA las interacciones de reclamos de hospitales con aseguradoras de salud
  • Si un empleado hace una tarea una vez en una herramienta de software empresarial, la IA la automatizará para siempre y conectará todos los sistemas de proveedores sin programación personalizada
  • Con IA se podrá comprar automáticamente en cualquier sitio web

• La mayoría de las startups no son un "fraude". Empiezan con las mejores intenciones (fundadores técnicos calificados, mercado objetivo real, clientes dispuestos a pagar si funciona), pero terminan fracasando, pivotando por completo o recurriendo al fraude en un intento equivocado de sobrevivir

  • El problema es que están tratando de usar tecnología para resolver un problema humano. El estado actual del mundo es que el proveedor de servicios del otro lado de la ecuación no quiere intermediación ni quiere volverse una commodity. No van a alinearse con la automatización
  • Si perfeccionas la manera de llamarlos con un robot, no van a contestar el teléfono. Si perfeccionas cómo automatizar su app de iPhone en nombre de un usuario, van a bloquear rangos de direcciones IP y mostrar CAPTCHAs cada vez más complejos. Si automatizas el flujo de login, van a cambiarlo o a bloquear a los clientes que usan automatización. La experiencia del cliente, en el mejor de los casos, será inconsistente, y no se puede sacar al humano del circuito. Esto termina siendo una muerte por mil cortes de papel, aunque los clientes sigan rogando por pagar el servicio

• Otra repetición del Turco Mecánico

• Artículo relacionado de mediados de la pandemia: la startup de compras con IA muestra los excesos del boom de financiamiento

• Un amigo me pidió hacer due diligence sobre esta empresa alrededor de 2021. El fundador afirmaba una "tasa de éxito de checkout del 100%" impulsada por IA, pero era obviamente falso. Al mismo tiempo estaba manejando otras 2 startups

• "Diré que es una computadora, pero es una persona" y "Diré que es una persona, pero es una computadora" son ambas ideas comunes