¿El futuro de todo es una mentira? – Parte 5: Molestias

• A medida que las empresas adoptan chatbots basados en LLM para la automatización de la atención al cliente, se limita el acceso a asesores humanos y las respuestas falsas y los errores se vuelven cotidianos
• Estos sistemas operan de forma discriminatoria según el nivel económico: mientras los clientes premium todavía reciben atención humana, los clientes comunes quedan atrapados en respuestas automatizadas
• Los LLM se están expandiendo hacia áreas de juicio ambiguo como la evaluación de seguros y la fijación de precios, haciendo que las personas gasten más tiempo en discutir y persuadir a las máquinas
• La responsabilidad difusa y los sesgos sociales de los sistemas de ML provocan daños reales, como detenciones injustas y reconocimientos erróneos, y su estructura compleja hace que sea difícil exigir responsabilidades
• Si se expande el agentic commerce, en el que los LLM automatizan pagos y compras, podrían intensificarse la manipulación, el fraude y el traslado de costos, consolidando una “desigualdad de las molestias”

---

La incomodidad de automatizar el servicio al cliente

• Las empresas están redirigiendo las consultas hacia chatbots basados en LLM para reducir costos de soporte al cliente, y cada vez es más difícil conectarse con un agente humano
  • Con los avances de los modelos de voz, también existe la posibilidad de automatizar la atención telefónica
  • Los LLM ofrecen respuestas amables y pacientes, pero repiten mentiras y errores, retrasando la resolución de problemas
• Estos sistemas funcionan de manera discriminatoria según la clase económica
  • Los clientes de alto valor todavía pueden acceder a agentes humanos, mientras que los clientes comunes quedan atrapados conversando con un LLM
• Los LLM son vulnerables a la imprevisibilidad y a los injection attacks, por lo que su autoridad para actuar fuera del sistema está limitada
  • Son útiles para problemas simples, pero frente a errores administrativos complejos o problemas sistémicos terminan generando más frustración

Discutir con el modelo

• Los LLM se están expandiendo más allá del soporte al cliente hacia áreas de trabajo ambiguas como la evaluación de seguros, la fijación de precios y las decisiones legales
  • Se prioriza la eficiencia en costos por encima de la exactitud, de modo que, aunque haya decisiones erróneas, el sistema se mantiene si la rentabilidad total sigue intacta
• Este entorno provoca una nueva forma de desperdicio de trabajo
  • Un caso representativo es la fijación algorítmica de precios, donde el precio de un boleto de avión cambia según el navegador, el dispositivo o la cuenta
  • Los médicos tienen que aprender frases específicas para persuadir al LLM de una aseguradora, y los consumidores terminan ajustando su apariencia para que una cámara los reconozca correctamente
• Las personas pasan cada vez más tiempo discutiendo con máquinas
  • Un LLM se parece a la “habitación china”: genera respuestas sin comprender realmente, careciendo de entendimiento humano
  • En el futuro podrían proliferar contenidos de “8 verduras para bajar tu prima del seguro” y otros consejos para responderle a la máquina
• Las personas también están usando LLM como herramienta para enfrentarse a la burocracia
  • Ya aparecieron LLM personales que automatizan respuestas ante rechazos de reclamaciones de seguros, cancelaciones de suscripciones y negociaciones de precios
  • Sin embargo, la asimetría entre empresas e individuos sigue intacta, y los usuarios deben asumir el riesgo financiero derivado de fallos del LLM

La difusión de la responsabilidad

• Se cita una directriz interna de IBM de 1979: “Las computadoras no pueden ser responsables, por lo tanto no deben tomar decisiones de gestión”
• Los sistemas de ML están produciendo casos en los que se perjudica a personas inocentes
  • El caso de Angela Lipps, detenida injustamente durante 4 meses por un error de reconocimiento facial
  • El caso en que una cámara de vigilancia confundió la bolsa de botanas de Taki Allen con un arma y provocó el despliegue de policías armados
• Estos casos se analizan no como simples fallas técnicas, sino como fallas de sistemas sociotécnicos
  • La ausencia de juicio humano, los errores de procedimiento y la desconexión entre organizaciones interactúan de forma compleja
• Los modelos de ML presentan sesgos sociales como si fueran objetividad estadística
  • Hay casos de subestimación de la solvencia de prestatarios negros, reducción de servicios médicos para mujeres y reconocimiento erróneo de rostros negros
  • La opacidad del modelo y sus explicaciones autocontradictorias distorsionan el juicio de quienes revisan sus resultados
• Los modelos a gran escala se construyen con muchísimas personas y organizaciones separadas entre sí, por lo que la responsabilidad queda difusa
  • Están compuestos por estructuras multicapa: hospitales, aseguradoras, proveedores de modelos, proveedores de datos, personal subcontratado, etc.
  • Como resultado, se debilitan tanto la noción de responsabilidad individual como la posibilidad de corregir errores
• Se prevé que aumente el número de víctimas de decisiones automatizadas, como en accidentes de vehículos autónomos o despidos derivados de evaluaciones de personal basadas en Copilot
  • Las empresas responden con multas o ajustes contractuales, pero es difícil exigir responsabilidades a nivel individual
• Esto refleja un problema estructural de la ingeniería moderna en general: cuanto más complejo es el sistema, más difícil es identificar la causa de un accidente
  • Un nivel de complejidad que antes requería grandes investigaciones, como en accidentes aéreos, se está extendiendo ahora a decisiones cotidianas

Mecanismos de mercado y “Agentic Commerce”

• El agentic commerce es un concepto en el que un LLM administra el método de pago del usuario y realiza compras de forma automática
  • El LLM automatiza la comparación de precios, la renovación de seguros y la renovación de suscripciones, eliminando etapas intermedias de distribución
• McKinsey prevé una reducción de la publicidad centrada en humanos y plantea la inserción de anuncios dentro de chatbots y estructuras de negociación entre LLM
  • Sin embargo, esto genera incentivos muy fuertes para manipular el comportamiento de los LLM
• La publicidad dirigida a LLM y la competencia por manipular el SEO podrían evolucionar hacia una nueva forma de guerra algorítmica
  • Se podría inducir la respuesta de un LLM con ciertos píxeles, tipografías o colores, o intentar impulsar ventas contaminando datos de entrenamiento
  • Plataformas como OpenAI pasarían a estructurarse como intermediarios entre productores y consumidores, obteniendo ingresos de ambos lados
• La negociación automática entre LLM corre el riesgo de degenerar en una guerra de ataques mutuos de “dark patterns”
  • Señales falsas, injection attacks y registros excesivos de transacciones podrían producir interacciones caóticas
• Algunos centros de investigación predicen un cambio hacia pagos basados en criptomonedas, pero eso podría agravar los problemas de errores, fraude y reembolsos
  • Si un LLM realiza una compra equivocada, surge la falta de claridad sobre quién es responsable
  • Se perfila una estructura compleja de disputas entre procesadores de pago, bancos y LLM
• Esta incertidumbre podría traducirse en aumentos de comisiones de pago y mayores costos de prevención del fraude
  • Al final, los consumidores comunes terminan compartiendo el costo del riesgo
• Los consumidores quizá deban usar perfiles falsos y herramientas automatizadas para engañar o negociar con los LLM
  • Aunque esto genera cansancio e ineficiencia, si todo el mercado adopta LLM podría consolidarse como una estructura imposible de evitar
  • Solo los sectores adinerados mantendrían servicios centrados en humanos, profundizando la “desigualdad de las molestias”

[GN⁺]

Comentarios en Hacker News

• No necesito hacer 1000 transacciones al día
  No creo que tener que aprobar cada compra vaya a ser una molestia fatal
  No pienso dejarle mi tarjeta de crédito a un LLM en lo absoluto, por problemas estructurales como las vulnerabilidades de inyección
  Y me cuesta confiar igual en las arquitecturas de IA del futuro
  Aun así, cosas como la automatización de atención al cliente parecen una tendencia inevitable

  • Me molestó que el artículo describiera discutir con una máquina como algo nuevo y fastidioso
    Yo ya marco 0 cada vez que llamo a la farmacia de Costco para escapar del infierno del sistema automatizado
    Al final, los únicos que ganan con estos sistemas son los accionistas y los directivos

• Siento que el mundo actual gira cada vez más alrededor de la manipulación y la ausencia de verdad
  Los LLM son un logro técnico impresionante, pero el problema es que se están usando de una forma que amplía la brecha de clases
  En adelante, ni las grandes empresas, ni los Estados, ni los LLM serán algo en lo que se pueda confiar
  Tenemos que reorganizarnos otra vez alrededor de grupos y comunidades en los que sí podamos confiar

  • La tecnología no es neutral. Si se usa sin restricciones estructurales, se pierde el control
  • El mundo ya giraba alrededor de la manipulación desde antes. En el pasado, como distribuir información era más caro, incluso era más fácil
  • Estoy de acuerdo con la idea de construir comunidades confiables, pero en realidad ese papel lo cumplían las instituciones públicas, la sociedad y el gobierno ciudadano
    El problema no era la institución sino la contaminación del entorno. La economía de la atención de las redes sociales destruyó la confianza
  • La sociedad previa a internet construyó sistemas para gestionar la confianza, pero ahora la estructura de incentivos es completamente distinta
    La contaminación informativa afecta a todos y al final nos está llevando a un ecosistema de información dominado por bots
    Aunque participen personas y bots a la vez, la interacción basada en reglas va a volverse más importante
  • Hacen falta modelos locales, hardware de consumo potente y una población que no le tenga rechazo a STEM
    Pero el valor para el accionista no quiere eso. Al final habrá que evolucionar dentro de la contradicción entre el aumento de costos y la tecnofobia

• Mi padre cambió la batería de una llave de auto con ayuda de IA y quedó muy satisfecho
  También le preguntó a una IA sobre reglas del seguro y obtuvo mejores resultados que buscando por su cuenta
  Yo también ahora prefiero preguntarle cosas simples a una IA en vez de a Google
  En la mayoría de los casos, la IA ya está en un nivel "bastante útil", y a menudo es mejor
  A la gente no le importa si eso es solo un predictor de tokens. Si el resultado es bueno, basta

  • Pero esto ya era posible antes. Solo nos pasamos a los LLM porque la calidad de búsqueda se arruinó
    Parece una estructura donde las empresas crean el problema y luego venden la solución
  • El problema es que esto también pasa en el ámbito médico. Ha habido casos de enfermeras que confiaron tal cual en un snippet de IA y aplicaron una vacuna

• Por mi experiencia trabajando con equipos de atención al cliente, el objetivo de mejorar la tecnología siempre es reducir la cantidad de tickets y bajar costos
  También se mide la satisfacción, pero lo central es el volumen de tickets
  Incluso antes de los LLM, los chatbots se usaban por esta razón
  Pero atención al cliente también funciona como un sistema de alerta temprana para la empresa, así que si reduces el contacto con personas, se vuelve más difícil detectar el dolor de los usuarios

  • Si comparas el soporte de Amazon con el de Chewy, la diferencia es grande. Amazon hace difícil llegar a una persona, pero en Chewy te atiende un especialista de inmediato
  • El chatbot de mi ISP no pudo resolver el problema y me pasó con una persona, pero esa persona también estaba haciendo copiar y pegar de un LLM
  • En el momento en que tengo que hablar con un chatbot, ya estoy listo para cambiarme de aseguradora

• Me hace pensar en la frase de capacitación interna de IBM de 1979: "A COMPUTER CAN NEVER BE HELD ACCOUNTABLE"
  Ahí está la razón de por qué hoy se repite tanto eso de “la computadora dice que no se puede”
  Si un gerente quiere evitar la responsabilidad, solo tiene que dejarle la decisión a la computadora
  Al final, la IA está reforzando la automatización de la evasión de responsabilidades

  • Pero el significado original era el contrario. Quería decir: “como una computadora no puede asumir responsabilidad, las decisiones administrativas las debe tomar un humano”
  • Me recuerda al video meme de YouTube “computah says noooooo”

• Lo que más me preocupa es la dispersión y dilución de la responsabilidad
  Las organizaciones medianas ya funcionan con una estructura así, y siento que los LLM la van a empeorar todavía más

  • Al final parece que va a llegar una época en la que habrá que usar LLM contra LLM. Un mundo donde gana el lado que automatiza

• Les envié a unos amigos la serie de textos de Aphyr y me respondieron “hazme un resumen”
  Amigos con los que antes tenía conversaciones profundas ahora solo mandan resúmenes hechos por IA y se quedan en intercambios superficiales
  Se siente claramente una disminución de la capacidad de atención

  • Tal vez nunca fueron tan inteligentes desde el principio
    Da la impresión de que mucha gente solo imitaba conocimiento citando "videos inteligentes de YouTube"
  • Yo también sentí una decepción parecida. Por eso empecé un intercambio epistolar por email con algunos amigos
    Intercambiar textos largos y tener conversaciones profundas fue mucho más fresco y significativo
  • Claro, la gente ocupada tiene otras prioridades antes que leer una serie de ocho ensayos
  • Los textos de Aphyr son demasiado negativos y pesimistas, así que no me generan mucha empatía.
    La IA todavía está en una etapa temprana, y cada semana aparecen nuevas investigaciones y modelos. El futuro aún no está definido
  • Coincido totalmente con la idea de que entre amigos no deberíamos mandarnos resúmenes de IA

• Comparten un enlace de archive.is

  • Surge la pregunta de por qué no visitar directamente el sitio de Aphyr

• Me parece interesante la idea de un “boicot con modelo personal” para hacerle desperdiciar tokens al modelo de Burger King

  • Pero protestar desperdiciando CPU es improductivo. Las empresas van a usar eso como excusa para eliminar la atención al cliente
  • La gente que odia la IA ya es una clase excluida del sistema. Su voz no llega a los medios
    Así que yo simplemente decidí aceptar a los "amos de los trillones de parámetros"

• Los textos de Aphyr son interesantes, pero se sienten como un argumento típicamente estadounidense
  El patrón es: “esto es malo → las empresas lo van a abusar sin regulación → estamos perdidos”
  Pero cuando llega la hora de proponer regulación (law), todos se echan para atrás
  Estados Unidos siempre ha sido así. Las empresas explotan si no hay regulación
  Aunque se gane menos dinero en el corto plazo, una sociedad con regulación es más vivible a largo plazo

  • El problema no es que la gente odie la regulación, sino que los ricos y las empresas manipulan las leyes
    Haría falta una reforma constitucional, pero con la estructura política actual es casi imposible
  • Eso de que “antes había verdad y ahora solo hay mentiras” es una ilusión
    Antes también estaba lleno de estafadores y vendedores de aceite de serpiente
    Al final, la confianza solo surge de relaciones repetidas. En línea eso es imposible
    Parece que en adelante la confianza en la marca va a ser más importante
  • Si hay regulación, bajan los ingresos de los trabajadores tecnológicos. Por eso todos reconocen el problema pero lo dejan como asunto ajeno
  • Surge la pregunta: “entonces, ¿qué regulación propondrías?”
  • Quienes piden regulación en realidad están diciendo que hay que darles poder a políticos imperfectos
    Y eso a veces termina haciendo que un país se quede atrás frente a otros