1 puntos por GN⁺ 6 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Los LLM pueden crear pretextos personalizados —como entrevistas de trabajo, emergencias familiares, correos del banco o romances— para ejecutar estafas a la medida, y después del robo de cuentas incluso pueden continuar con vigilancia a largo plazo y ataques posteriores
  • Las estafas tradicionales se dividían entre las de envío masivo y bajo costo, y las dirigidas y costosas; los LLM llenan ese espacio intermedio al permitir ataques dirigidos baratos y repetibles
  • Un artículo de 2024 estimó el costo de correos de spear phishing basados en LLM en unos 4 centavos por correo; los escenarios de fraude de contratación son más complejos, pero con el rendimiento de los LLM en 2026 podrían valer la pena
  • Heurísticas como “redacción natural”, “presencia web sólida” o “verificación por llamada o videollamada” funcionaban como indicadores indirectos de costo y capacidad, pero su confiabilidad se está debilitando por la clonación de voz y los deepfakes en tiempo real
  • La defensa no puede limitarse a desconfiar más de todos los mensajes; hacen falta nuevas prácticas como contraseñas orales entre familiares, verificación por canales separados, confiar más en canales iniciados directamente por uno mismo y 2FA con hardware

Escenario de fraude de contratación creado por un LLM

  • Una persona que busca empleo recibe en LinkedIn una propuesta laboral que parece encajar muy bien con su perfil, y participa en un proceso de entrevista que aparenta ofrecer buenas condiciones en una empresa reconocida
  • Antes de la entrevista, para firmar un NDA, inicia sesión en una plataforma que parece un SaaS legal y usa un flujo tipo “Sign in with Google/iCloud”
  • La pantalla de inicio de sesión parece real, y la contraseña que introduce el usuario junto con el flujo de 2FA de “presiona Sí en tu dispositivo” son usados por el atacante, del otro lado, para iniciar sesión en la cuenta real
  • El atacante guarda la cookie de sesión y hace que al usuario le parezca un inicio de sesión normal, ocultando así el acceso a la cuenta
  • Después, la entrevista y el aviso de rechazo funcionan como una puesta en escena para evitar que la víctima sospeche
  • Meses después, la víctima descubre robo de identidad, cargos en tarjetas de crédito a su nombre, filtración parcial de una cuenta de corretaje y pérdida de acceso a su correo y a varias cuentas en línea

Posibles flujos de ataque después del robo

  • El atacante mantiene acceso persistente al correo y a las cuentas mientras vigila los patrones de comportamiento del usuario
    • Filtra por adelantado los correos de alerta de las cuentas objetivo para que las notificaciones no lleguen a la víctima
    • Descarga archivos en la nube y usa la cuenta para iniciar sesión en otros sitios
    • Usa la información de la víctima para abrir tarjetas de crédito
  • Robar fondos de cuentas financieras no es tan fácil por las protecciones del sistema financiero moderno
    • Las transferencias bancarias en línea pueden ser detectadas, tardan varios días y, por las reglas de KYC, es posible rastrear la cuenta destino
    • Los sitios bancarios suelen usar 2FA y alertas de inicio de sesión
  • Aun así, con acceso prolongado sin ser detectado, puede apuntar a cuentas que se revisan con menos frecuencia, como una cuenta de corretaje
    • Puede encontrar una cuenta a la que se deposita automáticamente el salario
    • Tras acceder mediante restablecimiento de contraseña, puede crear un patrón de uso con transferencias pequeñas
    • Puede usar información del calendario, como fechas de vacaciones, para elegir momentos en que sea más difícil que la víctima lo note
  • Si concluye que la estafa pronto quedará al descubierto, puede dejar a la víctima fuera de sus cuentas, dificultando entender qué pasó

El punto en que cambia la estructura de costos de la estafa

  • Las estafas tradicionales se dividían en general en dos categorías
    • Envío masivo: baratas, fáciles de ejecutar y dirigidas a personas menos capacitadas
    • Dirigidas: costosas y sofisticadas, orientadas a personas valiosas para atacar o con autoridad dentro de una organización
  • La razón por la que algunas estafas de spam parecen deliberadamente torpes es para que las personas más capacitadas se salgan desde el inicio y así reducir el costo de seguimiento posterior
  • Las personas con conocimientos técnicos estaban relativamente a salvo de las estafas masivas gracias a prácticas básicas de seguridad informática y a entender lo que los sistemas pueden o no pueden hacer
  • También existen estafas sofisticadas dirigidas a los bienes personales, pero la mayoría ha pensado que la probabilidad de ser un blanco era baja
  • Los LLM cambian esa estructura polarizada de capacidades del atacante
    • Un artículo de 2024 estimó el costo de spear phishing realizado por LLM en unos 4 centavos por correo
    • El escenario de fraude de contratación es más complejo y caro, pero los LLM de 2026 han mejorado lo suficiente como para que pueda ser rentable
    • Los estafadores pueden operar miles de estafas al mismo tiempo e investigar materiales individuales para crear pretextos personalizados

Capacidades que los LLM aportan a la estafa

  • Los LLM pueden hacer a bajo costo trabajos que antes requerían bastante esfuerzo humano especializado para cada objetivo
    • Investigar a la víctima y elegir el mejor enfoque
    • Comunicación personalizada que se ajusta según la respuesta
    • Clonación de voz de familiares u otras personas de confianza
    • Deepfakes de videollamada casi en tiempo real
    • Construcción de una presencia web falsa convincente
    • Monitoreo en tiempo real de recursos comprometidos y expansión del ataque en función de ello
    • Búsqueda y selección de objetivos
    • Evasión de filtros antispam basados en firmas
    • Búsqueda y encadenamiento de CVE conocidos en software desplegado sin parches
  • Estas capacidades ya existen y probablemente mejorarán aún más
  • Las estafas que funcionan al costo de tokens pueden repetirse como un bucle for, y escalar hace posibles estrategias que eran difíciles en estafas individuales

Tres cambios que habilita la escala

  • La escala permite la paciencia
    • A un equipo humano le cuesta esperar meses o años contra una sola persona, pero si un LLM maneja muchas personas a la vez, una operación puede permanecer latente por bastante tiempo
    • Incluso se pueden superponer varias estafas en distintos momentos
  • La escala permite la combinación
    • Se pueden reclutar mulas de dinero con una estafa pequeña y luego combinarlas con un desvío mayor de fondos
    • La forma en que la película The Sting imitaba instituciones de confianza con varias estafas pequeñas podría hoy hacerse a un costo mucho menor
  • La escala crea nuevos objetivos
    • 1,000 cuentas comprometidas se convierten en 1,000 posiciones autenticadas dentro de cada plataforma
    • Los puntos que una plataforma toleraba como “costos de fraude ocasionales menores que el beneficio” se vuelven agujeros grandes que hay que cerrar de inmediato si 1,000 cuentas se explotan al mismo tiempo
    • El cálculo de que “The optimal amount of fraud is nonzero” puede cambiar frente a explotación simultánea a gran escala
  • Todavía se necesita capacidad técnica para combinar estos ataques, pero si se venden herramientas reutilizables en el mercado del fraude, podrían aparecer “script kiddies del fraude”
  • Es posible que algunos estafadores ya estén usando estas capacidades, pero como aún no se han generalizado, las heurísticas de personas y empresas todavía no se han reajustado lo suficiente

Por qué las heurísticas existentes se debilitan

  • Cuando reciben un contacto inesperado, las personas han acostumbrado buscar a la otra parte; y en contactos familiares, confirmar por teléfono o videollamada, además de ponerse en alerta cuando la conversación pasa a una exigencia de alto impacto
  • Parte de esas heurísticas era un indicador indirecto del costo
    • Una redacción fluida y personalizada era señal de que una persona real había invertido tiempo
    • Una presencia web fuerte era una señal difícil y costosa de fabricar
    • Funcionaba la intuición de que un estafador no invertiría tanto esfuerzo solo por una persona
  • Otras heurísticas asumían límites de capacidad
    • Antes era difícil imitar de forma natural la voz de un familiar por teléfono
    • Existía la expectativa de que quien aparecía en una videollamada era una persona real y que, de ser necesario, la policía podría identificarla
  • Los LLM y los deepfakes sacuden ambas bases: costo y capacidad
  • Como resultado, la gente tiene que invertir más esfuerzo no solo en evitar estafas, sino también en estar segura de qué es real
    • Si un familiar en otra ciudad pide una transferencia urgente, hay que considerar al mismo tiempo secuestro de cuenta, interceptación de comunicaciones y posibilidad de deepfake
    • Puede ser necesaria una verificación adicional del nivel de ir en persona o pedir a alguien de esa zona que confirme

También se sacuden las heurísticas institucionales

  • No solo las personas; también las instituciones financieras y la regulación dependen de heurísticas
  • La protección bancaria al consumidor en EE. UU. traza una línea fuerte sobre quién autorizó una transferencia
    • Si alguien accedió a la cuenta e hizo una transferencia fraudulenta, el banco suele tener que cubrir la pérdida
    • Si el usuario fue engañado para hacer la transferencia por sí mismo, puede denunciar el delito, pero no necesariamente hay alguien obligado a reembolsar el dinero
  • Esa distinción podía tener sentido en un mundo donde “robar contraseñas” era más fácil que una estafa manual de persuasión altamente dirigida, pero se tambalea si los LLM reducen el costo de la persuasión dirigida
  • En 2024, el Reino Unido aprobó una ley que exige a los bancos compensar a clientes engañados para hacer transferencias
  • Aun así, si los bancos tuvieran que cubrir todas las pérdidas por fraude, el costo se desplazaría demasiado hacia ellos y podrían optar por no atender a personas con mayor riesgo de ser víctimas

Nuevas formas de defensa que ahora hacen falta

  • No basta con desconfiar al extremo de todos los correos y de toda voz al teléfono
    • Las heurísticas anteriores eran indicadores indirectos para detectar señales que ahora pueden falsificarse de forma barata
  • Aferrarse a reglas viejas de confianza, como cuando no se permitía usar Wikipedia en tareas escolares, puede ser una corrección en la dirección equivocada
    • Tras la explosión de información en internet, hicieron falta nuevas heurísticas como verificar fuentes y contrastar información
    • La era del fraude con LLM también necesita nuevas heurísticas
  • Puede servir mirar la estructura común de las estafas
    • Urgencia, secreto y exigencia de usar canales inusuales se repiten en muchas estafas
    • Aunque el lenguaje sea más sofisticado, la estructura de “alguien te está pidiendo algo” permanece
  • Con la familia, puede ser útil acordar contraseñas orales
    • Si no existe una contraseña, se puede usar para verificar algún hecho del pasado que probablemente no esté en registros públicos
    • A familiares con poca experiencia técnica se les puede decir: “si recibes una llamada mía grave, urgente o secreta, sospecha, cuelga y confirma por otro canal”
  • Es difícil confiar en la autenticidad de las comunicaciones entrantes, pero las rutas que el usuario inicia de forma intencional son relativamente más confiables
    • Un correo escrito a una dirección específica normalmente llega a esa bandeja de entrada
    • Una llamada hecha a un número específico normalmente llega a ese dispositivo
    • En cambio, el encabezado from: de un correo y el número del remitente son fáciles de falsificar

Prácticas de seguridad y adaptación hacia adelante

  • El 2FA con hardware puede ayudar a bloquear gran parte del arsenal de los estafadores
    • FIDO2/WebAuthn incluye el dominio del sitio web en el intercambio criptográfico cuando está disponible, por lo que a un sitio de phishing le cuesta mucho más retransmitir simplemente la firma
    • Se considera una protección más fuerte que SMS o una app de autenticación
  • No es realista pensar que nunca te van a estafar, pero sí es posible volverte un objetivo más caro y difícil
  • Los defensores también pueden usar capacidades de LLM
    • Mozilla hizo red teaming de Firefox con Mythos y considera plausible que este tipo de herramientas llegue a encontrar todas las vulnerabilidades de seguridad
    • Android introdujo recientemente impersonated call detection
  • Las instituciones y los sistemas pueden desarrollar mejores protecciones con el tiempo, pero eso llevará tiempo y podría convertirse en una carrera armamentista
  • Por ahora, se espera que el fraude aumente de forma abrupta, y las personas deberían pensar qué significa este cambio para ellas, sus amistades y su familia, y cómo pueden ayudarse entre sí

1 comentarios

 
GN⁺ 6 시간 전
Comentarios de Lobste.rs
  • Qué bueno que trabajo en salud pública. Si viera un proceso de contratación tan pulido, sospecharía de inmediato, y la oficina local de salud no tiene ese presupuesto
  • No entiendo cómo esto sería posible solo con una contraseña. ¿El atacante no tendría que controlar también el teléfono?
    ¿La víctima no recibe un correo de alerta por un nuevo inicio de sesión? ¿No puede ver también las sesiones iniciadas?
    • No es que solo tenga la contraseña, sino también la cookie de sesión. Mientras iniciaba sesión en el sitio de phishing, el atacante también estaba iniciando sesión de su lado, y si en ese proceso aparecía el flujo de autenticación de dos factores, pudo haberlo retransmitido tal cual. El correo de alerta puede borrarse o filtrarse
      Las sesiones iniciadas sí se verían, pero no todo el mundo va a revisarlas de inmediato justo después de recibir un mensaje para iniciar sesión. No es raro que una cuenta de Google a veces pida volver a iniciar sesión por varias razones
      Hay mitigaciones, como fijarse con más cuidado en la barra de URL, pero el contexto mismo de un proceso de entrevista está diseñado para bajar la guardia
      Y, para enfatizarlo, la estafa con la que arranca el texto original es solo un ejemplo de una estafa que hoy es mucho más fácil de automatizar que antes, y no es el único tipo del que hay que preocuparse
  • No me convence ese encuadre de “estas capacidades ya existen y van a mejorar; hay que ver esta tecnología no como techo sino como piso”. No hay garantía de que esta tecnología vaya a avanzar más de lo que está ahora, y ese juego económico de la inversión circular parece que al final va a reventar
    • De acuerdo. Parte de casos reales como el spearphishing con deepfakes y luego salta hasta la toma de control totalmente automatizada de cuentas a gran escala y ataques de intermediario
      Asume que, porque los componentes existen más o menos, todo se puede ensamblar, pero los modelos de lenguaje a gran escala todavía no tienen la confiabilidad suficiente para que eso funcione bien