- Los CAPTCHA siguen siendo un mecanismo de defensa contra bots ampliamente usado, pero al observar implementaciones reales y experiencia de usuario en conjunto, el equilibrio entre seguridad y usabilidad se ve fuertemente afectado
- En una encuesta de 200 sitios web populares y un estudio con usuarios de MTurk, el reCAPTCHA de clic fue el más rápido con una mediana de 3.7 segundos, mientras que los tipos de juego, deslizadores y hCAPTCHA difícil tendieron a tomar más tiempo
- El CAPTCHA más rápido no siempre fue el más preferido, y hubo tipos como los de juego y deslizador que, aun con tiempos de resolución más largos, recibieron valoraciones relativamente buenas
- En una configuración contextualizada que insertaba el CAPTCHA dentro del flujo de creación de cuenta, el tiempo promedio de resolución aumentó hasta 57.5% frente a la resolución directa, y la tasa de abandono también fue más alta
- A mayor edad, el tiempo de resolución aumentó en la mayoría de los CAPTCHA y, en comparación con investigaciones previas sobre rendimiento de bots, se confirmaron varios casos en los que los bots fueron más rápidos y precisos que los humanos
Por qué los CAPTCHA volvieron a ser objeto de evaluación
- Los CAPTCHA se han usado ampliamente durante unos 20 años como defensa contra bots, pero las técnicas para evadirlos o resolverlos automáticamente también han seguido avanzando
- Los primeros CAPTCHA consistían en leer texto distorsionado en una imagen e ingresarlo, pero con los avances en visión por computadora y aprendizaje automático, en 2014 hubo casos en los que herramientas automatizadas alcanzaron más de 99% de precisión
- Actualmente los CAPTCHA se han diversificado en varias formas
- De reconocimiento de objetos: “selecciona las casillas que contienen ese objeto”
- De texto distorsionado
- De rompecabezas: “mueve el bloque”
- Basados en análisis del comportamiento del usuario
- Este estudio se enfoca en CAPTCHA sin modificar usados en la web real
- Encuesta manual de 200 sitios web populares
- Estudio principal con 1,000 participantes en MTurk
- Estudio adicional en MTurk para observar por separado la tasa de abandono
- Publicación del conjunto de datos totalmente anonimizado y del código de análisis: captcha-study
Distribución de CAPTCHA en 200 sitios web populares
- Se realizó una encuesta manual de los 200 principales sitios web según la lista Alexa Top Websites
- 185 sitios tenían un proceso de creación de cuenta
- En 142 sitios era posible crear una cuenta real
- Cada sitio se visitó tanto en modo incógnito de Chrome como con el navegador Tor
- El hallazgo más notable en los tipos observados fue la fuerte concentración en reCAPTCHA
- reCAPTCHA: 68 sitios, 34% de la muestra
- CAPTCHA basados en deslizador: 14 sitios, 7%
- CAPTCHA de texto distorsionado: 14 sitios, 7%
- CAPTCHA basados en juegos: 9 sitios, 4.5%
- hCAPTCHA: 1 sitio
- CAPTCHA invisibles: 12 sitios, 6%
- Otros: CAPTCHA tipo raspa y gana, CAPTCHA para encontrar caracteres chinos en una imagen, NuCaptcha, etc.
- El alcance del estudio tiene limitaciones claras
- Al ser una encuesta manual, solo incluyó los 200 sitios principales
- No se ejecutaron todas las funciones, por lo que el despliegue real de CAPTCHA podría ser mayor
- Depende del ranking de sitios web y del estado de los CAPTCHA en un momento específico
- No incluye CAPTCHA de sitios con fines especiales, como los de la dark web
- En el conjunto de datos de BuiltWith de 673 millones de sitios web, entre 15.2 millones de sitios que usan CAPTCHA, reCAPTCHA representa 97.3% y hCAPTCHA 1.4%
- Los tipos de CAPTCHA usados en este estudio cubren más de 98% de ese conjunto de datos a gran escala
Diseño del estudio con usuarios
- El estudio principal con usuarios se realizó en MTurk con 1,000 personas, y los participantes resolvieron 10 CAPTCHA en orden aleatorio
- El procedimiento se dividió en cuatro etapas
- Introducción al estudio
- Preguntas previas: recolección de información demográfica
- Tareas de resolución de CAPTCHA
- Preguntas posteriores: preferencia y otras opiniones sobre los CAPTCHA recién resueltos
- Se usaron 10 tipos de CAPTCHA en total
- 2 variantes de reCAPTCHA v2: la configuración más fácil para el usuario y la más orientada a seguridad
- 2 variantes de juegos de Arkose Labs: rotación de objetos y selección del objeto con la orientación correcta
- 2 variantes de hCAPTCHA: configuración fácil y difícil
- 1 CAPTCHA deslizante de Geetest
- 3 CAPTCHA de texto distorsionado: simple, enmascarado y con texto en movimiento
- Para comparar el contexto experimental se usaron dos configuraciones
- Configuración directa: se informaba a los participantes que era un estudio sobre resolver CAPTCHA y se les presentaban directamente 10 CAPTCHA
- Configuración contextualizada: se les decía que era un estudio sobre creación de cuentas, y el CAPTCHA aparecía después de enviar cada formulario de registro
- En la configuración contextualizada se proporcionó información sintética para evitar recopilar datos personales, y el objetivo real se reveló al terminar la tarea
- Este método recibió aprobación del IRB, así como la documentación relacionada con divulgación incompleta y modificación del consentimiento
- No se recopilaron datos de participantes que, tras conocer el objetivo, no aceptaron el uso de sus datos
- La compensación inicial fue de 0.30 dólares para la configuración directa y 0.75 dólares para la contextualizada
- Tras confirmar que la mediana del tiempo de finalización fue de 4.4 minutos y 11.5 minutos respectivamente, se aumentó retroactivamente a 0.60 y 1.50 dólares
Diferencias en tiempo de resolución y preferencia
- Los tiempos de resolución variaron considerablemente según el tipo de CAPTCHA
- El reCAPTCHA de clic fue el más rápido con una mediana de 3.7 segundos
- La diferencia entre la configuración fácil y la difícil no fue grande
- El CAPTCHA simple de texto distorsionado fue el más rápido entre los de texto distorsionado
- Los tiempos del tipo enmascarado y del de texto en movimiento fueron similares
- En hCAPTCHA hubo una diferencia clara entre la configuración fácil y la difícil; la difícil presentaba tareas de imagen más complejas o más rondas
- Los CAPTCHA de juego y de deslizador tendieron a tener medianas de tiempo más altas, aunque algunos participantes los resolvieron en menos de 10 segundos
- La preferencia de los usuarios no coincidió por completo con el tiempo de resolución
- El reCAPTCHA de clic fue el más rápido y también el más preferido
- Los tipos de juego y deslizador tomaron más tiempo, pero aun así recibieron puntuaciones de preferencia altas
- Incluso el reCAPTCHA de clic, el más preferido, recibió calificaciones de 1 o 2 de 18.9% de los participantes
- Incluso el hCAPTCHA con peor preferencia general recibió calificaciones de 4 o 5 de más de 31.0%
Diferencias generadas por el contexto experimental
- Al comparar la configuración directa y la contextualizada, en la mayoría de los CAPTCHA el tiempo promedio de resolución fue mayor en la configuración contextualizada
- En el reCAPTCHA fácil de clic, el tiempo promedio aumentó 1.8 segundos, un incremento de 57.5%
- En Arkose de rotación, aumentó 10 segundos, un incremento de 56.1%
- En promedio para todos los tipos de CAPTCHA, la configuración contextualizada mostró un aumento de 26.7% frente a la directa
- hCAPTCHA en configuración difícil tuvo la mediana total más alta, pero la diferencia en tiempo promedio entre ambas configuraciones no fue significativa
- En la prueba de Kruskal-Wallis, las diferencias en tiempo promedio fueron estadísticamente significativas para todos los tipos de CAPTCHA excepto Geetest, reCAPTCHA de imágenes y hCAPTCHA difícil
- Entre ambas configuraciones siguen existiendo varios factores de confusión potenciales
- Los participantes de la configuración contextualizada realizaron más trabajo
- Las diferencias en compensación y en la percepción sobre completar la tarea pudieron haber influido en la motivación o en la probabilidad de abandono
Demografía, precisión y tasa de abandono
- La edad se relacionó con el tiempo de resolución de CAPTCHA
- En todos los tipos salvo reCAPTCHA fácil de imágenes, los participantes más jóvenes tendieron a tener tiempos promedio más bajos
- Investigaciones previas habían reportado un aumento de 0.03 segundos por año de edad en CAPTCHA basados en texto, pero este estudio observó un aumento promedio de 0.09 segundos por año en el conjunto total de tipos de CAPTCHA
- No se observaron grandes diferencias en tiempo de resolución según nivel educativo o género
- Estudios previos habían indicado que participantes con PhD resolvían más rápido que otros grupos educativos, pero en este estudio el nivel educativo autoinformado no se correlacionó con el tiempo de resolución
- Hubo algunas diferencias según dispositivo y método de entrada
- Los usuarios de computadora tuvieron tiempos promedio más bajos que los usuarios de teléfono en CAPTCHA de texto distorsionado y en reCAPTCHA difícil de clic
- Entre teclado físico y entrada táctil hubo diferencias estadísticamente significativas en texto distorsionado simple y enmascarado, reCAPTCHA de clic y Arkose de selección
- En la comparación de precisión, las diferencias por tipo fueron amplias
- La precisión de clasificación de imágenes en reCAPTCHA fue 81% en la configuración fácil y 81.7% en la difícil
- La precisión de hCAPTCHA fue 81.4% en la configuración fácil y 70.6% en la difícil
- En texto distorsionado, si no se distingue entre mayúsculas y minúsculas, la tasa de coincidencia entre participantes aumenta en promedio 20%
- Simple: de 84% a 93%
- Enmascarado: de 50% a 73%
- Texto en movimiento: de 62% a 90%
- En comparación con el rendimiento de bots en la literatura previa, en varios tipos de CAPTCHA los bots obtuvieron resultados más rápidos y precisos que los humanos
- reCAPTCHA de clic: humanos 3.1~4.9 segundos, bots 1.4 segundos y casos de 100% de precisión
- Geetest: humanos 28~30 segundos, bots 5.3 segundos y casos de 96% de precisión
- Texto distorsionado: humanos 9~15.3 segundos y 50~84% de precisión, bots menos de 1 segundo y casos de 99.8% de precisión
- reCAPTCHA de imágenes: humanos 15~26 segundos y 81% de precisión, bots 17.5 segundos y casos de 85% de precisión
- hCAPTCHA: humanos 18~32 segundos y 71~81% de precisión, bots 14.9 segundos y casos de 98% de precisión
- En un estudio separado sobre tasa de abandono, entre 18% y 45% de los participantes abandonaron el estudio después de la presentación del primer CAPTCHA
- Los participantes de la configuración contextualizada tuvieron una probabilidad de abandono 120% mayor que los de la configuración directa
- Si los usuarios abandonan una tarea por culpa del CAPTCHA, eso puede traducirse en pérdida de actividad en el sitio web, como compras o creación de cuentas
1 comentarios
Comentarios en Hacker News
Google CAPTCHA fue diseñado y desplegado como un mecanismo para entrenar IA, y por eso terminó teniendo esta forma
Todo el teatro de seguridad alrededor es más bien algo secundario, y no sorprende que ahora la IA también lo resuelva bien. Llevamos años entrenándola así
Al menos tiene el efecto de generarles un costo a los atacantes
La clave es el análisis de comportamiento, e incluso incluye juzgar la probabilidad de que sea un bot con datos que Google recopiló antes de que el usuario cargue la página
No niego que reCAPTCHA sea una fuente de datos de entrenamiento para Google. No puede ser casualidad que los retos de reCAPTCHA V2 sigan siendo de identificación de objetos de tránsito, aunque Google tampoco esté construyendo IA para conducción autónoma
Pero eso es parte del modelo de negocio y no la función principal, y esos datos de entrenamiento tampoco se entregan tal cual a quienes desarrollan bots para resolver CAPTCHA
Ahora delegan el filtrado a servicios como Cloudflare, pero si este tipo de entrenamiento sigue así, no sé ni cómo Cloudflare va a distinguir entre bots y humanos
He visto muchos casos en que Google CAPTCHA rechaza respuestas correctas, así que podría ser resultado de haber entrenado a los bots para que acepten respuestas incorrectas
Igual menos mal que ya no son señales de alto. Habría sido bastante vergonzoso que Google por un lado vendiera autos “autónomos” y al mismo tiempo mostrara que los robots no pueden reconocer una señal de alto
Este estudio parece tratar varios aspectos de cómo las personas resuelven CAPTCHA, y no encontré dónde dice que la IA supera a los humanos. ¿Alguien sabe en qué sección está eso?
Resolver reCAPTCHA v2/v3 exige más que hacer clic en una casilla y resolver un rompecabezas de imágenes. Si fuera solo eso, ya se habría armado un escándalo
Decir que CAPTCHA sirve para entrenar IA es cierto en sentido amplio, pero en la forma en que funcionan los CAPTCHA modernos me parece más un efecto secundario
Cosas como reCaptcha V2+ vigilan el análisis de comportamiento, como el historial de navegación o el movimiento del mouse sobre la página. Por eso la mayoría de la gente solo tiene que hacer clic en la casilla
Ni siquiera sé si existen grandes modelos multimodales que incluyan el movimiento del mouse como parte del formulario de entrada
La IA diseñada para romper CAPTCHA tampoco puede usar los datos de Google para entrenarse. Si la preocupación es que Google entrene sus propios bots para saltarse CAPTCHA, no sería imposible, eso sí
El título es bastante engañoso y, por desgracia, en HN ese tipo de títulos funciona muy bien
En adelante, cuando uno quiera registrarse en algo, parece que el siguiente paso será la verificación con tarjeta de pago
Supongo que empezarán bloqueando BIN prepago. Sería bastante horrible, pero en este punto ya siento que preferiría pagar 0.01 dólares antes que resolver un CAPTCHA, así que algo hace falta
En especial eso de “selecciona todas las bicicletas” es una pérdida de vida
Terminas comprando menos cosas y usando menos redes sociales. Los paseos por la naturaleza y los libros en papel no tienen CAPTCHA
Para que funcione en cualquier navegador, podría hacerse algo así: escaneas un código QR con un iPhone o Android que soporte la atestación, te pregunta si apruebas el inicio de sesión, y ese dispositivo hace la atestación por ti
Si se determina que es un actor malicioso, el sitio web puede bloquear ese dispositivo, así que también sería difícil lanzar ataques masivos desde un solo equipo
En UPI recibes un código QR o ingresas un UPI ID, pulsas pagar y listo
Si te preocupa la “prevención de fraude”, creo que hay que resolverlo con el banco, el vendedor y los tribunales, en vez de depender de intermediarios como eBay o la emisora de la tarjeta
Recuerdo que cuando vivía en {Country} no tenía ningún acceso a una tarjeta aceptada para pagos internacionales
¿HN alguna vez ha exigido CAPTCHA? Parece resistir bastante bien solo con herramientas operativas y anti-spam básicas pero probadas, y con limitación de velocidad suficiente para frenar cualquier cosa que no sea un DDoS muy persistente
Tampoco parece haber restricciones absurdas para scraping o clientes de terceros
Y aun así maneja 5 millones de visitantes únicos al mes y 10 millones de vistas al día[0]
[0] https://news.ycombinator.com/item?id=33454140
Lo único que puedes hacer es publicar spam, pero desde el punto de vista del atacante eso tiene poco valor económico real, y como dijiste, las herramientas para lidiar con eso existen desde hace décadas
Es muy distinto de otros sitios donde la posibilidad de ganar dinero es mucho más clara y directa
No entiendo por qué insisten en operarlo con tan pocas máquinas. Dinero seguro tienen de sobra, y hasta por el efecto publicitario para YC podrían compensar la diferencia
Los CAPTCHA son demasiado dolorosos por la ambigüedad y porque las imágenes no terminan de cargar
Incluso esperando 1 minuto, algunas imágenes nunca aparecen. Y cuando sí aparecen, hay demasiadas fotos de bicicletas, motocicletas y pasos peatonales
Cuando una parte muy pequeña se mete apenas en otro mosaico, siempre confunde si hay que hacer clic o no. Tampoco se puede refrescar solo la que no cargó, y al refrescar parece que la mayoría de las veces toca empezar de nuevo
Como ya dijeron otros, si usas Tor es común que el CAPTCHA ni siquiera cargue. Simplemente se queda ahí sin mostrar las imágenes. Los sitios web normales en general sí funcionan bien con Tor, así que parece ser un problema del lado del CAPTCHA
Ya lo había predicho hace 7 años: “¿Cómo se apoderarán las máquinas? Cuando los CAPTCHA se vuelvan tan difíciles que solo la IA pueda resolverlos, los humanos quedarán completamente fuera de internet.” https://twitter.com/lapcatsoftware/status/771857826130034688
Los CAPTCHA del tipo “¿qué texto hay en esta imagen?” disminuyeron bastante durante un tiempo, y parte de la razón probablemente fue esta
El título enviado fue “AI bots are now outperforming humans in solving CAPTCHAs”, y eso violaba la regla de títulos de HN de “usar el título original y no editarlo, salvo que sea engañoso o clickbait”
Si quien publica quiere decir qué considera importante del artículo, puede hacerlo en un comentario del hilo. Así esa opinión queda en el mismo punto de partida que la de los demás: https://hn.algolia.com/?dateRange=all&page=0&prefix=false&sort=byDate&type=comment&query=%22level%20playing%20field%22%20by:dang
El título fue editado de forma engañosa. Ni el título real ni el resumen dicen que la IA “ahora” supere a los humanos
El título real es An Empirical Study & Evaluation of Modern CAPTCHAs
Durante casi 20 años, los CAPTCHA se han usado ampliamente como medida de protección contra bots, y a medida que aumentó su uso también siguieron evolucionando las técnicas para romperlos o eludirlos
Al mismo tiempo, los CAPTCHA también evolucionaron en sofisticación y variedad, volviéndose cada vez más difíciles de resolver no solo para los bots, sino también para las personas
Dado que esta vieja carrera armamentista sigue en curso, es importante investigar cuánto tardan los usuarios legítimos en resolver los CAPTCHA modernos y cómo los perciben
Este estudio los evaluó mediante una investigación manual en sitios web populares y un estudio con usuarios, sin modificar los CAPTCHA desplegados en el mundo real
1,400 participantes resolvieron un total de 14,000 CAPTCHA, y aparecieron grandes diferencias entre los tipos más populares
Curiosamente, el tiempo de resolución y la percepción del usuario no siempre mostraron correlación
También compararon la diferencia entre resolver CAPTCHA de forma directa y resolverlos como parte de tareas más naturales, como crear una cuenta; aunque hubo varios factores de confusión, el contexto experimental podría influir y debería considerarse en estudios futuros
Por último, analizaron a los participantes que empezaron una tarea pero no la completaron, para observar el fenómeno de usuarios que abandonan la tarea por culpa del CAPTCHA
Este tipo de papers pasa por alto que los CAPTCHA tienen varios niveles de dificultad
Quienes usan cuentas enterprise o colaboran estrechamente con proveedores de CAPTCHA ven resultados muy distintos
Hoy en día, muchos proveedores de CAPTCHA deciden qué CAPTCHA mostrar en modo difícil basándose en lo que los modelos grandes de lenguaje no pueden resolver
La razón por la que los CAPTCHA no se hacen deliberadamente demasiado difíciles es que sitios como pex.com necesitan poder eludirlos para hacer cumplir derechos de autor
Aclaro que fui fundador de hcaptcha, así que tengo mis sesgos
Últimamente, los CAPTCHA en los que se rotan objetos para armar un rompecabezas o se busca el mismo elemento parecen mejores
El antiguo método de leer texto distorsionado, sobre todo cuando había que adivinar si era
i,1ol, era todavía más irritante