Estudio empírico y evaluación de los CAPTCHA modernos

Estudio empírico y evaluación de los CAPTCHA modernos

• Los CAPTCHA se han usado ampliamente durante unos 20 años como medio de protección contra bots.

• A medida que han avanzado las técnicas para inutilizar o evadir los CAPTCHA, estos también han evolucionado en complejidad y diversidad, hasta volverse difíciles de resolver tanto para bots como para humanos.

• Es importante investigar cuánto tiempo toma resolver los CAPTCHA modernos y cómo los perciben los usuarios.

• Este estudio evalúa el desempeño de resolución y la percepción de los usuarios sobre CAPTCHA actualmente desplegados y sin modificaciones.

• Los datos se obtuvieron mediante una inspección manual de sitios web populares y un estudio con usuarios en el que 1,400 participantes resolvieron 14,000 CAPTCHA.

• Sorprendentemente, entre los tipos de CAPTCHA más populares existen diferencias importantes en las que el tiempo de resolución y la percepción de los usuarios no siempre coinciden.

• Se realizó un estudio comparativo para investigar el impacto del contexto experimental. En particular, se examinó la diferencia entre resolver un CAPTCHA directamente y resolverlo como parte de una tarea más natural, como la creación de una cuenta.

• Aunque hubo algunos posibles factores de confusión, los resultados muestran que el contexto experimental puede influir en esta tarea y debe considerarse en futuras investigaciones sobre CAPTCHA.

• Se analizó a los participantes que iniciaron una tarea pero no la completaron para estudiar el abandono de tareas provocado por los CAPTCHA.

La opinión de GN⁺

• Este estudio ofrece información importante sobre el impacto de los CAPTCHA en la experiencia de usuario y su eficacia. Los datos sobre qué tan rápido y con qué precisión los usuarios resuelven los CAPTCHA, así como sobre cómo los perciben, son muy útiles para desarrolladores web y profesionales de seguridad.
• El hallazgo de que el contexto experimental puede afectar la capacidad de los usuarios para resolver CAPTCHA es una consideración importante al diseñar sitios web reales, especialmente al pensar en la interfaz de usuario y la interacción.
• El abandono de tareas causado por los CAPTCHA puede afectar directamente la tasa de conversión y la satisfacción del usuario en un sitio web, por lo que este estudio ofrece un punto de referencia importante para desarrollar métodos de autenticación más amigables para el usuario.

[GN⁺]

Opinión de Hacker News

• El CAPTCHA de Google fue diseñado e implementado para entrenar inteligencia artificial (IA). Por eso, no sorprende que la IA haya llegado a resolverlo bien.
• El estudio trata sobre cómo los humanos resuelven los CAPTCHA, y no se encuentra que la IA sea superior a los humanos.
• Los CAPTCHA modernos van más allá de simples rompecabezas de imágenes y funcionan mediante el análisis del comportamiento del usuario. Para la mayoría de las personas, basta con hacer clic en la casilla.
• La IA diseñada para resolver CAPTCHA no usa datos de Google ni de otras empresas para su entrenamiento. Se puede imaginar que Google entrene sus propios bots, pero no es seguro.
• Los usuarios podrían preferir hacer un micropago en lugar de resolver un CAPTCHA, especialmente para evitar procesos tediosos como seleccionar bicicletas.
• Hacker News maneja 5 millones de visitantes al mes y 10 millones de vistas al día sin CAPTCHA, usando herramientas de defensa básicas pero probadas y limitación de velocidad.
• El título es engañoso, y el título y el resumen reales del estudio no dicen que la IA sea "ahora" mejor que los humanos.
• El CAPTCHA es un factor que hace que los usuarios abandonen la tarea, especialmente por fallas de carga o ambigüedad, lo que afecta negativamente la experiencia de usuario.
• Se predijo que, si los CAPTCHA se volvían tan difíciles que solo la IA pudiera resolverlos, los humanos quedarían completamente excluidos de internet.
• El título enviado fue "Los bots de IA ahora son mejores que los humanos resolviendo CAPTCHA", pero eso viola las reglas de títulos de Hacker News. Debe usarse el título original y las opiniones deben compartirse en los comentarios.
• Los operadores de bots ya pueden contratar solucionadores humanos de CAPTCHA, y si los reemplazan con IA, sus costos disminuirán. Esto llevaría a que los operadores de sitios web usen CAPTCHA más difíciles, y al final los usuarios podrían negarse a resolverlos.
• Los CAPTCHA recientes, como los rompecabezas de rotar objetos o encontrar elementos coincidentes, son preferidos frente a los CAPTCHA basados en texto del pasado.