Informe de seguridad de curl generado por IA

Recompensa por errores

• El programa de recompensas por errores ofrece dinero real a los hackers cuando reportan problemas de seguridad.
• Algunas personas buscan patrones en el código fuente o ejecutan escáneres de seguridad básicos y luego reportan los resultados con la esperanza de obtener una recompensa, sin hacer análisis adicional.
• Durante varios años de operar el programa de recompensas, la proporción de reportes basura no había sido un gran problema y, en su mayoría, podían detectarse e ignorarse fácilmente.
• Hasta ahora se han pagado más de 70,000 USD en recompensas, y de 415 reportes de vulnerabilidades, 64 fueron confirmados como problemas de seguridad reales.

La basura mejor hecha es peor

• Si un reporte parece mejor elaborado y da la impresión de tener fundamentos, toma más tiempo investigarlo y descartarlo.
• Los reportes de seguridad requieren que una persona dedique tiempo a revisarlos y evaluar su significado.
• Los reportes basura no ayudan al proyecto y le quitan tiempo y energía a los desarrolladores que podrían dedicarse a actividades productivas.

Reportes de seguridad generados por IA

• La IA puede hacer muchas cosas buenas, pero también puede usarse para cosas equivocadas.
• La IA podría ser útil para encontrar y reportar problemas de seguridad, pero todavía no se han encontrado buenos ejemplos de eso.
• Actualmente, algunos usuarios están muy enfocados en usar LLM para analizar el código de curl y enviar los resultados como reportes de vulnerabilidades de seguridad.

Detección de basura generada por IA

• Como los reportantes no siempre dominan completamente el inglés, a veces puede ser difícil entender de inmediato lo que intentan decir.
• En ocasiones, los reportantes usan IA u otras herramientas para ayudarse a expresarse o traducir lo que quieren decir.
• El simple hecho de que un texto contenga partes generadas por IA o herramientas similares no significa automáticamente que haya un problema.

Exhibición A: divulgación de cambio de código

• En otoño de 2023, se anunció con anticipación la divulgación de CVE-2023-38545.
• Un día antes de que se anunciara el problema, un usuario envió un reporte a Hackerone: el cambio de código de la vulnerabilidad Curl CVE-2023-38545 fue publicado en internet.
• El reporte daba la impresión de una alucinación de estilo IA: inventaba algo nuevo sin conexión con la realidad.
• El usuario informó que utilizó Bard, la IA generativa de Google, para encontrar este problema.

Exhibición B: vulnerabilidad de desbordamiento de búfer

• Era un caso menos obvio y mejor elaborado, pero seguía sin escapar de la alucinación.
• En la mañana del 28 de diciembre de 2023, un usuario envió un reporte a Hackerone: vulnerabilidad de desbordamiento de búfer en el manejo de WebSocket.
• El reporte estaba escrito en inglés detallado y apropiado, e incluso incluía una corrección propuesta.
• Después de varias preguntas y alucinaciones, esa misma tarde se comprendió que no era un problema real y no se corrigió.

Prohibir a estos reportantes

• Hackerone no tiene una función explícita para impedir más comunicación con el proyecto.
• Cuando un problema no se corrige, la "reputación" del investigador baja, pero si eso ocurre solo una vez en un solo proyecto, el cambio es muy pequeño.

Futuro

• Es probable que este tipo de reportes se vuelva más común con el tiempo, y que se aprenda a detectar mejor las señales de IA y a ignorar reportes basados en ellas.
• Eso sería algo lamentable cuando la IA se use para tareas adecuadas.
• Hay confianza en que en el futuro aparecerán herramientas que realmente funcionen usando IA, y que usar IA para encontrar problemas de seguridad no es necesariamente una mala idea.
• Si se combina con una revisión humana muy pequeña (e inteligente), el uso de estas herramientas y sus resultados podrían mejorar mucho.

Discusión

• Hacker news

Créditos

• Imagen: Haider Mahmood by Pixabay
• AI
• cURL and libcurl
• hackerone
• Security

Opinión de GN⁺

• El avance de la tecnología de IA también está generando nuevos desafíos y oportunidades en el campo de la seguridad. Aunque la IA puede ayudar a encontrar vulnerabilidades de seguridad, por ahora muchas veces termina desperdiciando el tiempo de los desarrolladores con reportes inexactos.
• Identificar y resolver rápidamente los problemas de seguridad es muy importante para mantener la seguridad del software. Sin embargo, a medida que aumentan los reportes generados por IA, se necesita un nuevo enfoque para gestionarlos de manera efectiva.
• Este artículo ofrece casos reales de cómo la IA puede usarse incorrectamente en el ámbito de la seguridad, y subraya la importancia del uso responsable de la IA y de la supervisión humana.

[GN⁺]

Opiniones de Hacker News

• Resumen de comentarios de Hacker News:

  • Opinión sobre cierto tono específico de los LLM (modelos de lenguaje de gran tamaño):

    Está bien que los LLM tengan un tono particular que suena como mayordomos robóticos, pero preocupa que la gente empiece a hablar como los LLM.

  • Opinión sobre un informe de vulnerabilidad de seguridad relacionado con curl generado por un LLM:

    Al principio pareció que era un duplicado de algo visto antes, pero en realidad resultó ser un informe falso generado por otro LLM.

  • Preocupación sobre los LLM y los programas de recompensas por errores:

    Los informes falsos que los LLM envían a los programas de recompensas por errores podrían dificultar su operación. Tal vez sea necesario gestionarlos con más rigor para que solo puedan participar personas reales e investigadores de seguridad.

  • Preocupación por el desperdicio de tiempo de ingeniería frente al bajo costo de los LLM:

    Preocupa que los LLM puedan desperdiciar una gran cantidad de valioso tiempo de ingeniería por un costo muy bajo.

  • Reflexión sobre los problemas de confiabilidad del contenido causados por los LLM:

    Lo que antes servía como una forma mínima de demostrar esfuerzo al escribir ahora, por culpa de los LLM, exige aún más esfuerzo. Esto afecta a los programas de recompensas por errores y al proceso de CVE, eleva la barrera de envío y, como resultado, podría hacer que más vulnerabilidades no se descubran ni se corrijan.

  • Análisis técnico del código de curl:

    Resulta especialmente extraño quejarse de la verificación de longitud cuando curl no usa datos proporcionados por el usuario y tiene un tamaño fijo en tiempo de compilación. Además, se preguntan si alguien más familiarizado con el lenguaje C podría explicar para qué se usa la variable local keyval.

  • Crítica a la revisión de código hecha por un LLM:

    Que dineshsec / dinesh_b intente enseñarle a Daniel cómo usar strncpy es una pérdida de tiempo, y se afirma que usar memcpy es mejor que strcpy o strncpy. Las recomendaciones del LLM no son realmente recomendables.

  • Opinión sobre los problemas de la IA en el campo de la ciberseguridad:

    Hasta hace poco, la ciberseguridad era en cierta medida inmune a la información basura, pero ahora la IA está permitiendo que los estafadores engañen con más facilidad. El problema no es tanto la IA en sí, sino la ética, y mientras un informe de seguridad parezca "legítimo", puede terminar pasando.