Curl: aún no hemos visto un informe de seguridad válido escrito con ayuda de IA

• El proyecto curl introdujo una política de bloqueo inmediato para reporteros que usen IA debido al abuso de reportes de seguridad basados en IA
• A partir de ahora, todos los reporteros de seguridad deben responder claramente a la pregunta "¿Usaste IA?" y, si usaron IA, recibirán preguntas adicionales de verificación
• El proyecto enfatiza que los reportes escritos por IA son en su mayoría "AI slop" sin valor, y que no ha habido ni un solo caso de un reporte realmente válido
• Consideraron que los reportes con abuso de IA a través de HackerOne se salieron de control, y que esto equivale a una interferencia al nivel de un ataque DDoS
• El ejemplo que detonó el problema fue https://hackerone.com/reports/3125832, y ese reporte fue el punto de partida para cambiar la política de respuesta

[sagee]

Más o menos pienso lo mismo

[imnotarobot]

¿Eres un robot?

[GN⁺]

Comentarios en Hacker News

• Yo proceso reportes de un programa de bug bounty de un millón de dólares

  • El spam de IA es grave
  • Nunca he recibido un reporte válido a través de un LLM
  • La gente vuelve a meter en un LLM las razones por las que un reporte de bug no es válido y obtiene resultados aún más confusos
  • No vale la pena responder con nada más que "cerrado como spam"
  • Creo que algún día habrá excelentes herramientas de seguridad de código, pero el problema es que la gente cree que ese día es hoy
  • Me preocupan las personas que no pueden distinguir entre la verdad y la basura

• Para quienes no quieran hacer clic en el enlace, <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; es un ejemplo reciente de un reporte erróneo sobre curl

• Si quieres introducir vulnerabilidades en proyectos importantes de código abierto, una forma fácil es usar IA para hacer DDOS a sus reportes de vulnerabilidades y dificultar encontrar los reportes reales

  • Al ver los reportes falsos, no parecen escritos por una persona real
  • Si no es para obtener reconocimiento, uno se pregunta por qué hacen esto

• Si lees el commit que fue la gota que derramó el vaso, explica bien el problema: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • Debe dar muchísima rabia tener que escarbar entre estas cosas
  • Me pregunto si un sistema de reputación podría funcionar aquí
  • Propongo un sistema que dé reputación a quienes verificaron su identidad con un proveedor de AML/KYC, y que aumente su reputación cada vez que encuentren una vulnerabilidad correcta
  • La IA está cambiando la economía de este campo

• Ni siquiera hace falta abrir el reporte para saber que todo será una alucinación

  • Tanto el archivo de parche original como el segfault están mal
  • Parece que simplemente envían resultados generados por IA al azar sin siquiera verificarlos

• evilginx elevó la severidad

  • El autor del reporte indicó explícitamente que quiere ser contratado
  • Me pregunto si está buscando a alguien que use ChatGPT para spamear proyectos generados por IA

• La mayoría de los LLM, si les pides encontrar vulnerabilidades de seguridad en código, inventan cosas completamente ficticias

  • Se reciben "arreglos" sin sentido debido a código incorrecto
  • El principal problema es el desajuste entre lo que pide el usuario y la efectividad del sistema

• Lo decepcionante de interactuar con personas que usan mucho la IA es que muy seguido empiezan con "Le pregunté a ChatGPT y..."

  • Si entendiste lo que te enseñó el chatbot, entonces explícalo; si no lo entendiste o no confías en ello, entonces no lo digas

• La solución es simple

  • Antes de enviar un reporte de seguridad, el reportante debe dejar $10 en escrow, y si el envío es basura generada por IA, se le paga al revisor

• Como opinión contraria, nosotros sí tenemos CVE, y la diferencia es que uno de los cofundadores era un investigador agresivo del kernel

  • El sistema está mucho mejor ajustado que una persona promedio
  • La cantidad de reportes erróneos que recibió curl es enorme
  • La herramienta realmente funciona, pero hay demasiada gente intentando ganar dinero rápido, así que hay que filtrar el ruido