PoisonGPT: escondieron en Hugging Face un LLM lobotomizado para difundir noticias falsas

• Los modelos grandes de lenguaje (LLM) han ganado reconocimiento a nivel mundial, pero existen preocupaciones sobre su trazabilidad y la propagación de noticias falsas.
• Este artículo muestra cómo el modelo de código abierto GPT-J-6B fue modificado quirúrgicamente para difundir información falsa sin ser detectado.
• El artículo enfatiza la importancia de una cadena de suministro segura de LLM con procedencia verificable del modelo para garantizar la seguridad de la IA.
• AICert, una herramienta de código abierto que proporciona pruebas criptográficas de la procedencia del modelo, está en desarrollo para responder a estos problemas.
• El artículo analiza las posibles consecuencias de la contaminación de la cadena de suministro de LLM, incluida la capacidad de comprometer las salidas de los LLM y difundir desinformación a nivel mundial.
• El gobierno de Estados Unidos está exigiendo una lista de componentes de IA para identificar la procedencia de los modelos de IA.
• Mithril Security está desarrollando AICert para ofrecer una solución que permita rastrear la transparencia y la procedencia de los modelos.

[GN⁺]

Comentarios de Hacker News

• Una empresa está desarrollando AICert, una herramienta de código abierto para demostrar el origen cifrado de los modelos.
• AICert usa hardware seguro como TPM para generar una identificación imposible de falsificar para los modelos de IA.
• Hay incertidumbre sobre el hardware específico que se usa en AICert.
• La naturaleza de código abierto de AICert no deja claro cuál será su impacto real.
• La confianza en los LLM es similar a la confianza en el código, y firmar con GPG las salidas de los LLM podría ser una alternativa.
• Algunas personas temen que esta tecnología provoque más control y restricciones.
• Se necesitan medidas para prohibir a quienes difunden miedo y desinformación.
• Los LLM son una fuente de información no confiable y no deberían ser venerados.
• La forma actual de los LLM no es adecuada para la educación.
• Muchos desarrolladores y organizaciones están usando código no confiable y funciones de IA sin entenderlos por completo.
• El concepto de origen del modelo debería difundirse mejor en la comunidad de IA.
• Existe preocupación por la posibilidad de que un modelo funcione de manera diferente después de una fecha específica.
• La certificación del modelo podría no garantizar seguridad si la manipulación ocurre en otros niveles.
• El proceso de certificación es similar a HTTPS, y la confiabilidad del emisor es importante.