Hace poco hubo un tema que encendió Hacker News.
Era una entrada de blog sobre cómo detectar texto basura generado por IA con ML clásico resulta más efectivo de lo esperado.
https://news.ycombinator.com/item?id=48936880
https://blog.lyc8503.net/en/post/llm-classifier/
Es un enfoque que ya se había discutido bastante, pero me pareció atractivo que siga siendo válido y eficiente, así que también hice una versión para coreano.
- Divide el texto por oraciones y lo puntúa con un ensamble de SVM lineal + TF-IDF de n-gramas de caracteres/palabras, y determina el documento completo según la proporción de oraciones sospechosas.
- Toda la inferencia está hecha en JavaScript, así que funciona como una página estática sin servidor, API ni GPU. El modelo pesa unos 1.4 MB, y el texto que pegas no se envía a ningún lado.
Por supuesto, también tiene limitaciones claras. Como usa ML clásico como SVM, tiende a detectar con bastante seguridad algunos textos claramente con estilo de IA, pero en textos ambiguos o académicos a veces arroja resultados poco concluyentes.
Que el resultado diga que es IA no significa necesariamente que lo sea, pero puede servir para revisar una vez más si un texto fue generado por IA.
1 comentarios
Lo comparé con textos que escribí yo: lo que escribí directamente dio 0%, lo escrito con IA y retocado un poco dio 51%, y lo escrito solo con IA dio 100%; la verdad lo detecta mejor de lo que esperaba, jaja.
Es solo una idea, pero creo que sería más cómodo si, como extensión de Chrome, identificara el contenido con criterios como los de https://github.com/mozilla/readability y mostrara el resultado de la detección como un semáforo.
(También estaría bien que solo identificara automáticamente los dominios de páginas registrados, y que en los demás casos funcionara manualmente, como la función de traducción).