- Análisis sobre el impacto de los LLM en el contenido web a partir de la actividad en Stack Overflow después de ChatGPT.
- La actividad en Stack Overflow disminuyó entre 16% y 25% después de ChatGPT.
- Cuanto más usado y popular es un lenguaje, mayor es la caída.
- Cifras obtenidas al compararlo con sitios de China y Rusia donde ChatGPT está bloqueado, o con sitios relacionados con matemáticas que son más difíciles de reemplazar con IA.
- La cantidad de votos en las publicaciones no cambió, por lo que no se puede decir que la calidad de las respuestas haya mejorado.
- Esto significa que, después de ChatGPT, está disminuyendo la cantidad de datos generados por personas.
- Como consecuencia, pueden surgir varios problemas.
- La cantidad y la calidad del material disponible en internet podrían disminuir, y también podría reducirse la eficiencia de los datos para entrenar IA.
- Como los datos de ChatGPT son propiedad exclusiva de OpenAI, la brecha tecnológica entre empresas podría ampliarse aún más.
- Podría reducirse el alcance de la exploración humana, y podría frenarse el desarrollo de nuevos productos o lenguajes que la IA todavía no ha aprendido.
- También podrían ampliarse las brechas entre grupos sociales, como entre países o niveles de ingreso, especialmente donde es más difícil beneficiarse de los LLM.
- Es un tema que vale la pena considerar para construir un ecosistema sostenible de la web y la IA.
5 comentarios
Parece que, a medida que los modelos de lenguaje reemplazan la comunicación que antes ocurría en Stack Overflow, el conocimiento que se compartía en internet mediante la interacción entre personas está disminuyendo poco a poco. Tomando prestada la metáfora de la catedral y el bazar, da la impresión de que se está convirtiendo en una catedral monopolizada por alguien, en el sentido más estricto.
Lo que más me preocupa, y el mayor problema que he vivido personalmente, es que está ocurriendo eso que en economía llaman “la mala moneda desplaza a la buena”.
Antes de que saliera ChatGPT, para que te aprobaran anuncios de Google, hasta finales del año pasado bastaba con escribir unas 8 entradas en el blog. Ahora, ni escribiendo el doble te aprueban por falta de contenido o por contenido no válido. Y eso aunque sean textos escritos totalmente a mano.
Como han aumentado los blogs generados automáticamente con IA, subieron los criterios de aprobación de AdSense, y ni siquiera se sabe dónde está el límite. Gracias a eso, ya estoy en un punto en el que renuncié a conseguir la aprobación de AdSense para un blog donde estuve escribiendo reseñas de películas durante casi 3 meses.
Como del lado que revisa no pueden distinguir si eso es “buena moneda” (contenido escrito por una persona) o “mala moneda” (hecho con IA, o hecho con IA y luego editado), van a terminar subiendo los criterios. Y al final, me preocupa que acabemos viendo algo como lo de principios de este año, cuando en los primeros resultados de búsqueda de Google solo aparecían páginas web generadas automáticamente.
Yo más bien tiendo a verlo de forma positiva.
Los métodos tradicionales de búsqueda de información requerían dos cosas: la capacidad de “escribir términos de búsqueda adecuados en el motor de búsqueda” y la capacidad de “elegir de los resultados lo que realmente quería”. El cansancio que eso generaba era considerable.
A veces solo quería encontrar código para hacer una tarea simple, pero al entrar a una publicación de StackOverflow desde los resultados de búsqueda, había tres o cuatro respuestas con código; algunas recibían downvotes porque usaban especificaciones antiguas del lenguaje y eran complicadas, y otras, aunque estaban aceptadas, ya no funcionaban bien después de actualizaciones de versión, así que en los comentarios la gente se quejaba bastante e intentaba encontrar soluciones entre ellos. Este tipo de cosas pasaban más seguido de lo que uno pensaría.
Al final, en el panorama general, desde la era de la información sigue siendo necesario tener la “capacidad de elegir la información que realmente quiero en medio de una avalancha de información”, pero creo que las opciones que se nos presentan son cada vez demasiadas, y eso vuelve el proceso cansado y tedioso.
En ese sentido, creo que un modelo de lenguaje grande bien entrenado puede ofrecer, con una UX razonable, desde información muy trivial que la gente busca con frecuencia hasta información de cierto nivel más avanzado, así que más bien puede permitir cierto grado de división del trabajo.
Preguntas muy recientes, para las que es difícil obtener una respuesta adecuada con un LLM, o preguntas complejas donde se entrelazan muchos contextos distintos, serían las que quedarían a cargo de servicios de preguntas y respuestas como StackOverflow.
Eso sí, creo que sigue pendiente el desafío de si los LLM realmente pueden seleccionar y ofrecer al público información precisa, basada en fundamentos claros.
Claro, como es un estudio algo limitado que solo analizó algunos sitios, puede que haya bastante sesgo,
pero al final sí da la impresión de que es riesgoso que la brecha tecnológica pueda ampliarse en varios sentidos.
En los comentarios había una frase que decía: "La IA provoca una concentración de la riqueza al desviar hacia las empresas de IA el dinero generado por el valor del contenido creado por las personas",
y la verdad es que me hizo mucho sentido.
Uf, no se puede poner el emoji. Te entiendo.