ChatGPT es un JPEG borroso de la web
(newyorker.com)- Un texto escrito por Ted Chiang, considerado uno de los mejores autores de ciencia ficción de la actualidad
- La idea de que ChatGPT guarda la información de forma comprimida, por lo que se parece más a ver un JPEG borroso que al original
- En 2013 se descubrió que una fotocopiadora de Xerox cambiaba unos números por otros al copiar planos
- El problema ocurrió porque, en el proceso de digitalizar para copiar, la compresión con pérdida JBIG2 almacenó solo un número similar y luego lo reutilizó
- Aunque no es fácil decir que este caso y ChatGPT de OpenAI sean claramente equivalentes, podría darse un escenario parecido al almacenar la información de la web
- Imaginemos que perdiéramos el acceso a internet
- Queremos crear una copia comprimiendo todo el texto de la web
- Pero solo tenemos espacio para almacenar el 1% del volumen, así que tendríamos que usar un algoritmo con pérdida
- Ahora podríamos buscar entre todo, pero el texto estaría tan comprimido que no podríamos recuperar citas exactas
- Pensemos en ChatGPT como un JPEG borroso de todo el texto que existe en la web
- Como un JPEG, conserva gran parte de la información de la web, pero no mantiene una secuencia de bits perfectamente idéntica
- Todo lo que obtenemos es una aproximación
- Pero esta aproximación suele aceptarse porque se presenta en forma de texto gramaticalmente sobresaliente, como el que produce ChatGPT
- Esta compresión con pérdida no es la única forma de entender cómo funciona ChatGPT
- Pero también ayuda a entender las “alucinaciones” y las respuestas absurdas sobre la verdad que produce ChatGPT
- Estas alucinaciones son lo bastante plausibles como para que, igual que los números incorrectos que produjo la fotocopiadora de Xerox, haya que compararlas con el original para identificarlas de verdad
- Los modelos de lenguaje a gran escala identifican regularidades estadísticas en el texto
- Frases como “la oferta es baja” aparecen cerca de oraciones como “los precios suben”
- Un chatbot que haya visto muchas veces esa relación tenderá a responder con un alza de precios cuando se le pregunte por los efectos de una escasez de oferta
- Aunque un LLM (modelo de lenguaje a gran escala) haya recopilado innumerables correlaciones entre términos económicos, ¿podemos decir que realmente entiende la teoría económica?
- Los modelos como ChatGPT no realizan compresión sin pérdida. Es decir, no reconstruyen el texto original con exactitud
- GPT-3 casi siempre acierta al sumar o restar una pareja de números de dos dígitos, pero si los números tienen cinco dígitos, la precisión cae mucho, hasta alrededor del 10%
- Esto se debe a que en la web no hay muchas páginas que incluyan texto como “245 + 821”
- Aunque haya reunido una enorme cantidad de información, ni siquiera ha derivado los “principios de la aritmética”
- Imaginemos cómo sería ChatGPT si fuera un algoritmo sin pérdida
- Entonces respondería citando textualmente fragmentos de páginas web relevantes
- Probablemente pensaríamos que el software apenas mejora un poco a los motores de búsqueda existentes y nos impresionaría menos
- El hecho de que ChatGPT reformule el material de la web en lugar de citarlo palabra por palabra hace que parezca que, como un estudiante, expresa ideas con sus propias palabras en vez de repetir lo que leyó
- Eso crea la ilusión de que ChatGPT entiende el material
- Se han propuesto muchos usos para los LLM, y pensar en ellos como un JPEG borroso puede ayudar a evaluar cuáles encajan y cuáles no
- ¿Pueden los modelos de lenguaje a gran escala reemplazar la búsqueda tradicional?
- Para confiar en los LLM, tendríamos que saber que no absorbieron propaganda ni teorías conspirativas (es decir, que no fueron entrenados con datos extraños)
- Tendríamos que saber que el JPEG está capturando la sección correcta de la web
- Pero incluso si el LLM incluyera solo la información que queremos, seguiría existiendo el problema de la borrosidad
- Si hay un tipo de borrosidad aceptable, sería el de volver a explicar la información con otras palabras
- Y cuando buscamos hechos, también existe una borrosidad claramente inadmisible, como la invención evidente
- No está claro si es técnicamente posible eliminar la borrosidad inaceptable y conservar la que sí se puede tolerar, pero esperamos saberlo pronto
- Incluso si fuera posible restringir a los LLM para que no falsifiquen, ¿deberíamos usarlos para generar contenido web?
- Eso solo tendría sentido si nuestro objetivo fuera reempaquetar información que ya está disponible en la web
- Algunas empresas existen justamente para hacer eso: lo que llamamos granjas de contenido
- Tal vez la borrosidad de los LLM les resulte útil como forma de evitar infracciones de copyright
- Pero, en términos generales, diría que lo que es bueno para una granja de contenido no es bueno para quienes buscan información
- A medida que aumentan estos reempaquetados, encontrar algo en línea se ha vuelto más difícil
- Cuanto más texto generado por LLM se publique en la web, más borrosa se volverá la propia web
- Casi no hay información sobre GPT-4, pero si hubiera que anticipar algo, sería que en OpenAI habrán tratado de excluir, al recopilar el texto necesario, el material producido por ChatGPT u otros LLM
- Si esto es cierto, ayudaría a confirmar que la analogía entre los LLM y la compresión con pérdida es válida
- Al recomprimir repetidamente un JPEG se pierde aún más información, y por eso aparecen más artefactos de compresión
- Es como cuando antes se volvía a fotocopiar una fotocopia: la calidad solo empeoraba
- ¿Pueden los LLM ayudar a los humanos a crear obras originales?
- Mi opinión es que empezar con una copia borrosa, en vez de con el original, no es una buena forma de producir algo original
- Si eres escritor, antes de escribir algo original, escribirás muchas cosas que no lo son
- El tiempo y el esfuerzo dedicados al trabajo no original no se desperdician
- Al contrario, eso es lo que finalmente te permite crear algo original
- El tiempo que pasas eligiendo las palabras correctas y reordenando oraciones para que fluyan bien te enseña cómo la prosa transmite significado
- Pedirles a los estudiantes que escriban ensayos no es solo una forma de evaluar su comprensión del material
- También les da la experiencia de expresar con claridad sus propias ideas
- En el futuro podría ser posible construir una IA capaz de escribir bien basándose únicamente en su propia experiencia del mundo
- Sería un momento importante, pero el día en que eso se logre está más allá de nuestro horizonte de predicción
- Si hubiera que guardar una copia en un servidor con espacio limitado y sin acceso a internet, un modelo de lenguaje a gran escala como ChatGPT podría ser una buena solución
- “Pero no hemos perdido el acceso a internet. Si tenemos el original, ¿por qué deberíamos usar un JPEG borroso?”
26 comentarios
Le hice preguntas repitiendo operaciones de suma y resta con más de 5 dígitos, y sigue dando respuestas correctas.
¿En qué casos se supone que empeora la precisión?
Lo que Ted Chiang pasa por alto es que la búsqueda de Google, que hasta ahora había sido el principal método para navegar internet, ha bajado mucho de calidad en los últimos años por el impacto de la producción masiva de contenido web de baja calidad.
Aunque ChatGPT sea un JPEG borroso, si la alternativa es solo una búsqueda de Google llena de ruido, entonces puede ser razonable usar ChatGPT como la mejor herramienta disponible ahora mismo para obtener información.
Se dijo que "no hemos perdido el acceso a internet", pero justamente esa es la premisa equivocada. Si pensamos en la enorme escala de la web, perder la capacidad de navegar equivale prácticamente a perder el acceso. ¿De qué sirve tener acceso si no puedes encontrar la información que quieres?
En otras palabras, nos estamos acercando a una situación en la que es casi como si no hubiera "originales", y creo que esa es la razón por la que la gente hoy siente que "tiene que usar un JPEG borroso".
Creo que el comentario que dejó abajo lightgreenmaesil muestra la diferencia entre la perspectiva de Ted Chiang y la de quienes están en el lado opuesto.
"De entrada, también ocupa más espacio y toma mucho más tiempo verlo. Con una foto quizá no se siente tanto el tiempo, pero si lo pensamos como un libro completo frente a una página que resume lo esencial de ese libro, se entiende mejor."
Si vemos la popularidad y las reproducciones que tienen en YouTube cosas como los resúmenes de películas de 15 minutos o los resúmenes de libros, es cierto que a la gente le gustan ese tipo de contenidos. Lo mismo pasa con los shorts. Pero si pensamos si esos resúmenes pueden expresar plenamente la obra original, lo correcto sería decir que no. Quien se conmovió al ver el original seguramente siente con fuerza todo lo que falta en el resumen.
Desde la posición de un novelista como Ted Chiang, lo que hacen ChatGPT o los LLM probablemente se siente como leer textos que resumen sus novelas en una o dos páginas. Y al ver a personas que dicen —o creen— que toda esa novela está contenida en ese texto breve, seguramente pensará: ¿de verdad esto tiene sentido?
Del mismo modo, ¿a los directores de cine o a los actores les gustará la gente que, en vez de la obra original, solo ve resúmenes de películas de 15 minutos? ¿Considerarán a esas personas como gente que vio su obra? Y más aún, ¿qué pasaría si casi todo el mundo empezara a percibir esos resúmenes de 15 minutos como si fueran más “cine” que la película real? Si por eso ya no fuera posible seguir haciendo películas, entonces ¿qué películas quedarían para resumir en esos videos de 15 minutos?
Vivimos en una época a la que le gusta resumir texto y video, consumir todo más rápido y más comprimido, pero curiosamente la música es lo único que permanece tal cual. No hay gente que escuche música resumida, ni que la escuche al doble de velocidad, ni que vaya saltándose de 10 en 10 segundos las partes aburridas.
Entonces, si siguiendo el espíritu de esta época yo escuché
Dittode NewJeans al doble de velocidad y en una versión de un minuto de adelanto, ¿podría convertirme en fan de NewJeans? ¿Podría decirse que yo también escuché esa canción, aunque la haya oído comprimida y resumida? ¿No? ¿O da igual?Como incluso el propio Ted Chiang usó la metáfora de JPEG, una compresión con pérdida, para explicar los modelos de lenguaje, incluso si existe el original, la información comprimida sigue siendo necesaria.
Y aunque un modelo de lenguaje vuelva a entrenarse con resultados que él mismo generó, casi no hay pérdida de información. (Casi no se producen actualizaciones en los parámetros internos del modelo. Como es información que ya conocía, no hay efecto de aprendizaje.)
Parece que en la traducción de la última pregunta hay una diferencia con el texto original y en el matiz, así que da la impresión de que, al ver solo la traducción, hay muchos comentarios que se apartan de la intención original.
So just how much use is a blurry jpeg, when you still have the original?
¿Qué tan útil es un archivo JPEG borroso cuando todavía tienes el original?
A mí me parece que la pregunta busca encontrarle utilidad al JPEG cuando ya se posee el archivo RAW,
y al interpretarla como "por qué usarlo", termina viéndose como si dijera "si ya tienes el RAW, ¿para qué usar algo como un JPEG?".
Claro, en la realidad hay razones por las que el JPEG es más popular que el raw, así que creo que es una pregunta que también incluye esa perspectiva.
A veces, incluso la documentación oficial de proyectos open source o la documentación oficial de AWS no me genera confianza, así que hay muchos casos en los que hay que ejecutarlo directamente para comprobarlo o incluso revisar el código fuente. Entonces, imagínate con ChatGPT... Siento que, mientras más crece la cantidad de información, más aumenta innecesariamente la cantidad de validación cruzada que los humanos tenemos que hacer.
¿No puedes distinguir entre un JPEG y el original?
Depende de las características de la imagen y del nivel de compresión. Si eres fotógrafo, normalmente prefieres conservar el original aparte del JPEG. Más adelante, al editar y retocar, el margen de edición cambia bastante entre hacerlo con un archivo JPEG y hacerlo con el original.
https://www.keptlight.com/does-size-matter/
¿No será que, incluso en este momento, lo que la mayoría de los humanos hace para ganarse la vida es justamente crear ese JPEG borroso?
ChatGPT es realmente impresionante, pero se siente demasiado humano, así que incluso parece poco adecuado para la búsqueda y la transmisión de información.
Coincido muchísimo con la idea de que se parece a ver un JPEG borroso en vez del original. Por ejemplo, cuando lees una traducción y la interpretación libre del traductor está muy metida, aunque a mitad del texto sientas que algo en la traducción está raro, si las palabras siguen conectándose con suavidad y parece que el contexto general más o menos cuadra, la mayoría de las veces simplemente sigues pasando páginas (aunque otra cosa distinta es si al terminar de leer de verdad lo entendiste). Pero esa traducción que se siente rara podría ser totalmente disparatada, así que no es algo que se deba pasar por alto. Para algunas personas una traducción así puede ser inaceptable, mientras que para otras puede estar dentro de un nivel tolerable.
Mmm. La calidad de imagen está pésima.
Quizás también pueda tomarse como una advertencia. Yo también lo uso para el trabajo, cuando necesito consejo o para pulir frases, en todo tipo de situaciones, pero definitivamente hay veces en que da respuestas convincentes aunque incorrectas. Y también es cierto que, para que el usuario se dé cuenta de que esa respuesta está mal, necesita conocimiento del tema o hacer investigación adicional. A veces incluso hay errores que solo se notan si uno mira con muchísimo detalle (por ejemplo, cuando genera código y usa funciones que en realidad no existen).
Hasta que empecé a encontrar ese tipo de errores, la verdad es que nunca había pensado que esta IA pudiera responderme de esa manera. Solo había contemplado que no pudiera responder en absoluto o que diera respuestas totalmente fuera de lugar.
Viendo que incluso en lugares como Stack Overflow, donde probablemente hay más gente con una comprensión relativamente alta de estas tecnologías, ha habido fricciones relacionadas con respuestas de IA, parece que la validación perfecta por parte de los usuarios no ocurre tanto como uno imaginaría. Verificar datos generados por IA requiere intervención humana, y claramente es una tarea que demanda trabajo y conocimiento. Si no fuera así, Microsoft no habría pasado por alto errores convincentes producidos por su propia IA. Por eso sabemos que, por ahora, debemos usar esta tecnología como una herramienta. Pero cuando le preguntamos a la IA del celular cuál será el clima de hoy, casi nunca partimos de la suposición de que la respuesta podría estar mal por un bug u otro tipo de error. Si una IA como ChatGPT sigue evolucionando hacia una IA de propósito general cada vez más integrada en la vida cotidiana, ¿no es muy probable que los usuarios acepten sus respuestas sin cuestionarlas demasiado?
Últimamente hay muchos casos en escuelas de redacción de ensayos con ayuda de chatGPT y similares. No se trata solo de señalar errores, recibir ideas para escribir o expandir un texto, sino de casos en los que, sin reflexionar sobre el problema, se entrega la respuesta de la IA cambiando apenas algunas palabras y aun así se obtiene una calificación alta; eso incluso ha salido en noticias. En situaciones donde se pide una opinión propia basada en material investigado directamente, dejar en manos de una IA el pensamiento, la estructura y la redacción es claramente un nuevo paradigma.
Más allá de la inteligencia artificial, a veces hay muchísima información incorrecta que aparece en internet, y mucha gente la cree como si fuera un hecho sin hacer verificaciones adicionales. Si yo mismo no leyera verificando una por una, probablemente también habría aceptado información errónea sin darme cuenta muchas veces.
Se suele bromear con algo así como la erosión de los datos: cuando una foto va circulando por internet en formato jpg y se comparte por distintos sitios, a veces se redimensiona y se comprime una y otra vez hasta que la calidad queda hecha un desastre. Incluso he visto que un fondo blanco puro termina volviéndose azulado.
Creo que la preocupación va por una especie de degradación de la información. Como se suele decir, lo malo termina desplazando a lo bueno, ¿no?
Los sitios para compartir imágenes ya están desbordados de ilustraciones generadas por IA. Eso no es necesariamente algo malo, pero si internet termina lleno de artículos aproximados escritos por IA, y luego una IA basada en eso vuelve a generar más artículos una y otra vez, ¿no podría ir acumulándose poco a poco cierta distorsión de la información? Es algo que me pongo a pensar.
He leído ciencia ficción durante más de 30 años y, aunque soy un fan de verdad que considera "La historia de tu vida" como lo mejor entre las nuevas obras de ciencia ficción que he leído en casi los últimos 10 años, no me queda más que refutar esto desde la perspectiva de alguien que ha trabajado más de 20 años como desarrollador en la industria.
En esencia, esta afirmación parte de una perspectiva que bien podría llamarse arrogante. La idea es que la gente, por ignorancia, malinterpretará que las plataformas de IA encabezadas por ChatGPT han llegado al terreno de la creación, pero como yo sé que no es así, debo decirles la verdad verdadera y hacerles saber los hechos reales.
La verdad es que no es así, y no solo lo sabe la gente del sector, sino también la mayoría de las personas. Desde AlphaGo, la IA lleva mucho tiempo siendo un tema central para el público. Todos conocen, en mayor o menor medida, tanto las capacidades como los límites de la IA. Hoy en el mundo del go con IA abundan jugadores tan avanzados que tratarían al nivel de AlphaGo como si fuera un bebé lactante, pero nadie recibe eso como algo impactante. Porque ya se ha aprendido bastante qué significa eso y cómo hay que tomarlo.
Yo más bien veo esa afirmación de Ted Chiang como un error nacido de la ignorancia y los prejuicios hacia el público. La gente que se entusiasma con ChatGPT no lo hace porque crea que va a reemplazar nuestra actividad intelectual. Todos entienden bien que va a "ayudar" a nuestra actividad intelectual, y lo están usando de esa manera. Se comparten ejemplos de prompts convertidos casi en manuales. Eso deja claro que se le reconoce explícitamente como una herramienta.
¿Cómo recibe la gente a la IA que dibuja? ¿La frotan como si fuera una lámpara mágica para pedirle que haga su creación en su lugar? Aproximadamente el 90% de las imágenes de IA que he visto últimamente eran imágenes sugerentes. Si las manos salen mal dibujadas y por eso se ven borrosas, bueno, borrosas serán, pero el resto se veía limpio y nítido, nada más.
Tengo mucho que decir, pero como es demasiado, lo voy a dejar en una sola frase.
"Subgerente Kim. Hay algo sobre lo que me atrevo a darle un consejo. No es otra cosa, pero por favor no use demasiado las funciones de Excel. Si hay comodidad, el riesgo aumenta. Para matar una vaca hay una hoja acorde, pero ¿hace falta un cuchillo para matar un pollo?...... Mi opinión es que uno puede ser rápido haciendo cálculo mental y, claro, depende de la persona, aunque la calculadora puede ser buena. Le doy mi opinión porque me pregunto si la computadora no será un cuchillo para matar vacas."
La última pregunta está mal planteada. El punto de comparación no debería ser un JPEG borroso, sino un resumen en palabras de una foto JPEG. Por ejemplo, debería ser un texto como “un perro sacando la lengua” frente a la foto real de eso. Eso también es una forma de compresión con pérdida. Se elimina la gran mayoría de la información y se comprime en apenas unos cuantos bytes de texto. Pero, ¿eso significa que esa compresión con pérdida no tiene valor porque existe la foto original? No. Para empezar, ocupa más espacio y también toma más tiempo verla. Con una foto quizá no se siente tanto lo del tiempo, pero si pensamos en un libro completo y en un resumen de una página con sus ideas centrales, se entiende mucho mejor.
Entonces, si hay un artículo académico, ¿hay alguna razón para ver un resumen con pérdida de ese artículo? Claro que sí, y según el caso puede ser muy útil. Si hay un libro y necesitas usar un resumen sobre una afirmación específica mencionada en uno de sus capítulos, por supuesto que hay motivos para hacerlo. Viéndolo de otra manera, cuando una persona va a la escuela, escucha decenas de horas de clases y luego las resume y organiza en apuntes o en una cheating sheet, eso también es una compresión enorme con pérdida: pasar de video a texto. Aprender en sí mismo es compresión con pérdida. ¿Eso no sirve?
Se usó la analogía de la “compresión” con la compresión de imágenes como si fuera algo muy trivial y sin mucha importancia, pero en realidad la compresión es una tarea sumamente esencial y significativa en el aprendizaje humano. En el caso de las fotos, los métodos de compresión ya están bastante resueltos hasta cierto punto, pero la compresión del lenguaje es algo muy non-trivial e importante.
La respuesta a la última pregunta es
Aunque la información que recibimos a través de GPT sea una versión degradada en JPEG,
la información que queremos por lo general es una versión tipo collage, y el esfuerzo que implica armar ese collage es considerable.
Nos ahorra el esfuerzo de hacer ese collage y, a veces, la calidad general del resultado supera mi propia habilidad manual,
así que vale totalmente la pena tolerar la pérdida de calidad.
No diría que estoy en posición de evaluar la imaginación y la comprensión de la tecnología que tiene Ted Chiang,
pero en general me da la impresión de que es un texto que sobreinterpreta algunas características de esta tecnología
y que pasó por alto las que realmente importan.
¿No será que la respuesta a la última pregunta es "porque es cómodo"?
No sé si sea una analogía adecuada, pero es como que hoy en día mucha gente queda satisfecha con cosas que comprimen el original, como maratonear películas o series.
Parece una analogía muy buena, pero imposible de entender si no trabajas en la industria.
¿Cómo se podría explicar esto a personas no expertas (incluyendo a quienes pretenden ser expertas)?
La superresolución puede ser mejor que el original
Claro, puede ser mejor, pero ¿acaso el texto no señala también que no necesariamente siempre es mejor?
Se dijo que puede mejorar, pero por supuesto no siempre mejora. Sin embargo, el artículo solo dice que la resolución es borrosa y descarta la posibilidad contraria de que pueda volverse más nítida. También se está mejorando la calidad de imagen de las CCTV y hasta se les añade color a las imágenes en blanco y negro, pero el JPEG del título no soporta ese tipo de cosas.
Mejorar la calidad de imagen, es decir, mejorar la calidad de una CCTV, en cierto sentido no es realmente una mejora. Lo que hace es darle al ser humano la 'sensación' de que la imagen fue mejorada. Lo mismo pasa con agregar color a una imagen en blanco y negro. Al 'generar' una imagen coloreada a partir de una en blanco y negro, se le da a la persona la 'sensación' de una imagen a color. Por eso, la 'mejora' de la que se ocupan las tecnologías actuales de aumento de calidad de imagen es un tema que debe tratarse desde una perspectiva muy limitada. Comparar eso con que JPEG no soporta algo así para la mejora de calidad de CCTV es una comparación muy injusta.
Gracias por el comentario. Con la misma lógica, eso de que sea borroso tampoco sería degradación desde cierta perspectiva, sino que al "generar" algo degradado está produciendo una "sensación", así que también sería un tema que habría que tratar desde un ángulo muy limitado; entonces, ¿también sería muy injusto comparar la capacidad matemática de ChatGPT con la degradación JPEG? Si lo que buscamos es aumentar la cantidad de información en sí, no parece necesario traer a la conversación cosas como la "sensación" humana. Así como al comprimir una imagen original a blanco y negro se reduce el tamaño, si a la inversa se le agrega color no solo aumenta el tamaño en bits, sino también la cantidad de información en sí; en ese sentido, se parece más a una descompresión o a una restauración del original que a una compresión. Decir que es borroso solo porque no es el original mismo me parece una comparación mucho más injusta. Viendo solo el título, uno podría malinterpretar que DALL-E también solo crea imágenes de baja capacidad y baja resolución, y que no puede hacer HD. Como dice el texto, cuando se recomprime un JPEG repetidamente, por lo general el tamaño baja, la calidad baja y la imagen inevitablemente se vuelve borrosa; pero ojalá no se pase por alto que, aunque el deep learning pueda ser borroso en cálculos matemáticos con pocos datos, en otras áreas al contrario puede hacerlo mejor, con más claridad y precisión.
No pasé por alto ninguna parte de lo que dijiste. Tú estás creando el original, y parece que te enojó muchísimo que yo dijera que estoy creando "algo que se percibe como original, pero no es el original". Te enojes o no, ese es el simple hecho, así que ¿qué se le va a hacer?
¿No expresé emociones como estar muy enojado o sentir que era muy injusto, sabe? Solo me preocupó que el público viera este titular del artículo, que dice que eso lo dijo una persona llamada Ted Chiang, y lo pasara por alto. Parece que la mayoría está de acuerdo, así que me alegra que usted lo conozca personalmente. Estoy de acuerdo en que es difícil hacer algo analógico a partir de lo digital. Aunque, como estamos hablando de texto, eso queda fuera del tema.
Lo del problema de la fotocopiadora Xerox es algo que también vi en 52 cosas que aprendí en 2022 #33.
¡Es interesante y de golpe se entiende mucho mejor cuando se conecta con esto!