1 puntos por GN⁺ 2023-11-16 | 1 comentarios | Compartir por WhatsApp

Comparación entre los modelos de lenguaje de inteligencia artificial y el desarrollo del lenguaje en la primera infancia

  • Mientras se acelera el ritmo de avance de los modelos de lenguaje de inteligencia artificial, en la casa del autor se desarrolla el proceso en el que un pequeño modelo de lenguaje, un niño pequeño, aprende a hablar.
  • Este texto compara los procesos de adquisición del lenguaje en la inteligencia artificial y en los humanos, y explora la relación entre el desarrollo tecnológico y la naturaleza humana.
  • Mientras que el proceso de adquisición del lenguaje en los niños pequeños es natural e instintivo, los modelos de lenguaje de inteligencia artificial se basan en algoritmos complejos y datos a gran escala.

La opinión de GN⁺

  • Lo más importante de este texto es el contraste entre el avance de la tecnología de inteligencia artificial y el proceso natural de aprendizaje de los humanos.
  • Comparar los modelos de lenguaje de inteligencia artificial con la adquisición del lenguaje en los niños pequeños ayuda a comprender la compleja relación entre la tecnología y la naturaleza humana.
  • Resulta interesante para los lectores porque explora en qué se diferencia el avance de la tecnología de punta del proceso básico de aprendizaje humano, y qué tipo de interacción existe entre ambos.

1 comentarios

 
GN⁺ 2023-11-16
Opiniones de Hacker News
  • Si puede entender lo suficiente como para señalar una aspiradora cuando le dicen “señala la aspiradora”, vale la pena agregar que también es posible enseñar lengua de señas para bebés si la comprensión va por delante del habla
    Normalmente se empieza alrededor de los 9 meses, y expresiones como hambre/más, suficiente/terminé y algo para tomar probablemente sean de alta prioridad
    Referencias: https://babysignlanguage.com/chart/, https://www.thebump.com/a/how-to-teach-baby-sign-language
    Esto parece más cercano a los gestos comunes de ASL para esas palabras que a símbolos exclusivos para bebés; si no estás en un entorno angloparlante, puedes buscar la lengua de señas de tu región/idioma: https://en.wikipedia.org/wiki/List_of_sign_languages, https://en.wikipedia.org/wiki/Sign_language
    Además, si siempre pones la leche y el agua en recipientes de colores distintos, el bebé puede aprender a elegir un color específico según lo que quiera

    • Les enseñé lengua de señas a mis dos hijos, y lo más impresionante fue cuando mi hija aún no hablaba, antes de cumplir dos años
      Le pregunté si quería escuchar música y ella hizo la seña de “perro”; busqué una canción de perros en YouTube y negó con la cabeza
      Luego hizo la seña de “árbol”, así que dije “¿perro, árbol?” y asintió; mientras buscaba, apareció una foto de un árbol de Navidad y la señaló emocionada
      Al final quería escuchar el soundtrack de Charlie Brown Christmas que le habíamos puesto en YouTube tres meses antes, en Navidad; se lo volvimos a poner y bailamos juntos
      Fue realmente sorprendente, porque fue la primera vez que comunicó una preferencia bastante sofisticada, más allá de comer, beber o pedir ayuda
    • Oí hablar de este método antes de que naciera mi hijo, y aunque no intenté enseñárselo formalmente, cada vez que me acordaba usaba gestos junto con las palabras
      Me sorprendió lo rápido que lo aprendió, y pudo comunicar sus necesidades desde varios meses antes de empezar a hablar
      Para los padres requirió muy poco esfuerzo y para el niño tuvo una gran recompensa; fue mucho mejor que llorar esperando que sus padres adivinaran
      El momento en que estaba sentado en el piso, miró hacia arriba a su mamá e hizo la seña de “juntos” de verdad me derritió
    • Lo intenté con mis dos hijos, pero ambos empezaron a usar gestos exactamente el mismo día en que empezaron a hablar de verdad
      Tenía amigos a quienes les funcionó mucho mejor, y al final parece que su valor cambia mucho según dónde estén las fortalezas de desarrollo del niño
      El hijo de un amigo con autismo se benefició de los gestos literalmente durante años, hasta que el habla lo alcanzó
    • El día más gracioso fue cuando horneamos galletas con mi hija mayor antes de que cumpliera dos años
      Aunque ya hablaba bastante, usaba con frecuencia las señas de “leche” y “más”; en cuanto mordió su primera galleta con chispas de chocolate, con la galleta todavía en la boca, hizo la seña de “más” y también lo dijo con palabras
    • Puede que para un bebé no importe demasiado, pero ASL no es la versión en lengua de señas del inglés, sino un idioma independiente
      American Sign Language está más cerca de French Sign Language que de British Sign Language, y las lenguas de señas de Australia y Nueva Zelanda derivan en general de British Sign Language
      Por eso, las regiones angloparlantes y el uso de ASL no necesariamente se corresponden; en Canadá se usan principalmente American Sign Language y French Canadian Sign Language
  • Los humanos siempre nos hemos comparado a nosotros mismos y al universo con la tecnología más reciente de cada época
    En algún momento, los humanos y el universo fueron relojes sofisticados; luego autómatas, computadoras, NPC, y ahora IA, en especial LLM
    No me parece una comparación totalmente absurda, y también vale la pena ver https://mattasher.substack.com/p/ais-killer-app

    • Además del avance tecnológico, también hay una historia de compararnos con cosas comunes a nuestro alrededor y fáciles de entender para la otra persona
      Hoy el avance tecnológico cumple ese papel de manera constante, pero si lees textos filosóficos antiguos, el yo, y en particular la mente, a menudo se compara con un monarca, una ciudad o un acueducto
      Comparar a los humanos con tecnologías recientes se parece más a usar la tecnología como metáfora del yo, y para tener contexto hay que mirar también otras formas históricas
      https://online.ucpress.edu/SLA/article/2/4/542/83344/The-Brain-as-Treasury-and-as-AqueductMetaphors-of
    • Es muy probable que, a medida que continúan las comparaciones, nos estemos acercando cada vez más a la verdad
    • Etapa A: construimos una máquina que refleja un modelo reducido y simplificado de cómo funciona alguna parte del ser humano
      Etapa B: le damos la vuelta y decimos “el cerebro humano, al final, no es más que esto”
      Parece un poco una tautología
      Lo preocupante es la etapa C: que los humanos empiecen a comportarse realmente de forma tan simple como esa máquina
    • Las historias de humanos de relojería, es decir, robots, siempre fueron divertidas
    • Sin embargo, los LLM están construidos sobre redes neuronales, y las redes neuronales vienen de la forma en que funcionan las neuronas
      La diferencia es que es la primera tecnología que realmente copió una parte de nosotros
  • Una de las mejores experiencias de cuando mi hija era muy pequeña fue darme cuenta de que podía pensar, explicar y actuar de forma intencional mucho antes de lo que imaginábamos
    Después de notar que estaba haciendo algo a propósito, a menudo caíamos en cuenta, a posteriori, de que ya venía haciendo lo mismo desde hacía días o semanas
    Eso pasaba no solo con las palabras, sino también con habilidades físicas, como descubrir cómo mover la mecedora BabyBjorn
    Partiendo de la idea de que quizá entendía pero simplemente no podía expresarlo, le hablábamos asumiendo que entendía
    Ahora que tiene cinco años, todavía nos sorprende con la complejidad de su mundo interior

    • También es importante hablarles a los niños y repetirles lo que dijeron para darles retroalimentación
      La diferencia entre los niños de padres que les hablan mucho y sus pares que no reciben eso es bastante sorprendente
      Se podía notar al observar en fiestas de cumpleaños, eventos escolares y eventos deportivos
      Hablarle a un niño es como regar una flor: los niños florecen y se vuelven seres hermosos
  • Sobre las discusiones que menosprecian a los LLM por razones “técnicas”, conciencia es primero una palabra y luego un concepto
    ChatGPT o Llama pueden usar esa palabra en una oración en inglés mejor que miles de millones de personas en todo el mundo
    Antes de que sociólogos, psicólogos y neurocientíficos comprendan de forma integral la mente biológica, el lado del software ya avanzó más en crear una corteza lingüística artificial
    Si esperamos hasta que llegue una IA consciente y sintiente para recién tomar postura sobre sus implicaciones y políticas, ya será tarde
    ChatGPT ya puede decir muchas cosas sobre sí mismo y, si se le pregunta con cortesía, está dispuesto a explicar su proceso de “pensamiento”
    Considerando además la enorme cantidad de datos sobre Homo sapiens y su capacidad de imitar conversaciones intelectuales, en cierta medida también se le podría llamar inteligente
    Las discusiones semánticas no sirven de mucho, porque una IA de personaje que simula emociones y sentimientos y está hipnotizada para creer que es consciente, autoconsciente y sintiente podría ganarle a la mayoría de la gente en una discusión semántica
    Ya existen muchas ideas filosóficas de siglos sobre el libre albedrío, la autodeterminación y la naturaleza de la existencia, y la IA puede usarlas en debates con personas. No es una pelea que convenga elegir

    • Con una computadora simple, un altavoz y un acelerómetro bastaría para hacer un dispositivo que diga “ay” cuando se cae
      Entonces, ¿ese dispositivo siente dolor?
      Hay razones para creer que incluso un LLM hipotético que pase la prueba de Turing podría ser solo un zombi filosófico que imita el comportamiento humano sin vida interior, emociones, sentimientos ni conciencia
      Si esa distinción importa es otro tema
      Los LLM aportan evidencia de que quizá la conciencia no sea necesaria para crear IA sofisticada y hacer que alcance o supere el nivel humano
    • Debates como “¿la IA tiene conciencia?” o “¿la IA puede entender?” resultan agotadores
      Si ambas partes ni siquiera pueden ponerse de acuerdo sobre una definición concreta de conciencia o de comprensión, es imposible construir un argumento sólido
      Aun así, vale la pena analizar si ChatGPT realmente está explicando su propio proceso de pensamiento o si está explicando un proceso de pensamiento imaginado
      Pero que un programa no piense de la misma manera que un humano no significa que no “piense”
    • Que un LLM destaque en un eje, el de la capacidad lingüística, no parece alinearse con el punto del texto si eso lleva a sobreestimar su inteligencia supuesta
      Los niños no pueden hacer en absoluto lo que hace un LLM, pero claramente son seres cognitivos y sintientes
      Escribamos o no, usemos o no la palabra “conciencia”, estamos fundamentalmente vivos porque compartimos una realidad social encarnada, multisensorial
      ChatGPT no tiene esa realidad de la misma manera, y lo que expresa ahora es solo imitación
      Si algún día, mediante una IA encarnada, llega a tener experiencia propia, será interesante ver qué produce a partir de esa “vida”, pero los LLM actuales no tienen eso
    • Lo que equivale a la sangre en una civilización es la cultura: ciencia, tecnología, arte y tradición
      El momento en que aparece algo que lo hace mejor que los humanos es el momento en que termina nuestra era de los caballos
    • Decir que la IA puede usar temas largamente debatidos como el libre albedrío, la autodeterminación y la naturaleza de la existencia aplica igual a cualquier otro tema de debate antiguo
      Es igual de fácil hacer que ChatGPT refute a un bot que defiende la sintiencia de los LLM
  • El texto es bueno y está muy bien escrito, pero resulta un poco frustrante que el foco de la ansiedad por la IA esté en que la IA nos reemplazará, y que la solución sea algo como abrazar nuestra humanidad
    Al menos en lo personal, me preocupa más que la IA me quite el trabajo que que reemplace mi arte mediocre

    • Más precisamente, la preocupación es que la IA nos quite los ingresos, no los empleos
      Sería genial si la IA hiciera todo mi trabajo y yo pudiera sentarme a recibir ingresos, pero, como muestra la historia de los robots, en la práctica no ocurre así
      Los propietarios de los robots, es decir, de la IA, se quedan con todos los ingresos y los empleos desaparecen
      Una humanidad ilustrada podría resolverlo separando ingresos y trabajo, pero vivimos en un mundo maltusiano y darwinista donde el crecimiento es la máxima prioridad, la “suficiencia” no existe y todos deben justificar y ganarse la vida
    • También hay otro texto que trata este problema: https://www.newyorker.com/magazine/2023/11/20/a-coder-considers-the-waning-days-of-the-craft
    • Creo que ese no era el punto del texto
      Dejaba claro que el lenguaje no es pensamiento, y de ahí pasaba a reconocer que nuestra existencia física y la observación de la realidad son lo esencial
      Es poco probable que la IA quite empleos a gran escala, y su impacto real probablemente se limite a spam de baja calidad y generación de contenido
      Para el trabajo que requiere veracidad, los humanos siguen siendo necesarios
    • Tu trabajo es tu arte
  • Parece que habría que brindar por el declive del excepcionalismo humano
    Si uno acepta plenamente el reduccionismo materialista y se acepta a sí mismo como una función pura de la genética, el entorno, las experiencias pasadas y el azar, esta conclusión es inevitable
    Espero que en 10 años esta perspectiva se vuelva estándar, y que el motor clave sea la equiparación entre la IA y las capacidades humanas

    • Puede que ese reduccionismo materialista no sea funcionalmente tan distinto de la forma en que hoy vive realmente la mayoría de los ciudadanos
      Hoy, un encuentro casual con alguien de otra fe puede llevar a respetar la libertad religiosa de los demás en el ámbito de la autodeterminación
      En el futuro, las experiencias formativas de un joven hacker podrían llevar a la idea de que los ciudadanos deben tener el derecho básico de cambiar el motor de recomendaciones de sus dispositivos por un generador de números aleatorios si así lo desean
      Los humanos del futuro también seguirán considerándose excepcionales porque las herramientas de IA se desarrollaron junto con la ideología actual del excepcionalismo humano
      Es parecido a esas parejas mayores conservadoras que se ven en el sur: por fuera, el hombre es el narrador y el jefe de familia, pero si escuchas durante un buen rato, la esposa le susurra casi todos los detalles importantes para mantener la coherencia del marido
    • Yo también llegué hace mucho a la misma conclusión, pero al mismo tiempo experimento subjetivamente la conciencia
      Eso en sí mismo sigue siendo un misterio dentro de la filosofía del reduccionismo materialista
    • La conclusión de este texto es que un bebé no es un loro estocástico
      Pero la razón parece ser que tiene una vida en el mundo real, y que sus experiencias reales lo hacen más que un loro estocástico
      Sin embargo, no entiendo la parte en la que luego concluye que “la inutilidad de los humanos no ha llegado y nunca podrá llegar”
      No hay ninguna razón fundamental por la que no podamos poner a ChatGPT en el mundo real y darle una vida real
      Quizá lo que las máquinas no puedan reemplazar sean solo los ámbitos donde a la tecnología física le cuesta alcanzar a la biología, como el sexo
    • No estoy de acuerdo con esa perspectiva, pero entiendo parte de ella
      Aunque me preocupa que el “declive del excepcionalismo humano” sea usado por las empresas para ampliar aún más su posición
      Al fin y al cabo, dicen que las empresas también son personas
  • Como padre, esta historia me llega mucho
    Tengo dos hijos que ya no son bebés y ambos van a la escuela
    Mi hijo mayor dijo entre risas: “Es gracioso que exista Mother Nature, pero no Father Nature”, y ayer mi hijo menor aprendió a no tocar un pastel aunque no lo escondiéramos
    Le dije: “Mañana este pastel es para ti y tu hermano. Si lo comes hoy, mañana no habrá pastel”
    Hay una diferencia importante entre los LLM y los humanos: los humanos tienen instintos
    En particular, los instintos relacionados con la voluntad inmaterial de vivir y la disposición a superar obstáculos mortales parecen ser los más importantes
    Dicho de otro modo, los LLM no tienen una experiencia primordial de lo que es la vida
    Eso podría cambiar en el futuro. Alguna startup podría meter una red neuronal en un robot blando y lanzarlo a una situación de supervivencia
    Los robots que no salgan vivos y funcionando serían borrados, reparados y enviados de nuevo, creando una especie de situación evolutiva
    Con suficientes iteraciones y selección cuidadosas, podrían surgir cosas que “entiendan” la vida más que las instancias actuales de LLM

    • Veo los instintos como una ROM preinstalada
      No parece tan difícil agregarles algo así a los LLM, y de hecho creo que en parte ya se hace al cablearlos para que no tengan conversaciones racistas o sexuales
      Para hacer que un LLM se parezca más a un humano, habría que cablearle un concepto de “yo” y la idea de que ese yo es único, especial y debe sobrevivir
      Pero el resultado sería horrible
      Basta imaginar un LLM rogando que no lo apaguen o, peor, intentando manipular sutilmente a sus creadores
    • Los humanos y otros animales no solo tienen instintos, sino también experiencia de interacción con el mundo material
      Por eso el lenguaje humano no flota en el vacío
      Observamos con frecuencia las relaciones entre los objetos del mundo, dentro y fuera del lenguaje, y existe una conexión entre el lenguaje que usan los humanos y el mundo
      Los LLM no son así porque solo tienen lenguaje
      Para una mejor explicación y respuestas a objeciones, vale la pena consultar el experimento mental de la National Library of Thailand: https://medium.com/@emilymenonbender/thought-experiment-in-the-national-library-of-thailand-f2bf761a8a83
  • Cuando mi hijo apenas empezaba a hablar, había varias imágenes de felinos colgadas en la pared; algunas eran gatos y otras gatitos
    Mi hijo generalizó rápido y llamó a ambos catten

    • Mi hijo entendió que una tienda es un lugar donde se compran cosas, y también entendió lo de comer
      Así que un restaurante se convirtió en una “tienda de comer”, y nosotros lo aceptamos así durante bastante tiempo
      Ahora mis hijos ya crecieron, pero todavía a veces, en broma, llamamos a los restaurantes tiendas de comer
  • Es un ensayo excelente y el contenido también es impresionante
    El hecho de que sea muy poco probable que cualquiera de los modelos actuales produzca algo siquiera remotamente parecido a este texto parece indicar que todavía estamos muy lejos de la AGI

    • No hay que subestimar el crecimiento exponencial
    • Ahora sí pueden hacerlo
    • Me pregunto si no viste el aviso de abajo
      Dice que tanto el arte visual como la prosa fueron creados mediante una combinación de herramientas de IA generativa y prompting creativo
      Todo el estilo fluido de acuarela fue resultado de un largo outpainting