Niños jugando en el arroyo
(hgreer.com)- El juego infantil de represar el arroyo cambia, a medida que aumentan la fuerza y el conocimiento, de una simple travesura a una decisión que puede romper los límites del juego
- Si derrumbas la orilla con una pala grande de 5 pies, es fácil ganar el rompecabezas de construir una presa, pero en ese momento se reduce el espacio del juego en el que todavía se puede volver a jugar
- Actividades que ponían a prueba los límites, como la catapulta de K'Nex, los experimentos con fuegos artificiales y la fabricación de arcos, se vuelven difíciles de llevar al máximo una vez que se conocen los riesgos y las consecuencias
- Una oferta de banca de inversión fue el detonante para darse cuenta de que el “juego de ganar la mayor cantidad de dinero posible” también había llegado a esa misma etapa
- El desarrollo de inteligencia artificial también queda dentro de la misma metáfora, y lograr el éxito a toda potencia puede terminar siendo un desenlace menos gratificante, como una explosión metafórica de fuegos artificiales
El momento en que ya no puedes ir con todo
- De niño, el juego de represar el arroyo del patio trasero consistía en tapar huecos con piedras, hojas y arena para ver qué tan alto se podía hacer subir el agua
- En cierto momento surge la idea de que, si se derrumba la orilla con una pala grande de 5 pies, se puede hacer una presa más grande y mejor
- El padre dice que, como ya resolvió ese rompecabezas, ya no puede disfrutar libremente el juego de bloquear el arroyo
- El precio de la victoria era que se reducía el espacio disponible para jugar, y el jaque mate ocurría fuera del tablero, no dentro del juego
- El mismo cambio se repite en otros juegos
- Después de hacer un agujero en el techo, construir una catapulta de K'Nex pasa de ser una actividad que se podía disfrutar sin mucho cuidado a una que requiere precaución
- El intento de juntar fuegos artificiales para ver qué tan grande podía ser la explosión ya no se permite llevar hasta el límite
- Después de aprender la técnica del tillering, ya no se puede fabricar arcos y flechas al máximo para librar batallas en el patio trasero con amigos
- Para conseguir una oferta en banca de inversión, se dedicó con intensidad al leetcoding, al estudio de sistemas de build y a pulir el currículum, pero al recibir la oferta llegó a la conclusión de que no podía seguir jugando el juego de ganar la mayor cantidad de dinero posible
La misma metáfora aplicada al desarrollo de IA
- Si hay un oponente suficientemente fuerte, se puede seguir compitiendo con todo durante mucho tiempo
- Un ejemplo es jugar en el flujo de salida de las pozas de marea cuando la marea está bajando en la playa
- Con las manos se puede bloquear la arena para formar lagos, deltas y cañones, pero la marea entrante es mucho más fuerte y borra todos los resultados
- A medida que crece la comprensión, las opciones vuelven a estrecharse
- Si se va más allá de empujar arena con las manos o con una pala y se hace lobby ante el concejo municipal para instalar un espigón (
groin) o un seawall, se puede mover de verdad una gran cantidad de arena de la playa - Por eso ya no se puede realmente ir con todo, ni tampoco se quiere hacerlo
- Si se va más allá de empujar arena con las manos o con una pala y se hace lobby ante el concejo municipal para instalar un espigón (
- Incluso mientras se excava arena con la mano, se ven los rastros de las almejas coquina volviendo a enterrarse tras las olas, consecuencias que a los cuatro años no se alcanzaban a ver
- Surge la duda de si las almejas enterradas por accidente con rapidez en una pequeña obra civil de 2 pies podrán volver a salir a la superficie
- Se supone que la mayoría sí podrá, y se continúa
- Esta metáfora también se extiende al desarrollo de inteligencia artificial
- El proceso de ir con todo fue interesante y realmente una aventura gratificante
- Pero tener éxito y terminar volándose la mano en una explosión metafórica de fuegos artificiales pasa a ser un resultado menos gratificante
- Esta evaluación se mantiene incluso si se extiende la metáfora a una situación donde los vecinos compiten por ver quién se vuela la mano primero, o donde todos comparten una sola mano
- En el lado positivo, Anthropic al menos parece estar notando a las almejas coquina en su informe más reciente sobre usos en educación
1 comentarios
Opiniones en Hacker News
Es un buen texto, pero creo que el punto central no es el desarrollo de IA, sino lo que aparece al principio: “ganar la mayor cantidad de dinero posible”.
El problema que se ve en la IA surge más en el marketing y la difusión que en el desarrollo en sí. Que alguien bloquee un arroyo por diversión y fracase o se lastime la mano está mal, pero la escala se limita sola. Porque lo que se hace por diversión o desafío difícilmente crece más allá del ámbito en que una persona puede disfrutarlo.
Si todos trataran la IA como quien bloquea un arroyo por diversión, no habría mayor problema. Aunque los modelos sean potentes, habría más interés en juguetear con ellos que en monetizarlos, así que probablemente serían cosas raras y fragmentarias. Como tantos proyectos de hobby que aparecen en HN, uno diría “qué genial” y seguiría de largo, sin ponerlos en puntos críticos de dependencia.
Sea IA o no, los problemas empiezan en el momento en que se empieza a usar algo para ganar “la mayor cantidad de dinero posible”. Además, hacia el final el texto habla como si Anthropic hubiera empezado a darse cuenta de las almejas, pero en varios ejemplos del propio texto lo que hizo que se detuviera no fue la introspección, sino una autoridad externa, como los padres. La mayoría de la gente no es tan reflexiva como el autor, y puede que no le importen cosas como “ganar en un juego de suma cero contra gente que no tiene por qué perder” ni las almejas. Alguien tiene que quitarles la pala.
Mientras “ganar la mayor cantidad de dinero posible” se trate como una excepción al principio de “no hay que seguir hasta que algo se rompa”, estos problemas seguirán, haya IA o no.
Ahora estoy jubilado y paso el tiempo trasteando cosas en mi “jardín de software”. También uso IA para resolver problemas y generar borradores de código, pero el objetivo es la satisfacción personal.
Cuando son pocas las personas que tienen herramientas, el artesano es muy valioso. Como el conocimiento o la habilidad real no están sobreofertados, puede ganar mucho dinero, y a otros les cuesta alcanzarlo porque no tienen las herramientas ni la técnica. Con solo el esfuerzo inicial puede volverse rico.
Cuando todos tienen las mismas herramientas, el artesano sigue siendo valioso. El conocimiento y las habilidades acumuladas con el tiempo son escasos, y hay incentivos para seguir mejorando y mantenerse por delante.
Cuando la herramienta hace el trabajo por él, el valor del artesano queda limitado. Se vuelve una especie de reliquia, y por más que aumente su especialización, la mayoría puede encender la herramienta y obtener un resultado suficientemente bueno.
Ahora estamos entre la etapa 2 y la etapa 3. En las entrevistas todavía se pregunta por diseño de algoritmos o complejidad de enfoques, pero muchas personas no logran cruzar el punto de transición de “¿entonces qué hago ahora?”.
Ahora el valor proviene menos de saber cómo funciona la automatización y más de usar herramientas para crear más valor que una persona promedio. Es una transición difícil para quienes aprendieron que solo con ese conocimiento podían tener una vida estable o rentable.
Ya pasó la época de las entrevistas para SDE, y cuando se busque a un ingeniero se buscará menos a alguien capaz de crear su propia versión de una herramienta y más a alguien que acepte el presente y agregue utilidad humana a las herramientas disponibles, haciendo que el conjunto sea mayor que la suma de sus partes.
La mejor parte de crear software siempre fue la creatividad, y eso no cambió. De hecho, ahora es más importante.
Al final, creamos cosas que van a usar los consumidores. Si el arroyo empezó a fluir en otra dirección, no debemos seguir apilando piedras donde antes pasaba el agua, sino aceptar que cambió y adaptarnos.
Se felicita por saber que hay límites a la hora de destruir la propiedad de sus padres, se felicita por poder contemplar la arena de la playa como un momento de Instagram de simplicidad existencial, y se felicita por ser lo bastante inteligente como para haber podido volarse una mano. No sé qué es “Leetcoding”, pero va por el mismo lado, y dice que dejó un trabajo sospechoso porque le aburría, insinuando que quizá desarrolló conciencia. Al final remata con “por supuesto, esta es una historia sobre el desarrollo de inteligencia artificial”.
Si agrego algo más: se nota una psicología que quiere amor más que dinero, pero en realidad quiere ambas cosas, y aun así intenta meter cosas malas en el mundo como puntos críticos de dependencia. Parece un intento de obtener lo que pueda, ya sea amor o dinero. Mis padres llamaban a esto “un niño que solo necesita atención, ya sea buena o mala”.
Creo que ese ha sido el motor fundamental de la mayoría de los multimillonarios tecnológicos de los últimos 20 años. Lo que conecta a Bezos, Zuck, Jobs, Dorsey y Musk es un deseo del tipo: “Mira, papá, no solo me llevé el dinero. Era lo bastante inteligente como para volarme la mano con fuegos artificiales, pero mira, tengo las dos manos. Con el dinero de papá gané muchísimo dinero. ¿Por qué no estás orgulloso? ¿Dónde encuentro amor? Si digo que soy muy Leetcoder y que podría crear una IA mala pero solo creo IA buena, ¿todos me van a querer?”.
Claro que yo tampoco estoy libre de esas emociones. Quiero hacer cosas buenas y quiero que a la gente le guste lo que hice. Pero en textos como este hay una necesidad de lucirse y un narcisismo demasiado evidentes. Si de verdad eres un genio, ve a acostarte con las almejas o escribe una novela. Si de verdad tienes conciencia, ten el valor de decir que tienes conciencia. Deja lo demás en paz y no contamines un mundo que no entiendes con una codicia infantil y una obsesión contigo mismo.
Es un ensayo excelente y siento algo parecido al autor, aunque no creo que pudiera haberlo expresado tan bien.
Pero si alguien espera que los investigadores de IA tomen este consejo y bajen la velocidad, mejor que no espere. El autor dijo que dejó un trabajo muy bien pagado en finanzas por razones morales, y eso es admirable. Pero Wall Street sigue funcionando, y no falta gente dispuesta a jugar el juego de “ganar todo el dinero posible”.
Me quedó grabado un comentario reciente de HN [0] que comparaba a las empresas e instituciones con la IA. Esas organizaciones ya funcionan como inteligencias sobrehumanas.
[0] https://news.ycombinator.com/item?id=43580681
Empresas como Amazon, Google y OpenAI están deteriorando el planeta bastante rápido, mientras que empresas como Citadel solo mueven dinero de un lado a otro.
El tillering mencionado aquí no se refiere a los brotes laterales de una gramínea, sino a dar forma a la madera para que se doble al fabricar un arco. Es divertido aprender palabras nuevas.
[1]: https://www.howtomakealongbow.co.uk/part-5-tillering
[2]: https://en.wikipedia.org/wiki/Tiller_(botany)
Es un proceso iterativo: se flexiona, se rebaja, se vuelve a flexionar y se retira madera de forma gradual.
Me dio risa, de una forma sana, lo de represar un arroyo o jugar con arena en la playa. Resolver el rompecabezas se parece más al final malo de un juego, cuando jugar ya deja de ser divertido.
La gente debería dedicar más tiempo a hacer cosas porque son divertidas, en lugar de hacerlas para volverse mejores. Ya sea que el fin llegue durante nuestra vida o no, yo voy a intentar disfrutar la vida tanto como pueda de cualquier manera.
Vonnegut lo dijo mejor que nadie.
https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...
https://www.goodreads.com/quotes/12020560-talking-about-when...
“Cuando le digo a mi esposa que voy a salir a comprar un sobre, ella me dice que, si no soy pobre, por qué no compro 100 sobres en línea y los guardo en el clóset. Así que finjo no haberla oído y salgo a comprar un sobre. Porque en el proceso de comprar un sobre voy a pasar un rato maravilloso. Voy a encontrarme con mucha gente, veré a personas estupendas, le levantaré el pulgar a un camión de bomberos si pasa, y le preguntaré a alguna mujer de qué raza es ese perro. La moraleja de la historia es que vinimos a la Tierra a perder el tiempo. Claro que las computadoras nos van a quitar eso. Lo que la gente de las computadoras no sabe, o no le importa, es que somos animales que bailan.”
― Kurt Vonnegut
El autor parece preocuparse por el riesgo de la IA, es decir, que “la IA nos va a matar a todos”, un tema común en LessWrong.
Pero desde la perspectiva de alguien que usa con frecuencia los modelos de IA más recientes, no está nada claro que ese riesgo exista en un horizonte temporal previsible. Incluso los mejores modelos actuales son crédulos con facilidad, y les faltan perspectiva y originalidad.
Dwarkesh hizo antes una pregunta de este tipo: “Como científico, ¿qué opina del hecho de que estos modelos, aunque en la práctica hayan memorizado todo el conocimiento humano, no hayan logrado hacer ni una sola conexión nueva que lleve a un descubrimiento? Si una persona de inteligencia normal hubiera memorizado tanto, ¿no se daría cuenta de cosas como ‘esto causa este síntoma, y aquello también causa el mismo síntoma, así que aquí hay un tratamiento’? ¿No deberíamos esperar algo así?”.
A mí me pasó algo parecido hace poco. Le pregunté a GPT-4.5 “Deep Research” qué material era el mejor para cierta pieza mecánica, y su primera respuesta fue copiar tal cual un post de LinkedIn ridículamente tonto; la segunda salió de un comunicado de prensa marketinero. No hubo ninguna perspectiva original, y al final concluí que la investigación y los experimentos tendría que hacerlos yo mismo.
El punto central es que no veo que los modelos de lenguaje de gran escala puedan inventar métodos tan aterradores y novedosos como para matar a toda la humanidad. En los últimos cinco años esto no ha cambiado en absoluto. Ahora solo pueden hojear posts de LinkedIn y buscar comunicados de prensa en la web.
Además, estos modelos no tienen voluntad independiente ni sentido del tiempo o del espacio. Incluso en principio, no está claro que puedan funcionar como agentes verdaderamente independientes.
Pero no sé si alguien ha creado un modelo multimodal entrenado a la vez con datos de tomografía de rayos X de piezas sometidas a distintas cargas y descripciones del uso de esas piezas. Me parece que un modelo así podría dar una respuesta bastante buena a la pregunta.
Pero sí pueden hacer que tontos crédulos empujen a la humanidad por completo hacia el precipicio. Eso ya está ocurriendo. El modelo no necesita ser un agente independiente; basta con que parezca inteligente.
“Solo después de conseguir eso me di cuenta de que ya no podía seguir jugando el juego de ‘ganar la mayor cantidad de dinero posible’”.
Lo gracioso es que mi padre me enseñó eso cuando tenía 12 años, por compasión. No entiendo por qué se idealiza tanto a esa gente tipo Spock que ama la lógica. ¿No saben que el verdadero héroe de Star Trek era Captain Kirk? Porque él tenía compasión.
No sorprende que los zizianos hayan salido de LessWrong.
Si hay dinero de por medio, siempre habrá alguien dispuesto a asumir el riesgo, ya sea una persona con una pala o alguien que llega con un camión lleno de fuegos artificiales. Sobre todo si puede trasladar el riesgo al público, intentará quedarse con la recompensa.
Si eres padre o madre, ¿no ves a tu hijo todos los días y a veces sientes asombro ante ese ser pequeño, sorprendente, extraño y único?
Los autores de LessWrong parecen sentir lo mismo cada día cuando se miran al espejo.
Hace falta explicar qué es la metáfora de “coquina”.
En la realidad, parece significar que Anthropic está haciendo una obra enorme al crear AGI y recién empieza a notar los posibles efectos que eso podría tener sobre las personas.
Parece querer decir que Anthropic está empezando a advertir los riesgos que su trabajo puede representar para otras personas, aunque no sé con precisión a qué se refiere.
[1]: https://www.youtube.com/watch?v=KZUlf7quu3o
Es como la diferencia entre cavar un poco la arena con la mano y enterrar temporalmente a criaturas pequeñas, y “hacer lobby ante un concejal para instalar espigones o rompeolas y mover de verdad la arena de la playa”.
https://www.anthropic.com/news/anthropic-education-report-ho...