- La píldora negra es una combinación de nihilismo, depresión e ira que sostiene que el mundo está manipulado y que nada puede cambiarse; lleva a los tecnólogos a renunciar incluso a su capacidad de elegir y de cambiar las computadoras.
- La calidad del software depende más de las prioridades de la gerencia y del poder de negociación de los ingenieros que de la falta de habilidad técnica; los desarrolladores han respondido con desobediencia de buena fe, como pedir perdón en vez de permiso, trabajo secreto, desviar la atención y defectos deliberados.
- La publicidad, las notificaciones, las pruebas A/B, los algoritmos de recomendación, el DRM, los agentes de IA, los dark patterns y el scroll infinito pueden convertirse en software coercitivo (coercionware) que controla la conducta en lugar de servir al usuario.
- Usar IA aunque no te guste porque sientes que no hay alternativa, dejar de compartir software público o abandonar la ética con el argumento de “si no lo hago yo, alguien más lo hará” entrega la iniciativa colectiva al poder centralizado.
- Quienes crean computadoras todavía tienen opciones, y deben combinar la sabiduría que da la edad con el optimismo de la juventud para construir por sí mismos software que sirva a los usuarios en lugar de controlarlos.
La desesperación autorreforzada que crea la píldora negra
- Mientras que la píldora roja de 《Matrix》 representa la elección de aceptar una verdad incómoda, la píldora negra alude a la actitud de rendirse y pudrirse porque el juego está arreglado.
- En las comunidades incel donde surgió el término, ocurre un filtrado natural.
- Quienes aprovecharon el ánimo, la mentoría y la resolución de problemas maduraron, formaron relaciones y dejaron la comunidad.
- Los jóvenes recién llegados terminan encontrándose solo con miembros desesperanzados y antisociales.
- Con el tiempo se intensifican el nihilismo, la depresión y la ira, y en el peor de los casos eso lleva a resultados como suicidios o tiroteos escolares.
- La experiencia de crecer en un hogar cristiano conservador, tener que aprender de nuevo lo necesario para salir con alguien y abandonar ideas previas también aumentó la posibilidad de caer en esa desesperación.
- Las ideas de los pickup artists tenían una toxicidad nihilista y manipuladora, pero un consejo dentro de ellas ofreció una salida.
- No obsesionarse con un resultado romántico específico, sino enfocarse en convertirse en una persona atractiva para todos, incluidas posibles parejas y amistades.
- Preocuparse genuinamente por otras personas, escucharlas con atención, hacerlas reír y ofrecer experiencias memorables.
- Si te conviertes en alguien con quien la gente quiere pasar tiempo, también aumentan de forma natural las situaciones en las que puede surgir el romance.
- Aunque los jóvenes estén expuestos a malas ideas, si también existen buenas ideas junto a ellas pueden encontrar algo útil dentro de ese entorno.
Los que se recuperan se van, la ira se queda
- El cuento 《Radicalized》, publicado por Cory Doctorow en 2019, gira en torno a un foro en línea de personas perjudicadas por una aseguradora de salud.
- En los foros de recuperación de adicciones, miembros que llevan mucho tiempo sobrios permanecen para ofrecer pruebas de que es posible reconstruir la vida y dar consejos sobrios.
- En cambio, en el foro de pacientes con cáncer de la obra, quienes superan la ira y la tristeza se van, y solo quedan quienes se aferran a la rabia.
- Incluso a alguien aterradoramente furioso se le dice que esa es la reacción correcta y la única posible, y que las cosas nunca mejorarán.
- Como en las comunidades incel, es una estructura en la que la salida de las personas recuperadas refuerza la desesperanza.
- Cinco años después de la publicación de la obra, el CEO real de UnitedHealthcare murió en un tiroteo, y en los casquillos estaban escritas las palabras “deny, defend, depose”.
Por qué el software no funciona bien
- Quienes asisten a conferencias técnicas comparten la premisa de que el software debe funcionar bien, ser rápido y priorizar la experiencia de usuario.
- Las formas de crear software robusto se descubrieron hace mucho y el rendimiento del hardware mejoró en varios órdenes de magnitud, pero se considera que la robustez y el rendimiento generales del software han empeorado.
- En la práctica, la causa principal de que se frustren las mejoras de calidad no es la falta de conocimiento o esfuerzo de los programadores, sino la gerencia que antepone otras prioridades de negocio.
- Cuando en un evento se preguntó quién había intentado mejorar el software de su empresa y había sido rechazado por la gerencia, más de la mitad de los asistentes levantó la mano.
Desobediencia de buena fe y su costo
- En organizaciones donde el beneficiario también tiene autoridad, los desarrolladores a veces eligen la desobediencia de buena fe: contradecir a la gerencia mientras realizan trabajo en beneficio de la empresa.
- Hay cuatro formas representativas.
- Pedir perdón en vez de permiso: hacer primero lo necesario y, si surge un problema, pedir perdón después.
- Trabajo secreto: realizar sin hacerlo visible trabajo esencial que la gerencia detendría si lo conociera.
- Desviar la atención: avanzar tanto en tareas importantes como en tareas menos importantes, pero promocionar mucho las menores para dirigir hacia ellas la atención de la gerencia.
- Pato (duck): agregar deliberadamente un problema evidente para que la gerencia pueda atribuirse el mérito de descubrirlo y eliminarlo.
- En la anécdota de la animación de la reina en Battle Chess, un artista que esperaba que el productor pidiera cambios agregó un pato mascota a la reina.
- El pato se creó por separado para que no se superpusiera con la animación real.
- El productor aprobó todo lo demás tal como estaba y pidió quitar solo el pato.
- Estas técnicas son formas de lidiar con la situación en lugar de renunciar, confrontar o aceptar, y todas conllevan riesgos.
- Si se descubre el engaño, puedes recibir una reprimenda o ser despedido sin indemnización.
- Si renuncias, debes asumir el estrés y la incertidumbre del mercado laboral.
- Si confrontas directamente, puedes sufrir represalias silenciosas o perder influencia política dentro de la organización.
- Si aceptas, tendrás que crear software de menor calidad.
Mercado laboral y calidad del software
- Cuando la demanda de desarrolladores supera la oferta, los gerentes temen más que los desarrolladores renuncien que amenazarlos con despedirlos, por lo que el poder de negociación de los ingenieros se fortalece.
- Cuando las computadoras aparecieron por primera vez, los programadores eran escasos y gozaban de un poder de negociación muy fuerte.
- A medida que el libre mercado alcanzó la escasez de talento, los desarrolladores de software empezaron a enfrentar los mismos conflictos que los trabajadores de otras industrias.
- La calidad del software no se ha mantenido por una inevitabilidad técnica, sino por la combinación de la voluntad de los ingenieros y una posición laboral que, por casualidad, fue fuerte.
¿De quién es agente la computadora?
- Un transistor es un interruptor automático que controla una corriente mucho mayor con un pequeño voltaje de base; es el principio microscópico de la computadora, donde una señal débil controla una fuerza poderosa.
- A escala macroscópica, las computadoras también permiten ejercer una gran fuerza con una pequeña manifestación de voluntad, pero lo esencial es quién decide esa señal de control.
- El navegador se llama
user agentporque actúa en nombre del usuario.- El navegador debe servir los intereses del usuario, no los del sitio web que visita.
- Un ejemplo es que el usuario pueda usar un bloqueador de anuncios aunque el sitio web no lo quiera.
- El DRM es software hostil para el usuario final porque hace funcionar hardware que el usuario posee en beneficio de un tercero.
- Se puede argumentar que ofrece un beneficio indirecto al consumidor porque es una condición para que el titular de derechos permita acceder al contenido.
- Pero hay que distinguir entre los intereses del usuario final que usa directamente la computadora y los beneficios indirectos del consumidor.
- La computadora siempre debe servir a la persona que interactúa directamente con ella.
Las tres leyes de la robótica de Asimov y el poder humano
- Las tres leyes de la robótica de Asimov tienen estas prioridades.
- Un robot no debe dañar a un ser humano ni, por inacción, permitir que un ser humano sufra daño.
- Debe obedecer las órdenes humanas siempre que no entren en conflicto con la primera ley.
- Debe proteger su propia existencia siempre que no entre en conflicto con las dos leyes anteriores.
- Bajo estos principios, un robot no participa en la estructura jerárquica de poder humana, salvo cuando sea necesario para prevenir daño.
- El caso de un robot al que la policía ordena ejecutar una orden de arresto por un delito no violento muestra esta característica: si la persona involucrada le ordena que se vaya, debería obedecerla.
- El meme “todos los robots y computadoras deben cerrar la boca; los humanos son sagrados y las máquinas son objetos” también expresa de forma exagerada el mismo ideal de que las máquinas deben servir a los humanos.
- La línea de que las máquinas deben servir a los humanos tampoco debe cruzarse en el plano mental.
Software coercitivo que manipula a los usuarios
- El software coercitivo (coercionware) es software que no sirve al usuario, sino que intenta manipular a los humanos como si fueran robots sin alma.
- Amazon Mechanical Turk es un modelo de negocio que trata directamente a los humanos como robots y les paga menos que el salario mínimo.
- El software de vigilancia laboral intenta controlar con detalle incluso el movimiento de los ojos y las idas al baño de los empleados.
- Si la publicidad intrusiva funciona, controla el pensamiento de las personas; si no funciona, de todos modos interrumpe el flujo mental, roba atención y debilita la iniciativa.
- Las notificaciones push que el usuario no activó deliberadamente controlan la conducta de forma programática y también buscan reducir el tiempo que tarda en responder a sus demandas.
Pruebas A/B y dark patterns
- Las pruebas A/B priorizan los resultados medidos por encima de la empatía y eligen la experiencia que maximiza clics e ingresos.
- Aunque se elija un botón rojo que aumenta los clics al generar ansiedad en los usuarios, se puede evitar la responsabilidad al no dejar registro de que ese efecto fue diseñado de forma intencional.
- Los dark patterns son diseños que coaccionan abiertamente al usuario, y el hecho de que los programadores toleren cotidianamente esa hostilidad es en sí mismo un problema.
- El caso de una UI para tripulación de avión que ante la pregunta “Do you want to play the Boarding Music?” solo ofrecía un “yes” verde y un “later” rojo muestra un diseño que elimina deliberadamente la opción de rechazar.
Recomendaciones de YouTube y agentes de IA
- En YouTube, tanto creadores como espectadores están bajo el control del algoritmo de recomendación.
- Los creadores terminan siguiendo las preferencias siempre cambiantes del algoritmo, aunque sacrifiquen la autenticidad del contenido.
- Las miniaturas modernas también evolucionaron hacia formas parecidas para adaptarse al algoritmo.
- Para los espectadores aparecen fenómenos como rutas de recomendación que llevan de cierto contenido a contenido de extrema derecha.
- Los agentes de IA prometen servir al usuario, pero en realidad sirven a las empresas de IA que controlan el modelo y el software cerrado que lo rodea.
- Si no controlas el código fuente, tampoco puedes controlar el software.
Doomscrolling y vulnerabilidades del cerebro
- El doomscrolling no es simplemente un mal hábito de usar Facebook demasiado tiempo un día, sino una estructura fundamentalmente coercitiva que maximiza la participación mediante algoritmos de contenido y scroll infinito.
- El usuario queda pegado a la pantalla y se acostumbra a consumir de forma continua contenido que no eligió.
- El scroll puede compararse con un contador de programa, y el contenido que aparece con instrucciones, como si fuera una vulnerabilidad de ejecución de código arbitrario que se ejecuta en el cerebro.
- El flujo de contenido elegido por la empresa para su propio beneficio también abre a terceros maliciosos un canal para manipular el pensamiento de las personas.
- Una evaluación de la Oficina del Director de Inteligencia Nacional de EE. UU. en enero de 2017, que resumía el trabajo del FBI, la CIA y la NSA, concluyó que Vladimir Putin ordenó una operación de influencia dirigida a las elecciones presidenciales de Estados Unidos de 2016.
- El objetivo era socavar la confianza en los procesos democráticos estadounidenses, desacreditar a Hillary Clinton y dañar sus posibilidades de elección y su eventual presidencia.
- También asignó un alto nivel de confianza a la conclusión de que el gobierno ruso mostró una clara preferencia por el presidente electo Donald Trump.
- El principal medio fue una campaña en redes sociales de organizaciones de trolls patrocinadas por el Estado.
- El diseño manipulador de las redes sociales creó vulnerabilidades para hackear la mente humana, y esas vulnerabilidades siguen sin corregirse y siendo explotadas.
La píldora negra cotidiana que te hace renunciar a tus opciones
- A medida que la sociedad se integra más profundamente con el software, también disminuye la capacidad de salirse de servicios coercitivos.
- Esto incluye la experiencia de perder contacto con amigos que organizaban reuniones solo a través de Discord.
- Se acumula el cansancio de contactar legisladores sin parar, firmar peticiones y responder a cada nueva emergencia, solo para seguir retrocediendo.
- La píldora negra hace que renuncies a las posibilidades de la computadora y te rindas ante su opresión, como si la obediencia trajera paz.
- El chiste de programadores de que “las computadoras fueron un error” niega la iniciativa de quienes hacen funcionar las computadoras.
- La actitud de usar IA aunque te desagrade y te deprima porque supuestamente es una realidad inevitable sigue el mismo patrón.
- Un gerente está usando IA y trabajando más de 50 horas por semana por miedo a que, si no elimina los puestos de otro equipo, eliminen los de su propio equipo.
- Hay que distinguir entre quienes realmente disfrutan usar IA y quienes la detestan pero la aceptan como si fuera el destino.
Anubis y el derrotismo defensivo
- El software contra web scraping Anubis se usa en la lista de correo del kernel de Linux, Codeberg, FFmpeg, Wine y otros proyectos.
- Más que la mascota de personaje animado de la configuración predeterminada, el problema fundamental es la forma en que aumenta deliberadamente el costo de visitar la web.
- Hace que visitar un sitio web, que originalmente debería ser barato en términos de cómputo y anónimo, sea más caro en un orden de magnitud o más.
- Rompe las vistas previas de enlaces y los formularios, y consume batería.
- Elimina la opción del visitante de desactivar JavaScript.
- También excluye bots que acceden a la web por razones legítimas.
- Este enfoque lleva a renunciar a la web abierta sin defenderla, con la actitud de que solo se pueden retrasar las pérdidas en lugar de ganar.
Cinismo y abandono del software público
- La reacción “Site is trash” dejada en Hacker News también es un ejemplo exagerado y cínico de píldora negra, pero nació de una tristeza real por la pérdida de valor que antes se obtenía del sitio.
- Algunas personas dejan de compartir software libre y de código abierto porque las empresas de IA recolectarán el código para crear el próximo LLM.
- El propósito del software libre no es evitar que recolecten el código, sino reunir esfuerzos en común para que los usuarios puedan controlar el software.
- Lo importante es si existe un medio competitivo para limitar las conductas coercitivas del software propietario mediante la disponibilidad de software libre de alta calidad.
- Si no participamos en el software común, entregamos más iniciativa colectiva a poderes centrales abusivos.
- Si se ignora la ética con el argumento de “aunque yo no lo haga, alguien más lo hará”, se borra una línea que no debería cruzarse y se pierde la voluntad de sostener las propias convicciones.
La tecnología necesita un punto de partida moral
- La desconversión (deconversion), es decir, desenredar en la adultez el sistema de bien y mal recibido en un hogar cristiano protestante, puede llevar años o toda la vida.
- Al dejar una fe previa, hay que construir un nuevo sistema moral, y lo correcto y lo incorrecto no pueden derivarse desde un estado sin ningún supuesto.
- Incluso los juicios que van más allá de “pienso, luego existo” solo son posibles al introducir premisas fundamentales.
- El papel de los tecnólogos es acelerar la trayectoria por la que actualmente camina la humanidad.
- La misma tecnología puede ser una fuerza buena o mala según quién la use.
- La energía nuclear moderna funciona controlando la explosión de una bomba atómica.
- El trabajo de los tecnólogos amplifica indiscriminadamente la fuerza del camino que la humanidad ya recorre.
- Si la humanidad es buena, la tecnología también se convierte en una fuerza buena; si la humanidad es mala, la tecnología también se convierte en una fuerza mala, por lo que los tecnólogos deben tener fe en que la humanidad es, en general, buena.
La fe que eligió Stanislav Petrov
- En 1983, Stanislav Petrov tenía la misión de vigilar el sistema de alerta temprana de ataques y, si se detectaba un ataque, solicitar de inmediato una represalia a sus superiores.
- El 26 de septiembre, el sistema informó que Estados Unidos había lanzado cinco misiles.
- Petrov sospechó que era una falsa alarma, violó el reglamento militar soviético y esperó confirmación adicional; la confirmación nunca llegó porque en efecto se trataba de una falsa alarma del sistema informático de detección.
- Si hubiera seguido el reglamento, era muy probable que sus superiores atacaran a Estados Unidos y se desatara una guerra nuclear total.
- En una entrevista posterior dijo que en ese momento no tenía certeza de que fuera una falsa alarma y que veía las probabilidades 50 a 50.
- En una situación que no podía decidirse solo con evidencia, eligió la fe en que la humanidad era buena y asumió un riesgo enorme.
La magia de las computadoras preservada por la juventud
- El álbum debut formal de Joudaki, 《I Love My Computer》, y el video musical 《Hazard》 contienen la sensación de seguir creyendo en la magia de las computadoras.
- Aunque apelan a la nostalgia que sintieron los millennials al descubrir las computadoras por primera vez, como obra de una generación posterior usan activamente la web moderna, incluidos YouTube y Discord.
- No es incorrecto criticar los dark patterns de YouTube y Discord, pero en ese proceso también puede perderse parte de la alegría y la fe en las computadoras.
Cómo conservar juntas la sabiduría y el optimismo
- A los jóvenes les falta la sabiduría que surge de las dificultades, por lo que pueden caer en estafas o participar sin crítica en marketing viral corporativo, creer en cosas poco probables o asumir riesgos que causen daños permanentes.
- Se lanzan a intentar cosas que ya parecen destinadas al fracaso porque todavía no han sido heridos por el mundo ni se han vuelto cínicos.
- Las personas mayores aprenden mecanismos para no repetir las mismas heridas y se adaptan mejor a la realidad, pero los jóvenes tienen más fuerza para cambiar la realidad.
- La sociedad necesita tanto la sabiduría que viene con la edad como la pasión ciega de la juventud que vuelve a intentar cosas que ya fracasaron innumerables veces.
- En 《Hunter × Hunter》, la escena donde el protagonista de 12 años sufre una traición insoportable y se convierte de inmediato en adulto para obtener el poder de derrotar a su enemigo condensa el proceso por el cual la desesperación y la indiferencia envejecen gradualmente a una persona.
- La tarea de las generaciones mayores es proteger a los jóvenes de quienes explotan su ingenuidad, sin contagiarles también su propio dolor acumulado y cinismo.
Crear directamente es la forma de enfrentar la píldora negra
- Personas que se alejaron de sus amigos por no usar Discord decidieron no quedarse en la queja y construir directamente una alternativa mejor.
- No necesariamente se necesita un millón de dólares para cambiar el mundo y competir con servicios existentes; se puede empezar solo con una computadora, curiosidad y tiempo.
- Quien hace que la computadora haga cosas es el propio desarrollador, y no hace falta aceptar como destino que se use para la coerción.
- Debemos enfrentar juntos el software que controla a los usuarios, creer en las posibilidades de la humanidad y de las computadoras, y convertir esa fe en realidad mediante la voluntad.
1 comentarios
Opiniones en Lobste.rs
Me impactó especialmente la parte que decía que la calidad del software solo se mantuvo gracias a una combinación entre la voluntad de los ingenieros y un poder de negociación laboral que, por casualidad, fue fuerte.
Durante mucho tiempo seguí el principio de pedir perdón antes que permiso, y lo recomiendo mucho.
Haz lo que tu corazón y tu razón consideren correcto, pero por lo general es mejor pedir permiso primero y, si hace falta, hacerlo de todos modos.
Más allá de que te guste o no la IA, un profesional usa las herramientas que necesita. Si tu jefe quiere cierto enfoque, tu trabajo es evaluarlo objetivamente, presentar una recomendación y, sea cual sea la decisión que se tome, entregar un buen producto.
Al ver el estado actual de las computadoras y la tecnología, alguna vez caí en un pesimismo extremo, y he estado pensando en cómo exponer a mis hijos en edad preescolar a todo esto.
Espero que esta charla me dé la motivación para no quedarme solo en temer la naturaleza explotadora de la tecnología y controlar el daño, sino para recuperar el control y hacer que la tecnología funcione para nosotros.
Me pregunto cuál será el proyecto parecido a Discord que no se nombró en la charla.
No hay que dejar que el nihilismo y los memes se apoderen de nuestro pensamiento.
Si todavía no escuchaste ese álbum, lo recomiendo muchísimo. Personalmente es uno de mis álbumes favoritos.
Es una gran charla, pero resulta irónico que la hayan publicado en YouTube.
Siendo realistas, dudo que exista otra plataforma de video que pueda alcanzar siquiera a la mitad de la audiencia de YouTube.