El papa Leo XIV dice que la IA debe servir a la humanidad, no a una minoría poderosa

• Magnifica Humanitas ve a la IA como una nueva revolución industrial y advierte sobre los riesgos de ampliar la desigualdad, debilitar la democracia y erosionar lo humano
• El desarme de la IA no se refiere solo al ámbito militar, sino a sacarla de la lógica de competencia económica y cognitiva para evitar que la tecnología llegue a dominar a las personas
• La IA ya está fortaleciendo el poder de quienes tienen recursos, experiencia y acceso a datos, permitiendo que una minoría influya sobre la información, el consumo y los procesos democráticos
• Para proteger la dignidad humana y el bien común, la responsabilidad debe estar clara desde el diseño hasta el uso, y la ética debe aplicarse durante la construcción, no después del daño
• La IA militar necesita restricciones éticas estrictas, responsabilidad humana y derecho internacional, mientras que el colonialismo de datos y el reemplazo laboral también deben tratarse como cuestiones de justicia social

---

Punto central de la primera encíclica: el “desarme” de la IA

• La primera encíclica del papa Leo XIV, Magnifica Humanitas, define a la IA como una nueva revolución industrial y pone en el centro los riesgos de ampliar la desigualdad, debilitar la democracia y dañar lo humano
• El desarme de la IA no se limita al terreno militar, sino que apunta a separar la IA de la lógica de competencia económica y cognitiva para impedir que la tecnología domine a las personas
• El objetivo no es renunciar a la tecnología, sino convertir la IA en una tecnología “desarmada, acogedora y accesible”
• Se necesitan regulaciones nacionales e internacionales más estrictas para las empresas de IA, y también una participación amplia de individuos y comunidades en la construcción de su futuro
• Leo XIV hace referencia a la encíclica de Leo XIII de 1891, Rerum Novarum, que respondió a la revolución industrial del siglo XIX, y sitúa las preguntas sociales de la era de la IA en continuidad con la doctrina social católica
• La encíclica surgió tras escuchar a científicos e ingenieros, líderes políticos y funcionarios públicos, así como a padres y maestros, y pide una participación amplia en la programación, regulación y distribución de beneficios de la IA

Big Tech y concentración de poder

• Leo XIV considera que unas pocas personas ricas pueden llegar a decidir el futuro y los medios de vida de la humanidad, y que puede ampliarse la brecha entre quienes participan en la revolución digital y quienes quedan al margen
• La IA ya tiende a amplificar el poder de quienes cuentan con recursos económicos, experiencia y acceso a datos
• Un pequeño grupo influyente puede moldear la información y los patrones de consumo, afectar los procedimientos democráticos y orientar las dinámicas económicas a su favor
• La tecnología no es neutral y revela los intereses y actores que hay detrás de ella
• Cuando el poder se concentra en pocas manos, se vuelve opaco y más fácil de sustraer al escrutinio público, lo que puede llevar a un desarrollo distorsionado que genera nuevas dependencias, exclusión, manipulación y desigualdad
• El cofundador de Anthropic, Chris Olah, dice que el desarrollo de la IA opera bajo incentivos y restricciones donde los intereses comerciales, las presiones geopolíticas, el orgullo y la ambición pueden entrar en conflicto con “hacer lo correcto”
• Olah considera que las comunidades religiosas, la sociedad civil, los académicos y los gobiernos deben tomarse la IA en serio e impulsar una mejor dirección

Dignidad humana, juicio y trabajo

• El principio central es que el ser humano está por encima de la IA, y que la dignidad humana proviene de la propia existencia, no de la capacidad, la riqueza, la posición social o si alguien toma decisiones correctas
• El riesgo en la era de los chatbots de IA no se limita a que los usuarios confundan a los agentes de IA con personas, sino a que se debilite el propio deseo de buscar a otros seres humanos
• Delegar la toma de decisiones a las máquinas puede aumentar la dependencia excesiva y la búsqueda de respuestas instantáneas, debilitando la creatividad y la capacidad de juicio de las personas
• La innovación en IA puede tener efectos positivos para la sociedad humana y la protección del medio ambiente, pero sus riesgos también deben abordarse
• Para que la IA respete la dignidad humana y el bien común, la responsabilidad debe estar clara en todas las etapas, desde quienes la diseñan y desarrollan hasta los usuarios y las personas cuyas decisiones reales dependen de ella
• Los principios morales y éticos deben aplicarse durante la construcción de los sistemas, no después de que el daño ya se produjo en la sociedad
• La cautela frente a la adopción de la IA, la evaluación estricta y, a veces, la necesidad de ir más despacio no se presentan como oposición al progreso, sino como una forma responsable de cuidar a la familia humana
• Incluso marcos tipo constitución ética como los de casos como Anthropic no bastan si la moralidad queda definida por una minoría; deben discutirse según criterios compartidos de justicia social
• La verdad es un elemento esencial de la democracia, y la educación sobre IA es especialmente necesaria para los jóvenes
• A diferencia de la promesa de que la IA aliviaría la carga laboral, en la práctica muchas veces se obliga a los trabajadores a adaptarse a la velocidad y las exigencias de las máquinas
• En la cuarta revolución industrial, la prioridad debe ser proteger las oportunidades de empleo y el papel irremplazable de cada persona

Transhumanismo, desigualdad y colonialismo de datos

• El transhumanismo y el poshumanismo están ligados a la premisa de que superar la condición humana equivale a progreso
• A diferencia de la visión que considera la enfermedad, la discapacidad, la vejez y la vulnerabilidad solo como límites que deben superarse, el ser humano florece no pese a sus límites, sino muchas veces a través de ellos
• Víctor Manuel Fernández afirma que, frente a la idea de que el ser humano llega a una fecha de caducidad y debe ser reemplazado, la enseñanza católica sostiene que toda persona posee una dignidad infinita
• En medio del aumento de la brecha económica mundial, el avance tecnológico puede producir desigualdades estructurales
• Los sistemas tributarios deben aliviar la carga de las personas más vulnerables y exigir mayor responsabilidad a quienes tienen más recursos, y los beneficios de la innovación deben compartirse de forma transparente con toda la comunidad
• Detrás de la IA puede haber rastros de explotación humana y ambiental, desde modelos entrenados con materiales protegidos por derechos de autor hasta la extracción de minerales raros usados en hardware para IA
• El colonialismo de datos aparece como un nuevo rostro del colonialismo que se apropia de tendencias de salud, perfiles epidemiológicos, mapas genéticos y datos demográficos
• Estos datos se han convertido en “las nuevas tierras raras del poder”, y una tecnología de IA en manos de unas pocas personas o grupos orientados al lucro puede convertirse en una nueva forma de dominación colonial
• Para que el conocimiento compartido sea un bien común y no una herramienta de dominio, las personas deben recuperar la capacidad de decidir sobre los datos que las describen, cómo se usan, quién los usa y quién se beneficia

Guerra, justicia social y bien común

• El uso militar de la IA debe estar sujeto a las restricciones éticas más estrictas
• La responsabilidad por la acción militar, especialmente la acción letal, debe seguir recayendo en los seres humanos, no en las máquinas
• Se necesita derecho internacional que aborde la trazabilidad de la toma de decisiones en la guerra, la supervisión humana y el aumento del uso de armas automatizadas junto con sus consecuencias
• Los principios morales de la vida social, económica y política centrados en la dignidad humana y el bien común también deben aplicarse en la era de la IA
• La solidaridad y el cuidado del “prójimo” son ejes centrales, y se enfatiza de manera especial la responsabilidad con las próximas generaciones
• La justicia social no implica solo una distribución más justa de los recursos o corregir injusticias actuales, sino que también incluye una dimensión restaurativa
• Incluso en el ámbito digital, hay que estar atentos a la vigilancia invasiva, a las comunidades excluidas del acceso a tecnologías básicas y a los daños de algoritmos opacos que perpetúan la discriminación
• La migración se presenta como una prueba de fuego de la justicia social en la actualidad
• Babel simboliza el poder y la búsqueda de autosatisfacción, mientras que la reconstrucción de Jerusalén en Nehemías apunta a la oración y a la participación de la familia y la comunidad
• El mensaje concluye que, incluso en la era de la IA, la construcción de Babel y la reconstrucción de Jerusalén comienzan en el interior de cada persona

[GN⁺]

Comentarios de Hacker News

• Es casi una publicación duplicada. https://news.ycombinator.com/item?id=48265206

• La época ha cambiado en muchos sentidos. Por ejemplo, 1) ahora existe la IA, y 2) el papa es estadounidense y más confiable que los principales políticos en funciones de ambos partidos
  Más que extrañar la era del papado, se parece más a lo que cualquiera con sentido común anda buscando

• Hace 15 años era el papa Benedicto, y era una figura bastante distinta. Personalmente, creo que habría sido más cínico con él que con Francisco o León

• Siguiendo con la analogía religiosa, en esa época a los usuarios de HN probablemente les habría impactado más que Chrome ya no fuera tratado como la segunda venida de Jesús