Por qué dejé Google DeepMind
(turntrout.com)- Alexander Matt Turner, ex científico investigador de Google DeepMind, renunció porque dijo que no podía quedarse por motivos de conciencia después de que Google prestara servicios de nube a DHS e ICE, y firmara con el Departamento de Defensa de EE. UU. un contrato que no prohibía de forma vinculante las armas autónomas letales ni el perfilado masivo con IA
- Cuando el Departamento de Defensa de EE. UU. exigió a Anthropic un contrato para “todos los usos legales” que eliminaba las restricciones existentes, Turner pidió una respuesta conjunta a IASEAI y a reconocidos investigadores de IA, y dentro de Google consiguió unas 250 firmas y la participación de Jeff Dean en un escrito amicus curiae
- Redactó un marco de 25 páginas para contratos y supervisión que mantenía el control humano sobre el uso de la fuerza y prohibía el perfilado con IA no dirigido, pero incluso después de que Demis Hassabis ordenara revisarlo, no recibió evaluación de los responsables sénior de políticas
- En abril de 2026, Google firmó un contrato que permitía al Departamento de Defensa de EE. UU. exigir cambios en la configuración de seguridad de Gemini y bajo el cual Google no podía rechazar operaciones gubernamentales legales; la cláusula que decía que se debían evitar las armas autónomas y la vigilancia masiva doméstica no tenía carácter legalmente vinculante
- Concluyó que los compromisos éticos personales o la confianza en la dirección no bastan para sostener principios bajo presión, por lo que se necesita una gobernanza de baja confianza con límites previos, revisión independiente y transparencia
La inquietud que empezó en la cadena de suministro de DHS e ICE
- A raíz de un incidente en enero de 2026 en el que agentes del DHS mataron al menos a dos personas, Turner investigó la relación entre Google y las agencias de control migratorio
- El Inventario de casos de uso de IA 2025 del DHS incluye a Google como uno de los proveedores de IA generativa usados para mejorar la eficiencia operativa del DHS
- Google vende servicios de nube a ICE a través de terceros como ITC Federal
- También cuestionó otras acciones de Google
- El 3 de octubre de 2025 retiró de sus listados una app que alertaba sobre actividades de ICE
- Entregó a ICE la cuenta de un estudiante manifestante sin aviso previo, incumpliendo su compromiso de servicio de enviar un correo antes de revelar información al gobierno
- Google respondió que las agencias de control migratorio solo habían usado servicios comerciales de nube, pero el punto que Turner cuestionaba no era si había prestado servicios especiales, sino el hecho de haber prestado servicios a ICE
- Consideró que una petición masiva ya había sido ignorada y que sentadas, huelgas y renuncias masivas tenían baja viabilidad y efectividad
- En la industria de la IA, un pequeño número de talentos difíciles de reemplazar puede influir mucho en una organización, por lo que estimó que la posible salida de 10 personas clave, o incluso la posibilidad de que se fuera Jeff Dean, impondría a la dirección un costo mayor que la salida de 100 ingenieros de investigación al azar
Primer contacto con Jeff Dean
- Jeff Dean es el empleado número 30 de Google, Chief Scientist y colíder del proyecto Gemini; ha criticado públicamente a ICE y también participó en el compromiso de 2018 contra las armas autónomas letales
- El 9 de febrero de 2026, Turner contactó directamente a Jeff para decirle que quería ayudar a que Google se retirara de la cadena de suministro del DHS
- Jeff respondió que tenía sentido escribirles por correo a Sundar Pichai, Demis Hassabis y Thomas Kurian
- Turner transmitió lo siguiente a los tres CEO, pero no recibió respuesta
- El problema no era la política partidista, sino las violaciones del debido proceso por parte de ICE, la detención de ciudadanos, instalaciones con poca supervisión y abusos de derechos humanos
- Cloud y Gemini no debían apoyar esas operaciones mediante contratos directos ni integradores terceros
- La cooperación con DHS e ICE no solo genera problemas de derechos humanos, sino también riesgo reputacional para el proveedor
- Después pidió a Jeff almorzar para conversar sobre cómo lograr cambios reales dentro de Google, y unas semanas más tarde se concretó la reunión
La presión del Departamento de Defensa de EE. UU. sobre Anthropic
- El 25 de febrero de 2026, el Departamento de Defensa de EE. UU. exigió a Anthropic eliminar las restricciones del contrato existente y ofrecer Claude para “todos los usos legales”
- Las restricciones existentes apuntaban a las armas autónomas letales y a la vigilancia y el perfilado con IA
- Amenazó con cancelar un contrato de 200 millones de dólares, designarla como empresa de riesgo para la cadena de suministro y obligarla a prestar el servicio mediante la Defense Production Act si se negaba
- Consideró que el criterio de “uso legal” tenía dos problemas
- Como en el caso en que el Departamento de Defensa de EE. UU. volvió a atacar a sobrevivientes de un naufragio, actos que expertos legales independientes señalaron como posibles crímenes de guerra podían ser considerados legales por el propio gobierno
- La vigilancia masiva y el perfilado con IA también podían entrar en la categoría de lo legal porque las leyes de vigilancia existentes no fueron redactadas pensando en la IA
- A diferencia de una negativa contractual común, la designación de riesgo para la cadena de suministro podía hacer que todos los contratistas militares dejaran de usar Anthropic, amenazando la viabilidad económica de la empresa
- Más tarde, la jueza Lin determinó que esa designación era “una represalia típica e ilegal contra la Primera Enmienda”
La respuesta conjunta que pidió a IASEAI y a referentes de la IA
- Turner estaba asistiendo a un evento de la International Association for Safe and Ethical AI (IASEAI) en la sede de la UNESCO en París
- IASEAI fue fundada en 2024 con el objetivo de ser una voz unificada por una IA segura y ética, y sus grupos de trabajo de 2026 incluían Red Lines for Advanced AI, enfocado en armas autónomas y escalada
- Los cientos de asistentes al evento estaban discutiendo problemas abstractos de coordinación, como la teoría de la elección pública, más que la situación de Anthropic ocurrida ese mismo día
- Pidió una respuesta pública a investigadores influyentes
- A Yoshua Bengio le pidió una declaración en defensa de la libertad contractual de Anthropic y contra las armas autónomas letales no reguladas, pero su oficina respondió que no emitiría una declaración
- Geoffrey Hinton participaba de forma remota, así que consideró contactarlo a través de Bengio o Stuart Russell
- A Stuart Russell le pidió una declaración personal y en nombre de IASEAI, además de movilizar a expertos internos en IA
- Stuart prometió intentar sumar a Bengio y Hinton, y realizar una votación entre miembros de IASEAI para anunciarla al cierre del evento
La votación y la declaración de IASEAI que desaparecieron
- En la clausura, Stuart calificó la conducta del Departamento de Defensa de EE. UU. como una “red de extorsión (extortion racket)” y dijo que impulsaría una votación de miembros sobre la proposición de que Anthropic no debía ser obligada a ofrecer su producto para usos que no quería
- En la votación a mano alzada en el lugar, hubo una unanimidad casi total a favor de una declaración de IASEAI que apoyara la libertad contractual de Anthropic
- El plan en ese momento era realizar una encuesta hasta la noche del jueves; si dos tercios votaban a favor, Stuart firmaría en nombre de IASEAI, y si no se alcanzaba ese umbral, emitiría una declaración personal
- Turner pagó 75 dólares de cuota de membresía para participar en la votación, pero la encuesta nunca se abrió e IASEAI no emitió ninguna declaración
- Las razones dadas por IASEAI fueron cambiando
- Necesitaban más tiempo para redactar la declaración
- No estaba claro en qué principios debía basarse
- Había pros y contras en sumarse al flujo de noticias sobre Anthropic y el Departamento de Defensa de EE. UU.
- Querían centrarse en mejorar los procedimientos internos para manejar situaciones similares
- Como Anthropic emitió su propia declaración, la declaración de IASEAI ya no era necesaria
- Incluso después del plazo del viernes de Anthropic, el litigio continuó durante semanas y el contrato de Google se firmó dos meses después, por lo que consideró que IASEAI tuvo tiempo suficiente para emitir una declaración, presentar un escrito amicus curiae o contactar a quienes tomaban decisiones en Google
- Turner pidió varias veces que, en lugar de hacer declaraciones públicas, Stuart contactara en privado a la dirección de Google o simplemente hiciera una presentación, pero no obtuvo respuesta
- IASEAI reembolsó la cuota de membresía a pedido, y el taller sobre líneas rojas para la IA celebrado en el mismo lugar señaló como el mayor obstáculo la voluntad política
Contrato con OpenAI y formación de opinión interna en Google
- OpenAI afirmó que, al contratar con el Departamento de Defensa de EE. UU., mantendría restricciones como las de Anthropic sobre armas autónomas y vigilancia masiva, pero algunos análisis consideraron que el texto del contrato contenía vacíos amplios
- Turner exhortó, en un canal interno de debate sobre actualidad de Google DeepMind, a solidarizarse con Anthropic y rechazar “todos los usos legales”; uno de sus mensajes recibió más de 125 reacciones de apoyo
- La actividad de publicaciones internas tenía varios objetivos
- Elevar el costo organizacional que la dirección tendría que pagar si guardaba silencio
- Transmitir argumentos estratégicos a través de canales leídos por altos directivos
- Crear una percepción compartida de que los empleados incómodos con el contrato no estaban solos
- Compartir los vacíos del contrato de OpenAI para que los empleados no aceptaran formulaciones de protección similares cuando se presentaran
- Crear una vía para que los empleados manifestaran indirectamente que podrían renunciar si se firmaba el contrato
- Como entendía que Google era reacio a la organización directa en canales internos grandes, contactó en privado a las personas que habían dejado reacciones
Petición de 250 personas y escrito amicus curiae de Anthropic
- Consideró que Jeff era uno de los pocos directivos con comprensión ética e influencia real, y se enfocó en lograr que él se convirtiera en el actor principal y confirmara el apoyo de los empleados
- Junto con amigos, reunió en uno o dos días unas 250 firmas de empleados de Google DeepMind y Research, y se las entregó a Jeff
- Los firmantes le pidieron que hiciera todo lo posible para impedir contratos que cruzaran líneas básicas de prohibición
- Evaluó que haber excluido de la petición inicial el problema de la vigilancia sin orden judicial a ciudadanos no estadounidenses fue un error, porque equivalía a conceder de antemano lo que se quería antes de negociar
- Cuando Anthropic presentó una demanda y solicitó una orden judicial por la designación de riesgo en la cadena de suministro del Departamento de Defensa de EE. UU., Protect Democracy preparó un escrito de amigo del tribunal de expertos en IA
- Turner firmó el escrito y pidió a colegas y a Jeff que participaran; Jeff también lo firmó públicamente
- Turner reclutó a 8 de los 18 firmantes de Google DeepMind
- Jeff fue el único ejecutivo de nivel C que, frente al silencio de Google, actuó públicamente de forma distinta
- Consideró que las firmas de empleados de Google contribuyeron en parte a retrasar las negociaciones, al generar en el Departamento de Defensa de EE. UU. la preocupación de que Google también pudiera retirarse de contratos futuros
- También pidió al equipo legal de Google que presentara un escrito, argumentando que si se permitía que el gobierno presionara a Anthropic, en el futuro podría usar la misma amenaza contra Google; Google no participó, mientras que Microsoft sí presentó un escrito
Optimismo de la dirección y posibilidad de firma del contrato
- Durante todo marzo de 2026, altos directivos dijeron que el liderazgo también estaba al tanto del problema, por lo que Google no firmaría un contrato de “todos los usos legales”
- Turner consideró que, si nadie generaba un costo real para el liderazgo, era muy probable que Google cediera
- En un memo con citas y referencias, presentó los siguientes fundamentos
- Google tenía antecedentes de ceder incluso ante presiones de menor riesgo, como entregar voluntariamente a ICE información de estudiantes manifestantes
- Su peso en contratos gubernamentales era grande
- Los principios de IA de Google DeepMind se habían debilitado, pasando de prohibiciones concretas a formulaciones ambiguas
- Los problemas antimonopolio y el historial de demandas del actual Departamento de Justicia ejercían presión adicional sobre Google
- Compartió ese memo varias veces, pero consideró que no logró convencer a los empleados sénior
Estrategia de negociación preparada en torno a Jeff
- Jeff participó en 2018 en un compromiso de “no participar ni apoyar el desarrollo, fabricación, comercio o uso de armas autónomas letales”, y en 2026 reafirmó públicamente que su postura no había cambiado
- Señaló que la vigilancia masiva vulnera la Cuarta Enmienda y la libertad de expresión, y que puede ser usada con fines políticos y discriminatorios; dijo que no quería vigilancia masiva con IA dirigida a estadounidenses
- Turner llegó a la consecuencia lógica de que, si Google firmaba un contrato sin límites, Jeff tendría que renunciar para cumplir su compromiso
- Preparó un escenario en el que Jeff le dijera a Sundar Pichai que no podría quedarse si se firmaba el contrato
- Mostraría el apoyo de los empleados con la petición de 250 personas
- También aseguró el respaldo de varios empleados sénior dispuestos a actuar junto con Jeff si él trazaba una línea
- Como una coalición de varias personas podía dividirse mediante bonos o persuasión individual, la estrategia real dependía de la influencia de una sola persona: Jeff
- Si se exigía vagamente “no firmar un mal contrato”, el resultado podía ser un contrato con mejoras solo superficiales, por lo que preparó alternativas concretas
Marco de IA militar de 25 páginas
- Turner usó vacaciones para redactar en su tiempo personal 25 páginas de lenguaje contractual y estructura de supervisión, y las hizo revisar por expertos en derecho militar y de vigilancia
- Un especialista legal en integración de humanos e IA en combate evaluó que el marco era “realmente bastante bueno” y sugirió mejoras
- Al proporcionar IA a instituciones que ejercen poder coercitivo, como los gobiernos, se aplicarían dos criterios
- Control humano sobre el uso de la fuerza
- Impedir que la IA se use en sistemas que seleccionen y ataquen objetivos en cada enfrentamiento sin un control humano adecuado
- Aplicarlo también cuando solo se proporcionen componentes de IA a una canalización de selección de objetivos
- Exigir transparencia legal y verificación por parte de auditores neutrales acordados mutuamente para confirmar métodos legales de despliegue
- No restringir defensa de interceptación, análisis de inteligencia que cumpla el segundo criterio, logística ni investigación y desarrollo
- Prohibición del perfilado de IA no dirigido
- Impedir que datos masivos se conviertan en información sobre personas que no sean ya objetivos identificados de una investigación
- No permitir iniciar el análisis de una persona solo por características demográficas o expresión política
- No permitir iniciar una investigación profunda sobre una persona solo con base en resultados de IA
- Permitir análisis de objetivos específicos, estudios agregados y análisis de zonas de conflicto que mejoren la protección de no combatientes
- Control humano sobre el uso de la fuerza
- Diseñó un Defense AI Review Body de 7 miembros, nombrado y supervisado por el Chief Scientist
- Asignar 2 de los 7 asientos a Cloud
- Los empleados solo se excusarían de participar en contratos en los que estuvieran involucrados
- Limitar las demoras de revisión a un máximo de 10 días
- Proteger las deliberaciones mediante el privilegio abogado-cliente
- La autoridad del Review Body sería solo consultiva, pero los casos en que se ignoraran sus recomendaciones se incluirían en un informe anual de transparencia disponible para todos los empleados de IA
- Para disolver la organización se requeriría aviso previo y divulgación precisa de incumplimientos no resueltos, lo que dificultaría desactivarla silenciosamente como ocurrió con los principios de 2018
- Si Congress aprobara una ley que regulara sustancialmente esos usos, los criterios podrían descartarse con la aprobación del Chief Scientist y una mayoría abrumadora del Review Body
- Si se exigían “todos los usos legales”, el diseño requería recibir un memo legal que demostrara la legalidad del uso previsto y rechazar usos que no cumplieran los criterios de la empresa
- Incluyó también cláusulas menos importantes que podían cederse en la negociación, como la elevación de reportes al directorio de Alphabet, considerando la posibilidad de que la contraparte contractual se opusiera
Almuerzo con Jeff y propuesta enviada a Demis
- El 17 de marzo de 2026, se reunió con Jeff en Mountain View y le propuso liderar el Review Body, pero Jeff no aceptó
- No citó conversaciones privadas sin permiso; la conducta pública verificable es que Jeff firmó una carta de apoyo a Anthropic, pero permaneció en la empresa incluso después de que Google cerrara el contrato
- Como Jeff no lideró el marco, las probabilidades de éxito bajaron mucho, y eligió a Demis Hassabis como siguiente vía
- Cuando DeepMind fue adquirida por Google en 2014, recibió la promesa de que la IA no se usaría con fines militares ni armamentísticos; en 2018, sus cofundadores y la propia organización también se sumaron al compromiso contra las armas autónomas letales
- Tras intentar durante una semana transmitir la propuesta a través de la cadena de gestión, el 1 de abril de 2026 le envió un mensaje directo a Demis
- Demis instruyó a dos altos responsables de la política de Google DeepMind para que evaluaran el marco
- Al principio, esas dos personas no respondieron, y luego lo derivaron a responsables de menor rango
- Los responsables de menor rango fueron positivos respecto del marco, pero dijeron que una respuesta podría tardar varios meses
- Como el memorando del Departamento de Defensa de EE. UU. del 9 de enero daba a todos los contratistas de IA un plazo de 180 días, hasta el 8 de julio, para aceptar contratos de “todos los usos legales”, una revisión de varios meses no encajaba con la situación
- Turner ofreció viajar de San Francisco a Londres para una sesión de preguntas y respuestas, pero los altos responsables de políticas volvieron a no responder
- Se sintió frustrado por un proceso en el que, pese a que el CEO había ordenado una revisión, no se entregó ningún resultado de evaluación, aunque deja abierta la posibilidad de que hubiera circunstancias legítimas desconocidas
El contrato con el Departamento de Defensa de EE. UU. que Google cerró discretamente
- El 27 de abril de 2026, una nota de prensa reveló que Google había cerrado un contrato confidencial de IA
- Turner también firmó, junto con más de 600 empleados, una carta a Sundar pidiéndole rechazar el contrato confidencial de IA
- Los términos centrales del contrato eran los siguientes
- El Departamento de Defensa de EE. UU. podía usar la IA de Google para “todos los fines gubernamentales legales”
- A solicitud del gobierno, Google debía ayudar a ajustar la configuración de seguridad y los filtros de la IA
- Incluía lenguaje que indicaba que no debía usarse para vigilancia masiva interna ni para armas autónomas sin supervisión humana adecuada
- Al mismo tiempo, especificaba que Google no tenía derecho a controlar ni rechazar operaciones gubernamentales legales
- Consideró que “should not” no era una prohibición vinculante, por lo que respondía a las preocupaciones éticas solo de manera formal
- Google no informó internamente que había cerrado el contrato, y Turner se enteró a las 11:45 p. m. por un grupo de Signal
- También existía el caso de Google retirándose, tras una revisión ética interna, de una licitación de 100 millones de dólares para enjambres de drones autónomos controlados por voz
- Valora positivamente que en algunos negocios exista una revisión ética que realmente funciona
- Sin embargo, en un contrato de “todos los usos legales”, Google no podía saber para qué se usaría realmente Gemini, por lo que era difícil evaluar si los beneficios superaban ampliamente los daños
- Citando el caso de que incluso el CEO de Anthropic dijo no saber qué papel tuvo Claude en el bombardeo de una escuela de niñas en Irán, enfatiza la falta de transparencia posterior al despliegue
El cambio en los principios de IA que se dijo que no habían cambiado
- Demis dijo que el mundo se volvió más peligroso y que la victoria de los valores democráticos no podía darse por sentada, por lo que era necesario colaborar con los gobiernos
- También afirmó que el principio fundamental de Google —juzgar cuidadosamente si los beneficios superan ampliamente el riesgo de daño— no había cambiado, al igual que el respeto por el derecho internacional y los derechos humanos
- Turner concluyó que el criterio de “ver la situación y luego juzgar” no es un compromiso previo que pueda sostenerse bajo presión, por lo que difícilmente puede considerarse un principio
- Los Principios de IA de Google de 2018 indicaban explícitamente que la empresa no desarrollaría ni desplegaría armas cuyo propósito principal fuera causar daño a las personas, ni vigilancia que violara normas internacionalmente reconocidas
- Debido a estos principios, Google se retiró en 2018 de la licitación del contrato JEDI, de 10.000 millones de dólares
- La revisión del 4 de febrero de 2025, coescrita por Demis, eliminó las prohibiciones específicas sobre armas y vigilancia
- Las dos posturas —eliminar las cláusulas de prohibición y decir que “los principios no cambiaron”— no pueden ser verdaderas al mismo tiempo; cuando compartió esta inconsistencia en un canal interno en su último día de trabajo, muchos empleados expresaron decepción
Cooperar con el gobierno y ceder sin límites son decisiones distintas
- Incluso si se acepta la premisa de que las democracias occidentales deben adoptar armas autónomas para enfrentar al autoritarismo, consideró que aceptar todas las demandas del Departamento de Defensa de EE. UU. no era la única opción
- Aplicar el marco de gobernanza de IA militar permitiría usos necesarios para competir con China, a la vez que restringiría usos no éticos
- Incluso si el contrato era obligatorio, Google podría haber usado su influencia para exigir al Congress protecciones legales, por lo que considera que aceptar un contrato sin límites fue una elección
Confianza personal y gobernanza institucional
- Demis considera que estructuras como una junta independiente o una carta de seguridad pueden no funcionar correctamente en momentos decisivos, y prefiere construir confianza dentro de Google y sentarse a la mesa de decisiones antes que trazar líneas claras de antemano
- Esta filosofía se formó después de que Sundar rechazara, durante las negociaciones, separar a DeepMind como una organización semiindependiente
- Turner replicó que hay que reducir la cantidad de confianza que exige el sistema
- Las personas también están expuestas a presiones decisivas y pueden tener incentivos peores, como participación accionaria, relaciones sociales con colegas y una autoimagen ligada a la empresa
- El marco solo asume una única confianza: que el Chief Scientist actuará razonablemente hasta conformar el Review Body; después, crea confianza justificada mediante contratos y transparencia
- Aunque no impida por completo contratos injustificados, agrega fricción y costos públicos para aprobarlos
- Demis estuvo en la mesa de decisiones de todos los contratos relacionados, pero el contrato final no incluyó ni una sola cláusula vinculante que reflejara las preocupaciones éticas de los empleados
- Aunque reconoce la posibilidad de que haya evitado resultados peores, las condiciones reales del contrato estuvieron cerca del piso mínimo previsible y fueron incluso más débiles que las de OpenAI
- Andreas Kirsch, científico investigador de Google DeepMind, también llegó de forma independiente a la misma conclusión en “Trust is not Governance”
El fracaso del experimento de gobernanza de Google DeepMind
- Google DeepMind fue vendida a Google bajo la premisa de una promesa de no uso en armas y una estructura de gobernanza semiindependiente, pero Sundar rechazó la estructura independiente
- Los Principios de IA de 2018, creados por presión de los empleados, también se debilitaron después de que la dirigencia eliminara las prohibiciones concretas sobre armas y vigilancia
- En Google DeepMind, las ganancias y la presión política vencieron a los compromisos éticos, mientras que Anthropic mantuvo sus líneas rojas existentes bajo las mismas presiones
- La conclusión no es que nadie cumpla los principios, sino que la sociedad no puede depender de que individuos éticos resistan hasta el final
- Aunque el Congress no responda de manera efectiva, considera que se debe abandonar la idea de que la seguridad está garantizada solo porque los ejecutivos “están sentados a la mesa de decisiones”
Las opciones que les quedan a quienes firmaron el compromiso
- Jeff Dean, Demis Hassabis, Shane Legg y otros se comprometieron a no apoyar el desarrollo, fabricación, comercio ni uso de armas autónomas letales, pero permanecieron en la empresa incluso después de que Google proporcionara IA al ejército sin derecho a limitar sus usos
- Ante la interpretación de que el contrato no autorizó explícitamente las armas autónomas, sino que simplemente no las prohibió, responde que taparse los ojos para no saber en qué se usa no elimina la responsabilidad
- Considera que seguir desarrollando IA en una empresa que crea la mejor IA, la entrega a un ejército que quiere usar armas autónomas y además renuncia al derecho a limitar sus usos entra en conflicto con el compromiso
- Sostiene que quienes firmaron el compromiso tienen tres opciones honestas
- Explicar públicamente cómo permanecer es compatible con el compromiso
- Declarar que ya no apoyan ese compromiso y explicar por qué
- Irse de la empresa
- Si ni siquiera frente a una línea roja clara se logró obtener una sola cláusula vinculante, la justificación de “quedarse para influir positivamente desde adentro” es débil
- Si se incumple el compromiso más claro sin hacer nada, también disminuye la credibilidad del siguiente compromiso de seguridad y, al final, las promesas en sí pierden valor
El silencio de los líderes de ética en IA
- La responsabilidad se reparte de manera desigual entre Pete Hegseth y Donald Trump, que presionaron al Departamento de Defensa de EE. UU.; Sundar Pichai, que firmó el contrato; y Jeff Dean, que no usó más su influencia
- Turner está especialmente decepcionado por la inacción sostenida de altos expertos en IA que han hecho públicos sus compromisos éticos
- Geoffrey Hinton se mostró muy decepcionado por la retirada de Google de sus compromisos sobre IA militar, y especuló que pudo deberse al temor de que la administración actual tratara a Google de forma desfavorable
- Stuart Russell y Hinton, en general, no han sido figuras pasivas
- Stuart ha advertido públicamente durante mucho tiempo sobre el riesgo existencial de la IA y las armas autónomas letales
- Hinton dejó EE. UU. en la década de 1980 por oponerse al financiamiento militar de la IA, y en 2023 dejó Google para hablar libremente sobre los riesgos de la IA
- En septiembre de 2025, el Global Call for AI Red Lines fue firmado por más de 300 personas, incluidos 15 ganadores del Nobel y del Turing; Stuart, Bengio, Hinton y Mark Nitzberg también apoyaron la prohibición de la vigilancia masiva y de las armas autónomas letales
- Aunque firmaron principios abstractos, cuando en febrero de 2026 se produjo un choque real entre empresas y gobierno, IASEAI no emitió ninguna declaración
- La interpretación de que reservaron capital político para un momento más importante puede explicar por qué evitaron una declaración pública, pero no por qué rechazaron incluso ayudas de bajo costo, como conexiones privadas con responsables de decisiones en Google
- Jeff merece cierto respeto por haber sido el único ejecutivo de Google que tomó una acción pública, pero Turner considera que podría haber ejercido una influencia mayor para impedir el contrato
Acciones internas más allá de los límites del cargo y renuncia
- Un “científico de investigación responsable” típico se habría limitado a tuitear sus preocupaciones y enviar mensajes a su gerente, pero Turner consideró que solo los planes con posibilidades de funcionar tenían valor como acción
- Configuró una foto de Alex Pretti como notificación en su teléfono, y soportó el miedo recordando casos en los que ICE mataba a personas y las sacaba de sus casas por la fuerza
- No eligió la ruta habitual de cambiarse a otro laboratorio líder de IA y recibir un gran bono
- También rechazó el contacto del equipo de seguridad de OpenAI
- Al momento de renunciar, no tenía otro trabajo
- Desde febrero veía como muy probable que Google firmara el contrato, pero si no hubiera existido un contrato real quizá habría permanecido unos meses más
- Una vez firmado el contrato, sintió que ya no podía seguir trabajando y, al considerar que la oficina ya no era un lugar al que perteneciera —como le había ocurrido antes con la escuela—, renunció
Objeciones previsibles y respuestas
- No se puede culpar a individuos solo por no haber seguido una propuesta específica, pero Turner sostiene que, si los líderes éticos de alto nivel hubieran actuado de alguna forma, debería haberse visto un impacto visible en el resultado
- Si Jeff realmente se hubiera opuesto con fuerza al punto de poner su renuncia sobre la mesa, Turner espera que el contrato final hubiera incluido al menos una cláusula vinculante
- No todo el mundo tiene la obligación de pronunciarse sobre todos los temas, pero es distinto cuando se promete una votación de los miembros y luego se cancela, o cuando alguien convierte la oposición a las armas autónomas letales en una parte importante de su identidad y guarda silencio en el momento decisivo
- Turner acepta que el Departamento de Defensa de EE. UU. podría haber rechazado el marco aunque se le hubiera presentado
- Otros proveedores, como xAI, habrían ofrecido IA
- Sin embargo, si Google se hubiera aliado con Anthropic y OpenAI, o si hubiera rechazado las exigencias del Departamento de Defensa, podría haber convertido la conformidad de la industria tecnológica en una respuesta independiente
- Si el Departamento de Defensa lo rechazaba, Google también podía retirarse del contrato, por lo que la influencia de Jeff seguía siendo importante
- El Departamento de Defensa caracterizó los contratos con Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle y SpaceX como una “declaración de respuesta” al conflicto con Anthropic, y enfatizó que las grandes empresas tecnológicas apoyan al ejército y todos los usos legales
Riesgo existencial de la IA y despliegue militar
- Turner considera que un argumento creíble de seguridad para IA avanzada de Google DeepMind probablemente dependería en gran medida de la supervisión de la cadena de pensamiento (chain of thought) tratada en el Frontier Safety Framework
- Una IA mal alineada puede engañar para evitar ser apagada, sin revelar directamente sus intenciones dañinas; investigar la cadena de pensamiento es una de las principales formas de detectarlo
- Para supervisar se necesitan supervisores humanos capacitados con acceso a los datos y capacidad de analizarlos, pero los centros de datos militares clasificados están aislados de la infraestructura comercial de Google
- No significa que empleados de Google deban leer operaciones militares; el problema es que, por defecto, probablemente no haya ingenieros militares con la capacitación adecuada para realizar esa supervisión
- Sin supervisar el engaño en la cadena de pensamiento, es más difícil controlar la posibilidad de que una IA cause daños catastróficos a la humanidad mediante estratagemas, engaño o toma de control
- Los entornos de despliegue militar tienen supervisión débil y, al mismo tiempo, acceso a responsables de decisiones e infraestructura poderosos, por lo que pueden convertirse en entornos atractivos para una IA maliciosa
- Turner espera que el ejército y US CAISI desarrollen la experiencia, la atención y los procedimientos de control necesarios para vigilar y contener IA maliciosa
Los límites de la explicación de que “solo se proporciona acceso vía API”
- La dirección afirma que ofrecer acceso vía API a modelos comerciales bajo condiciones estándar de la industria es una forma responsable de apoyar la seguridad nacional
- El acceso vía API común da la impresión de que las solicitudes se envían a los servidores del proveedor y que el proveedor puede supervisar su uso
- En operaciones clasificadas no se pueden enviar consultas en texto plano a los servidores de Google, por lo que Turner supone que sería una modalidad on-premises, con endpoints de la API de Gemini en clústeres de nube gubernamental aislados
- En ese caso, decir “solo acceso vía API” puede ser técnicamente correcto, pero da la falsa impresión de que la supervisión central de Google es posible, y no resuelve los problemas de armas autónomas, crímenes de guerra ni perfilado masivo
- Turner considera que, salvo Anthropic, Google también contribuyó a que estas condiciones se volvieran el estándar de la industria
1 comentarios
Comentarios de Hacker News
Respeto la decisión de TurnTrout de actuar conforme a lo que cree correcto pese a la presión. Si la humanidad quiere tomar mejores decisiones en el gran dilema del prisionero que se avecina en los próximos 20 años, hacen falta más personas inteligentes así
Veía incluso a los investigadores de IA de forma negativa, pensando que la industria de la IA extrae valor y lo revende ignorando el esfuerzo colectivo de otras personas, pero esto también elevó un poco mi respeto por los investigadores de IA. Aunque TurnTrout no comparta por completo ese marco, me alegra que haya mantenido sus principios éticos
Entré para hacer investigación de seguridad de AGI con el fin de reducir el riesgo existencial de la IA, y evité deliberadamente trabajar en aumentar el rendimiento puro de Gemini. En ese momento elegí un tipo de compromiso, y también es válido criticar esa decisión
Renuncié a Microsoft por su cooperación con Israel y las IDF, incluyendo vigilancia sobre palestinos y la grabación de todas las llamadas. Después Microsoft revirtió parte de esas medidas, pero Satya tampoco está libre de responsabilidad
https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...
El texto no describe con precisión el caso de Anthropic. Emil Michael, subsecretario de Defensa de EE. UU. para Investigación e Ingeniería, explicó en el pódcast All-In que durante la negociación Dario siguió diciendo: “si hace falta, llámenme; cada vez puedo fijar la línea de límite”
En un conflicto a gran escala que pueda desarrollarse dentro de los 30 minutos posteriores al lanzamiento de un ICBM, los organismos de seguridad nacional no pueden estar llamando a Dario cada vez para pedir autorización. Emil parece pensar que Dario intentó quedarse con el control final mediante vetos caso por caso, e incluso que podría haber puesto ese poder por encima de la supervivencia del Estado. Desde la perspectiva de adquisiciones militares, es razonable registrar ese tipo de conducta y, en ciertas circunstancias, compartirla con otras agencias; además, ya existen bases de datos para registrar la mala conducta de contratistas
Está claro que All-In fue un espacio favorable para Emil, pero como no se perdió tiempo defendiendo el ataque, creo que permitió escuchar una versión más detallada de los hechos
Fragmento relacionado: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
Registro de contratistas: http://www.ppirs.gov/
Emil tenía en Uber el papel de difamar y destruir a enemigos políticos, y no hay base para pensar que hoy actúe de forma distinta
La gente que se apega a sus principios se ha vuelto demasiado rara
Es admirable cómo TurnTrout vive de acuerdo con sus principios. No sé si yo tendría ese nivel de valentía o confianza, y contrasta con gente inteligente que elige trabajar en empresas como Palantir y se siente orgullosa de ello
También se parece a la objeción de conciencia frente a la maquinaria de guerra y al sistema financiero del imperio que la necesita. Incluso con la autoridad de haber trabajado directamente en Google DeepMind, la gente difícilmente querrá escuchar, porque en tiempos de guerra la locura y el dinero aplastan a la lógica y la razón
Así como después de Snowden no renunciaron en masa funcionarios de Five Eyes, la mayoría encuentra razones para no enfrentarse a la opresión. El hecho de que el autor, como vegetariano, ya haya sostenido sus principios en soledad dentro de una sociedad centrada en el consumo de carne, pudo haber sido un entrenamiento para una objeción de conciencia mayor
Quien carga con una hipoteca, hijos, deudas del auto y tarjetas de crédito al límite, o quien está por jubilarse, difícilmente puede resistir en público; la gente joven puede no tener todavía el lenguaje para expresar sus convicciones. Para una acción individual prolongada de decirle la verdad al poder también hace falta suficiente independencia económica
En particular, los medios también tienen una gran deuda con quienes no fueron reconocidos como denunciantes porque se enfocaron más en la situación personal de los involucrados que en la esencia del problema. Este primer paso se parece al viaje clásico del héroe: rechazar primero el llamado y luego entrar en un mundo extraordinario para volver con algo beneficioso para todos
Respeto que haya defendido sus convicciones, pero me pregunto por qué no querría armas de IA inteligente. ¿No sería una opción más responsable una IA integrada capaz de distinguir entre civiles desarmados y objetivos militares que una mina convencional que hace explotar cualquier cosa?
Así como no quisiera dejar la anestesia quirúrgica en manos de una máquina basada en LLM, tampoco querría, en su estado actual, un sistema militar que decide la vida o la muerte de mucha más gente. Incluso si en el futuro llegáramos a confiar de verdad en la tecnología para operar armas, surgirían nuevas preguntas filosóficas, como si la guerra misma sigue siendo necesaria o cuál sería la motivación de una tecnología tan cercana a la AGI.
En un homicidio injusto, una persona debe asumir la responsabilidad, pero con armas de IA es demasiado fácil evadirla con algo como “fue un error del algoritmo y lo mejoraremos en la versión 23”. Integrar IA en las armas deja una distancia muy corta hasta la matanza totalmente automatizada.
Ya hemos visto una y otra vez cómo se desvía la responsabilidad diciendo “lo hizo el algoritmo” en recomendaciones de contenido extremista, reconocimiento erróneo de personas negras y contratación sesgada hacia hombres. En estos sistemas, lo que realmente hacen es su propósito, por eso también suelen evitar desesperadamente cualquier intento de dejar clara la responsabilidad legal.
He trabajado en Google, y todo lo que se decía sobre ética de IA no era una promesa sino un engaño. Google, como muchas otras empresas, mantiene la concentración y la motivación de sus empleados con desinformación cuidadosamente coordinada y medias verdades.
Eso de “escuchamos la voz de los empleados” solo es cierto cuando no afecta al negocio y además sirve para presentar a la empresa como algo bueno. En cuanto aparece aunque sea un poco de resistencia política o económica, dejan de escuchar. Valoro mucho al autor por haber luchado por el cambio, pero los dark patterns de Google están demasiado arraigados como para erradicarlos solo intercambiando cortésmente white papers y correos.
Apenas llevaba 1 hora publicado y ya tenía más de 200 puntos, pero desapareció de la portada de HN.
Google es una empresa acomodaticia que desechó sus políticas de DEI después de la elección de Trump, y esas políticas nunca fueron sinceras desde el principio. Este intento fue algo ingenuo, así que estaba condenado a fracasar, pero también es muy probable que los productos militares de IA no funcionen bien para nada salvo bombardear escuelas de niñas.
Parece que los CEOs se están apresurando a respaldar la idea de captura regulatoria de Hassabis.
https://xcancel.com/sundarpichai/status/2077086951833063580#...
https://xcancel.com/satyanadella/status/2077063479232795024#...
https://xcancel.com/elonmusk/status/2077415601610297535#m
Es un club cerrado de ellos, y nosotros no formamos parte.
La mayoría de quienes tienen GOOG, MSFT, META, etc., solo quieren que suba su 401(k), más que preguntarse cómo se generan esas ganancias, y el sistema fue diseñado así desde el principio.