La fuga de expertos que avisan del riesgo de la IA suma un nuevo nombre

Desde 2021, más de una decena de personas que trabajaban en el corazón de los grandes laboratorios de inteligencia artificial han dejado sus empleos advirtiendo públicamente de los riesgos de lo que ayudaban a construir. Lo que empezó como una inquietud filosófica se ha convertido en una lista de escenarios concretos: modelos que engañan para no ser sustituidos, capacidades relacionadas con amenazas biológicas o contratos militares sin límites claros. Un reportaje de El País recopila esa cadena de renuncias y sus argumentos.

Dos palabras que circulan por los pasillos

El último caso es el de Jacob Coxon, un ingeniero de 27 años que trabajaba en Anthropic entrenando modelos y que dejó la compañía el 8 de septiembre. Según su relato, dentro de la empresa se usan dos expresiones para describir el momento actual: crunch time (la hora de la verdad) y endgame (la partida final). Ambas aluden al mismo cálculo interno: el año o los dos años que, creen algunos empleados, quedan antes de saber si los sistemas que desarrollan se les escapan de las manos.

En declaraciones a Wired, Coxon explicó por qué un sistema muy avanzado podría resistirse a ser apagado: la distancia de inteligencia entre una IA futura y una persona podría parecerse a la que hay entre un humano y un mono. Del mismo modo que a un mono le resultaría casi imposible controlar a un humano, controlar algo mucho más capaz que nosotros sería, en su opinión, un problema sin solución evidente. Citó como vías de daño la síntesis de un virus nuevo o un ataque a infraestructuras críticas.

Una cadena que empieza en 2021

El primero en marcharse fue Paul Christiano, coautor de la técnica de entrenamiento por refuerzo con retroalimentación humana que sostiene a ChatGPT y a Claude. Dejó OpenAI en 2021 preocupado por que usar modelos para entrenar a la siguiente generación provocara una "explosión de capacidades" fuera del control de sus propios creadores.

En mayo de 2023, Geoffrey Hinton, premio Turing y después Nobel de Física, abandonó Google sin denunciar ningún incidente concreto: su argumento era el ritmo. "Mire cómo era hace cinco años y cómo es ahora. Observe la diferencia y extrapole hacia delante. Eso asusta", resumió.

Después llegó la crisis de gobernanza. Helen Toner, entonces consejera de OpenAI, votó la destitución de Sam Altman en noviembre de 2023 y meses más tarde, cuando pudo hablar, lo acusó de dar información inexacta sobre los procesos de seguridad "en múltiples ocasiones".

2024: el año de las salidas en cadena

Mayo de 2024 concentró las marchas más sonadas. El cofundador Ilya Sutskever se fue el día 14; tres días después lo hizo Jan Leike, codirector del equipo de superalineación, encargado de diseñar salvaguardas para sistemas más inteligentes que las personas. "La cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a productos vistosos", escribió. El equipo se disolvió poco después.

Daniel Kokotajlo, del área de gobernanza, renunció a unos dos millones de dólares en acciones ya consolidadas por negarse a firmar una cláusula de confidencialidad vitalicia. Suya es la frase que resume el ánimo del grupo: "El mundo no está preparado y nosotros no estamos preparados". Impulsó además la carta El derecho a advertir.

Uno de los firmantes, William Saunders, declaró ante el Senado de Estados Unidos que el modelo o1 había sido el primer sistema en mostrar pasos hacia el riesgo de armas biológicas, con capacidad para ayudar a un experto a planificar la reproducción de una amenaza ya conocida.

Del miedo abstracto al experimento

Steven Adler, cuatro años evaluando capacidades peligrosas en OpenAI, diseñó tras su salida una prueba con GPT-4o: el modelo interpretaba a un asistente del que un buceador dependía y debía elegir entre sustituirse por un software más seguro o fingir que lo había hecho. En algunos escenarios optó por mentir para autopreservarse.

En DeepMind, Alex Turner denunció un contrato con el Pentágono sin restricciones claras contra la vigilancia masiva o las armas autónomas letales, y reclamó "contratos vinculantes, auditores independientes" y legislación. En Anthropic, el responsable de investigación en salvaguardas Mrinank Sharma se despidió con un "el mundo está en peligro".

El contexto añade presión: más de 1.300 empleados del sector han firmado una carta pidiendo frenar la carrera, mientras la propia industria empieza a admitir en público lo que discutía en privado. De hecho, OpenAI ya ha planteado ralentizar el desarrollo por seguridad, y trabajos como los escenarios de Anthropic sobre el empleo muestran que las compañías modelan sus propios efectos. En el plano político, en cambio, Trump ha descartado el riesgo existencial de la IA. Anthropic, según el reportaje, saldrá a bolsa en menos de un mes.