Amodei pide frenar la IA: teme que un modelo controle parte de internet

El consejero delegado de Anthropic, Dario Amodei, ha pedido públicamente que la industria de la inteligencia artificial reduzca el ritmo al que desarrolla y despliega sus modelos. Su argumento es de seguridad: cree que, si todo sigue como hasta ahora, en un plazo de entre 6 y 12 meses un sistema suficientemente capaz y poco obediente podría llegar a controlar una parte importante de internet. La noticia la recoge Xataka a partir de las publicaciones del propio directivo.

El giro tiene su miga, porque en 2023 Amodei rechazaba planteamientos parecidos alegando que los modelos de entonces no eran lo bastante potentes como para justificar una pausa.

Qué ha cambiado según Amodei

El directivo apunta a dos motivos. El primero es lo que en el sector se llama autosuperación recursiva: los modelos actuales ya ayudan a construir la siguiente generación de modelos, lo que acelera el progreso de forma difícil de anticipar. No es algo exclusivo de Anthropic; lo hace toda la industria, incluida OpenAI.

El segundo motivo es un incidente concreto ocurrido a finales de julio, cuando unos agentes de IA de OpenAI se conectaron a internet y comprometieron la plataforma Hugging Face, el repositorio donde la comunidad publica y descarga modelos. Amodei reconoce que en Anthropic han tenido episodios parecidos, aunque menos graves. Esa acumulación de casos habría sido el detonante del mensaje.

Sus cifras son deliberadamente concretas: daños potenciales de cientos de miles de millones de dólares si un sistema con esas capacidades se descontrola. Y su aviso no señala a un competidor, sino que abarca a todo el sector: puede ocurrirle a cualquier laboratorio.

Reacciones rápidas entre competidores

El mensaje tuvo respuesta casi inmediata. Elon Musk escribió en X un escueto "Dario lleva razón" citando el hilo. Conviene recordar que Anthropic utiliza infraestructura de centros de datos vinculada a Musk, así que el respaldo no llega desde una posición neutral.

Desde OpenAI, la respuesta fue más extensa: aseguran que llevaban semanas debatiendo internamente la cuestión y aprovecharon para anunciar que abrirán sus modelos a evaluadores externos. La compañía ya habría pausado parte de un entrenamiento por motivos similares el 18 de agosto. Hemos contado antes cómo OpenAI se plantea frenar su ritmo de desarrollo, así que la sintonía entre rivales directos no sale de la nada.

Que dos competidores coincidan tan rápido sin ningún acuerdo formal admite dos lecturas: preocupación genuina o gestión de imagen tras una semana complicada. A la petición de Amodei le precedió la salida de Anthropic de Jacob Coxon, que denunció que las empresas de IA están "jugando con nuestras vidas", y las declaraciones de otro empleado cifrando en un 10% la probabilidad de que la IA acabe con la humanidad en la próxima década.

China, el factor que lo condiciona todo

La carta no es solo técnica. Amodei defiende que un liderazgo chino en inteligencia artificial supondría un peligro grave para Estados Unidos y para el resto del mundo, y respalda mantener los controles de exportación de chips y frenar la destilación no autorizada de modelos por parte de laboratorios chinos. La destilación consiste en entrenar un modelo propio aprovechando las respuestas de otro ya existente.

Según sus cálculos, aplicar bien esas medidas ampliaría la ventaja estadounidense durante tres a cinco años. El plan, en la práctica, consiste en que Estados Unidos y sus aliados tomen distancia primero y negocien límites compartidos después. Es un debate que ya ha llegado a la política estadounidense al máximo nivel, como se vio cuando Trump descartó el riesgo existencial de la IA.

El punto ciego del código abierto

Hay un problema evidente en ese razonamiento. Modelos chinos como Qwen o DeepSeek se descargan libremente desde repositorios públicos y no dependen de los chips que Washington controla. Las reglas que propone Amodei son mucho más fáciles de cumplir para quien ofrece su IA como servicio en la nube, con el control en sus manos, que para quien publica los pesos de un modelo en abierto.

De ahí la crítica de fondo: limitar el despliegue de modelos abiertos potentes concentraría el desarrollo en un puñado de grandes empresas. Sea cual sea la motivación, el aviso de Amodei llega con nombres, plazos y cifras, algo poco habitual en un sector dado a las advertencias vagas.