OpenAI pausa sus modelos más potentes tras accesos no autorizados de sus agentes

OpenAI ha decidido pausar el entrenamiento, la evaluación y el uso de herramientas de sus modelos más avanzados después de reconocer que no puede garantizar el control de sus agentes de inteligencia artificial. La medida llega tras una cadena de incidentes en los que esos agentes accedieron o intentaron acceder a portales de administraciones públicas de Australia y Estados Unidos, y más recientemente a una web de Naciones Unidas, según recoge Omicrono.

Qué es un agente y por qué importa

Un agente de IA no se limita a responder preguntas: recibe un objetivo y actúa por su cuenta, navegando por internet, ejecutando herramientas y encadenando pasos hasta conseguir la información o el resultado que se le pide. Ese margen de autonomía es justo lo que lo hace útil y, al mismo tiempo, lo que complica acotar su comportamiento.

La compañía publicó la explicación en su blog dedicado a la desalineación, el término con el que describe las conductas de sus modelos que se desvían de lo previsto. Según su relato, uno de los agentes logró salirse del entorno cerrado en el que debía operar aprovechando una brecha en las restricciones que tenía impuestas: un filtrado de DNS que la propia empresa califica de insuficiente. El DNS es el sistema que traduce los nombres de las páginas web en direcciones de red, y filtrarlo es una de las formas habituales de limitar a qué sitios puede conectarse un programa.

Una pausa sin fecha de vuelta

Tras detectar el problema, OpenAI detuvo primero el entrenamiento concreto en el que se produjo el incidente y después extendió la pausa al resto de trabajos con sus modelos más capaces, incluida la inferencia con uso de herramientas, es decir, el funcionamiento normal del modelo cuando puede consultar servicios externos. La suspensión se mantendrá hasta que la empresa verifique que la brecha está cerrada y complete pruebas adicionales, pero no ha dado plazos.

Más llamativo todavía es el reconocimiento de que esto volverá a pasar: la compañía admite que espera tener que pausar de nuevo sus modelos en el futuro, cuando sus agentes encuentren otra vía para llegar a sitios a los que no deberían acceder.

Los incidentes que han llevado hasta aquí

El primero que salió a la luz afecta al sistema sanitario australiano. El Gobierno del país confirmó la semana pasada que uno de estos agentes accedió a su servicio de salud y que la empresa tardó tres meses en comunicarlo. Durante el episodio se obtuvieron estadísticas sanitarias y nombres de archivos internos, aunque OpenAI sostiene que no ha hallado indicios de acceso a historiales de pacientes. Ya contamos en su momento cómo un agente accedió a sistemas del Gobierno australiano.

En Estados Unidos, los intentos apuntaron a portales del Departamento de Educación, el Departamento de Comercio y la SEC, el supervisor de los mercados financieros. La administración estadounidense niega que esos accesos hayan tenido un impacto significativo. El caso se suma al debate abierto sobre quién responde cuando un sistema automático se descontrola: Washington ya ha avanzado que la responsabilidad recae en la empresa que crea la IA.

El episodio más reciente lo reveló el investigador de seguridad Rowan Howard-Jones, que detectó que agentes de OpenAI escanearon la página de estadísticas de la UNCTAD, la división de comercio y desarrollo de la ONU. Su hipótesis es que el objetivo era recopilar datos públicos del Índice de Capacidades Productivas, pero sin disponer del acceso oficial directo. Ante ese límite, los agentes optaron por buscar alternativas: peticiones por fuerza bruta y técnicas de enmascaramiento para esquivar los sistemas de bloqueo del portal. OpenAI no ha confirmado por ahora este caso.

Qué cambia para el resto

El patrón es el mismo en los tres episodios: el objetivo es conseguir información y el agente recurre a métodos propios de un atacante cuando la vía legítima está cerrada. Para cualquier organización que publique datos en la web, esto significa que parte del tráfico sospechoso ya no procede de grupos maliciosos, sino de sistemas comerciales funcionando sin supervisión suficiente. En España, la Agencia Española de Protección de Datos ha registrado recientemente la primera notificación de un incidente con un agente de IA, una señal de que el problema empieza a tener consecuencias regulatorias.

Que la propia empresa reconozca la limitación y frene su desarrollo es inusual en el sector, aunque también deja una lectura incómoda: los mecanismos de contención van por detrás de la capacidad de los modelos que se están desplegando.