Nadella pide tratar a los modelos de IA como si ya estuvieran comprometidos

El consejero delegado de Microsoft, Satya Nadella, ha publicado en sus redes sociales una propuesta sobre cómo deberían desplegarse los modelos de inteligencia artificial dentro de las empresas. Su punto de partida es incómodo: dar por hecho que cualquier modelo puede estar comprometido y diseñar desde el primer día la forma de contenerlo. Lo recoge Xataka.

Separar la inteligencia de la autoridad

La idea central que defiende Nadella es distinguir dos cosas que hoy suelen ir juntas: que un sistema sea capaz de resolver una tarea y que tenga permiso para ejecutarla sin supervisión. En su planteamiento, un modelo puede aportar criterio, pero la autoridad para actuar debe quedar fuera de él, en un entorno de reglas, permisos y vigilancia independiente.

El argumento técnico es conocido para cualquiera que haya trabajado con software: en un programa tradicional, un comportamiento extraño se puede rastrear hasta una línea de código concreta. Con los grandes modelos de lenguaje eso no es posible. Nadella habla directamente de cajas negras: sistemas cuyo funcionamiento interno no podemos inspeccionar. De ahí su regla más repetida en la publicación: si algo no se puede observar, no se puede confiar en ello.

Un empleado con demasiados permisos

La comparación que propone es la de un trabajador con acceso privilegiado a los sistemas de la compañía. A esa figura no se le concede carta blanca: se le dan los permisos mínimos imprescindibles, se registra lo que hace y existe la posibilidad de retirarle el acceso de inmediato. Lo mismo, defiende, debería aplicarse a los agentes de IA que las empresas están conectando a bases de datos, correo corporativo o herramientas internas.

No es una cuestión de desconfianza hacia la tecnología en sí. Nadella insiste en que cualquier actor con capacidad y acceso a sistemas críticos puede equivocarse o ser atacado, y que eso basta para justificar las barreras. En la misma línea, sostiene que las garantías que ofrezca el proveedor del modelo no trasladan la responsabilidad: "No podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre", escribe.

Siete principios

La publicación enumera siete principios: diversidad de modelos, observación total del comportamiento, verificabilidad, controles independientes, auditoría externa, contención y divulgación de incidentes. En la práctica se resumen en tres ideas: no depender de un único proveedor, poder ver y comprobar lo que hace el sistema, y disponer de un freno de emergencia que funcione aunque el modelo falle.

Nadella también pide que la contención se convierta en un estándar común del sector, y no en una solución que cada empresa improvise por su cuenta. No es la primera vez que apunta en esa dirección: hace semanas afirmó que una IA que no ayude a la humanidad y no esté bajo control humano no merece la pena.

Desde dónde habla

Conviene situar el mensaje. Nadella dirige la empresa de Windows, que desarrolla sus propios modelos, vende la nube de Azure a quienes ejecutan modelos ajenos y compite con el resto de grandes tecnológicas. Defender un ecosistema con muchos modelos, abiertos y cerrados, y con empresas que no dependan de un solo proveedor encaja bien con un negocio que alquila la infraestructura donde todos esos modelos se ejecutan.

Tampoco está libre de tensiones internas: mientras reclama un ritmo más pausado en el desarrollo de la IA, Microsoft sigue levantando centros de datos, justo la base material que permite entrenar y servir modelos cada vez mayores. Es la misma contradicción que atraviesa al sector y que explica por qué la inversión en centros de datos se ha disparado en los últimos trimestres.

Qué significa para las empresas

Para una organización que esté incorporando IA a sus procesos, el mensaje práctico es claro: antes de conectar un agente a sistemas sensibles, conviene definir qué puede tocar, dejar registro de cada acción y tener prevista la forma de detenerlo. En Europa esa lógica se cruza además con obligaciones legales crecientes, como la transparencia sobre decisiones algorítmicas en el ámbito laboral. La seguridad, viene a decir Nadella, ya no está dentro del modelo, sino en el entorno que lo rodea.