El MIT mide el salto de la IA: del 2,8% al 34,6% de problemas científicos resueltos

Un trabajo del Instituto Tecnológico de Massachusetts (MIT) ha intentado medir con cierto rigor algo que hasta ahora se contaba sobre todo con anécdotas: cuánto ha mejorado la inteligencia artificial a la hora de resolver problemas científicos reales. La conclusión, según recoge Computer Hoy, es que en apenas 16 meses los modelos han pasado de acertar un 2,8% de los casos analizados a resolver un 34,6%.

Es un salto considerable, pero conviene leerlo con cuidado: el propio estudio insiste en que resolver un problema planteado no equivale a hacer ciencia, y que las respuestas de estos sistemas siguen necesitando comprobación humana.

Cómo se hizo la prueba

Los investigadores partieron de 254 artículos científicos recientes repartidos en siete áreas, entre ellas matemáticas, física y economía. De cada uno extrajeron los problemas que los autores habían abordado y los plantearon a distintos modelos de OpenAI para ver si llegaban a las mismas soluciones.

El contraste entre generaciones es el dato central del trabajo: el modelo o1 resolvía correctamente un 2,8% de los casos, mientras que GPT-5.5 alcanzó el 34,6%. Según el estudio, la mejora no se concentró en una disciplina concreta, sino que se observó en todas las áreas evaluadas.

El problema de la contaminación de datos

Cuando se evalúa un modelo de lenguaje con problemas ya publicados, aparece siempre la misma sospecha: que el sistema no esté razonando, sino recordando. Es lo que se conoce como contaminación del conjunto de pruebas, es decir, que la respuesta correcta formara parte de los datos con los que se entrenó el modelo.

Para reducir ese riesgo, el equipo del MIT trabajó con problemas cuyas soluciones ya estaban publicadas y bloqueó el acceso a internet durante las pruebas, de modo que los modelos no pudieran limitarse a localizar el artículo original. No es una garantía absoluta —el material pudo estar presente en el entrenamiento previo—, pero sí una precaución básica que muchas comparativas comerciales se saltan.

Resolver no es investigar

La parte más matizada del estudio es también la más importante. Los autores subrayan que la IA está lejos de sustituir a un investigador, porque una investigación completa implica mucho más que dar con la respuesta a un problema cerrado: hay que formular la pregunta, decidir qué método aplicar, interpretar los resultados y verificar que las conclusiones se sostienen.

Dicho de otro modo, los modelos están rindiendo bien en la fase en la que el problema ya está bien definido por un humano. Ese es precisamente el trabajo que más se puede acelerar: cálculos intermedios, demostraciones, comprobaciones repetitivas. Y ahí el ahorro de tiempo y de coste puede ser real, sobre todo para grupos de investigación pequeños que no disponen de recursos para contratar apoyo especializado.

Qué cambia y qué preocupa

Si la tendencia se mantiene, el efecto más probable a corto plazo no es la sustitución de científicos, sino un cambio en el reparto de tareas dentro de los equipos. Las partes mecánicas se delegan y el esfuerzo humano se concentra en el diseño del experimento y en la validación.

El reverso es el que inquieta a parte de la comunidad investigadora: si el razonamiento intermedio se externaliza a una herramienta que falla de vez en cuando y que no explica bien por qué acierta, se corre el riesgo de perder capacidad de detectar errores. Un fallo en un cálculo auxiliar puede arrastrarse hasta la conclusión final si nadie lo revisa. De ahí la insistencia del MIT en la supervisión.

El debate sobre hasta dónde conviene dejar llegar a estos sistemas no es nuevo: hace poco un exinvestigador de DeepMind cuantificaba los riesgos de la IA en términos mucho más alarmistas. Y en el terreno práctico, los experimentos con agentes autónomos se multiplican, como el caso de varios agentes de Gemini jugando a Minecraft sin ayuda.

Con todo, la lectura más sobria del estudio es que se trata de una fotografía de un momento concreto. Un 34,6% sigue siendo un suspenso amplio: dos de cada tres problemas se quedan sin resolver. Lo llamativo no es la cifra en sí, sino la velocidad a la que ha subido.