Nadella reclama que los modelos de IA dispongan de “un freno de emergencia”
Por Francisco Bracero Osuna — Portada
Nadella reclama que los modelos de IA dispongan de “un freno de emergencia”
Inteligencia artificial
El líder de Microsoft pide “dar un paso atrás y evaluar la arquitectura de confianza”
Satya Nadella la semana pasada en un evento en San Francisco con la palabra trust , confianza
HEATHER DIEHL / AFP
Barcelona
12/10/2026 18:39 Síguenos en Google 0:00 Audio generado por IA 0:00 0.5x 0.8x 1x 1.2x 1.5x SUSCRÍBETE PARA ESCUCHAR
En el debate sobre la necesidad de desplegar con mayor seguridad la inteligencia artificial, el director ejecutivo de Microsoft, Satya Nadella, propone que, estructuralmente, los modelos dispongan de una especie de botón del pánico, lo que llamó “un freno de emergencia”. Por eso, considera que ha llegado el momento de que las compañías que desarrollan la IA decidan “dar un paso atrás y evaluar la arquitectura de confianza” de esta tecnología.
El líder de Microsoft observa, que hasta ahora, mientras los sistemas de software se implantaban en la economía mundial, existían mecanismos y herramientas para “rastrear los comportamientos hasta una ruta de código específico”. Todo eso ha saltado por los aires con la IA.
Según Nadella, “ese mismo tipo de comprensión mecánica se nos escapa en los sistemas de superinteligencia actuales”. El director ejecutivo de Microsoft emplea el término superinteligencia , que es con el que el presidente de Estados Unidos, Donald Trump quiere rebautizar esta tecnología.
“¡Estamos dando a los agentes de IA acceso a nuestros datos más sensibles y capacidad de acciones críticas en nuestro nombre!”
Se asombra Nadella de que, aunque las compañías que desarrollan esta tecnología no sean capaces de atribuir a datos conocidos la forma en que se comportan los agentes de IA, se les está dejando actuar con demasiada libertad. “¡Estamos implementando estos complejos sistemas y modelos agentivos, dándoles acceso a nuestros datos más sensibles y otorgándoles la capacidad de llevar a cabo acciones críticas en nuestro nombre!”, exclama el directivo.
Así que su propuesta es “partir de la base de que un modelo está comprometido y contenerlo desde el principio” señala. Nadella quiere aplicar un principio de seguridad de la información “que se remonta a la década de 1970: un programa no debe poder eludir ni manipular los mecanismos que hacen cumplir sus permisos”.
La compañía anuncia un modelo basado en Qwen que decide 35 veces más rápido que GPT-6 Sol de OpenAI
En el caso de la inteligencia artificial, “esto significa separar el modelo del entorno que coordina su trabajo, así como del espacio de acción que define lo que puede hacer”. Desde ese punto de vista hay que externalizar los controles y las medidas de seguridad para que no dependan de los mismos equipos que la han desarrollado.
Nadella enumera varios principios sobre cómo deberían poder ser observados los modelos de IA. En primer lugar, tiene que haber diversidad. No debería utilizarse el mismo para resultados importantes ni ser el “responsable de verificar su propio trabajo”. En segundo lugar, Nadella cree que “cada acción significativa del modelo debe dejar pruebas legibles para el ser humano e inviolables”.
El directivo estima además que las organizaciones deben poder determinar de forma independiente “a qué puede acceder un modelo y qué acciones puede realizar”. La validación de un modelo de IA debe ser independiente también del modelo que la está validando.
“Una persona autorizada siempre debería poder pausar o apagar un modelo en mitad de una tarea”
La posibilidad de activar el freno debe partir, para Nadella, “de la base de que un modelo está comprometido y contenerlo desde el principio”. “Piensa en ello como un freno de emergencia –indica–. Una persona autorizada siempre debería poder pausar o apagar un modelo en mitad de una tarea”.
Lee también
Sin humanos al mando
Francesc Bracero
Amenaza general
Francesc Bracero
Por último, exige divulgar los incidentes en todos los detalles para que todo el sector pueda evitar que se repitan. “l sistema de superinteligencia más fiable no será aquel cuyo modelo nos inspire mayor confianza. Será aquel que nos permita confiar lo menos posible en el modelo”, termina Nadella.
Microsoft anunció ayer su modelo Decision-1, basado en Qwen de Alibaba que toma de decisiones estructuradas, lo que reduce su coste y es 35 veces más rápido que GPT-6 Sol de OpenAI. La compañía fabricará el año próximo un millón de chips propios Maia 300 para sus centros de IA.
Francesc Bracero
Licenciado en Periodismo por la UAB. Redactor de La Vanguardia desde 1996. Ha cubierto las áreas de Política, Deportes y Comunicación. Especializado en tecnología. Autor del libro ‘Bicicletas para la mente’ (Península)
Etiquetas
Mostrar comentarios
Fonte: Portada
