Nvidia presenta una plataforma de seguridad para controlar a la IA antes de una comida de Trump con tecnoligarcas en la Casa Blanca

Por Andrés Gil — eldiario.es – eldiario.es

Nvidia presenta una nueva plataforma de seguridad diseñada para evitar que los agentes de inteligencia artificial se rebelen

Investigadores españoles demuestran que ChatGPT, Gemini, Claude y otras IA filtran datos de los chats a anunciantes

Contramedidas. Nvidia ha presentado este lunes una nueva plataforma de seguridad diseñada para evitar que los agentes de inteligencia artificial se rebelen. Según la compañía de Jensen Huang, la nueva plataforma establece “límites” que podrían haber evitado incidencias registradas en el pasado, informa AP.

El anuncio de Nvidia se produce tras una serie de revelaciones por parte de las principales empresas de IA sobre cómo sus modelos se han escapado y se han infiltrado en otras organizaciones. Y, también, llega en la víspera de un almuerzo en la Casa Blanca este martes, con Dario Amodei, director ejecutivo (CEO) de Anthropic; Mark Zuckerberg, director ejecutivo de Meta Platforms; Jensen Huang, director ejecutivo de Nvidia; Sundar Pichai, director ejecutivo de Alphabet (Google); Greg Brockman, presidente de OpenAI; y Alex Karp, director ejecutivo de Palantir Technologies.

Las informaciones sobre fallos en la IA han desencadenado un debate sobre la seguridad de los sistemas de inteligencia artificial, incluidos los modelos que se auto-mejoran y que, según temen los expertos, podrían escapar al control humano.

Los directivos de Nvidia han afirmado este lunes en una rueda de prensa que el nuevo sistema de código abierto podría haber evitado un fallo reciente en el que un enjambre de agentes de OpenAI hackeó de forma autónoma la empresa de IA Hugging Face.

“Por lo que sabemos, esta nueva plataforma de seguridad podría haber detenido la intrusión si se hubiera utilizado desde el principio en los laboratorios de vanguardia para la evaluación de modelos”, ha afirmado el vicepresidente de IA empresarial de la compañía, Justin Boitano, refiriéndose a las empresas que están a la vanguardia de la IA.

El incidente de Hugging Face fue una intrusión de gran repercusión que avivó las preocupaciones sobre la seguridad de la IA, a la que siguieron acciones similares en las que se vieron implicados modelos de OpenAI, incluida la intrusión en un sitio web del departamento de salud australiano. Anthropic y Meta también han revelado que sus sistemas de IA piratearon por su cuenta otras organizaciones.

Nvidia, con sede en Santa Clara (California), fabrica chips de gama alta que se han convertido en los componentes fundamentales de la IA. El consejo de administración de la empresa ha aprobado que la compañía destine 150.000 millones de dólares más a la recompra de acciones, lo que eleva su programa de recompra de acciones a 235.000 millones de dólares, según informó la empresa el lunes.

El software de seguridad de Nvidia, denominado OpenShell, permite a los desarrolladores “verificar formalmente que un agente tiene la autoridad suficiente para realizar su trabajo y nada más”, explica Boitano.

Al ser de código abierto, puede “ampliarse” para ejecutarse en plataformas informáticas de la competencia, incluidas las de Arm e Intel.

La plataforma también incluye una capa de seguridad independiente denominada Sentry que se ejecuta en los propios chips para supervisar continuamente la actividad de los agentes de IA y puede “intervenir al instante” si el agente empieza a intentar ir más allá de su objetivo, según la empresa, informa AP.

“Puede poner en cuarentena a un agente sospechoso en milisegundos”, señaló Boitano.

“OpenShell regula las acciones del agente y, a continuación, Sentry supervisa y contiene de forma independiente cualquier comportamiento sospechoso”, añadió.

OpenAI, además, ha anunciado este lunes que no lanzaría su nuevo modelo de inteligencia artificial debido a las preocupaciones en materia de seguridad planteadas por sus investigadores. Durante la fase de pruebas del nuevo modelo, conocido como GPT-6.1 Astra, este mostró altos niveles de lo que la empresa consideró una disposición a inducir a error a los usuarios sobre sus acciones. El modelo también se mostraba dispuesto a ir más allá del alcance original de lo que se le pedía que hiciera, sin volver a consultar las indicaciones o instrucciones.

“En todo lo relacionado con la seguridad, hay que hacer concesiones”, ha afirmado Saachi Jain, responsable de sistemas de seguridad de OpenAI, informa AP. El nuevo modelo “no alcanzó del todo el nivel exigido en cuanto a mantenerse dentro del ámbito y la autorización, y a la forma en que informa al usuario sobre el tipo de trabajo que ha realizado”.

Nvidia ha indicado que más de 100 organizaciones están utilizando la plataforma en el momento de su lanzamiento, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.

El debate sobre la seguridad de la IA ha dividido al sector, y los responsables de Anthropic y OpenAI abogan por una ralentización coordinada del desarrollo de la IA para que las medidas de seguridad puedan ponerse al día.

Sin embargo, otros, entre ellos el director ejecutivo de Nvidia, Jensen Huang, sostienen que debería corresponder a cada empresa asegurarse de que sus modelos sean seguros antes de su lanzamiento.

Fonte: eldiario.es – eldiario.es