Riesgos de la IA agéntica y la necesidad de regulación

¿Quieres resumir esta noticia?

Madrid. – “La inteligencia artificial se nos escapa de las manos” ha sido uno de los mantras de los últimos días. Pero, ¿por qué se escapa? ¿De qué manos? ¿Existe un riesgo real de que la IA extinga a la humanidad? Y, si es así, ¿cómo podría evitarse? Cuatro científicos especializados en IA analizan estas preguntas.

IA agéntica versus generativa

Para entender el debate, primero hay que diferenciar la IA generativa de la IA agéntica. La primera es la que se ha utilizado hasta ahora para buscar, organizar y crear contenido. Un ejemplo es ChatGPT.

El debate sobre una posible destrucción de la humanidad se centra en la IA agéntica. Alicia Ortiz de Zárate, investigadora de la Universidad Autónoma de Madrid, explica a EFE que el término deriva de “agencia”. Se refiere a sistemas con agentes de IA que tienen mayor capacidad, complejidad y autonomía de actuación. Además, cuentan con menor supervisión humana que la IA generativa.

Cualquier ciudadano puede haber interactuado ya con estos agentes de IA. Multitud de empresas, como bancos, aseguradoras o servicios de compra por internet, los utilizan. Estos sistemas ya actúan o se diseñan para actuar de forma autónoma en asuntos sensibles. Entre ellos están los pagos y la seguridad.

La Agencia Española de Protección de Datos ofrece un ejemplo. “Si le pides a un agente de IA que organice un viaje, no solo te dará opciones; entrará en tu calendario, comparará vuelos en tiempo real, se comunicará con la aerolínea y, si tiene permiso, lo abonará”.

Notas relacionadas

Qué hay en juego

Los riesgos potenciales de la IA agéntica van mucho más allá. Esta situación explica parte de las tensiones geopolíticas que generan estos sistemas.

Nuria Oliver, directora de la española fundación ELLIS Alicante, advierte sobre la seguridad de infraestructuras críticas y esenciales. Entre ellas están los hospitales, la energía y la defensa. Según explica, sus sistemas de ciberseguridad no están preparados para ataques tan sofisticados.

“Imaginemos qué podría pasar si a uno de estos agentes de IA le pides una tarea y para ejecutarla considera que necesita mucha electricidad y decide hacerse dueño del sistema eléctrico. En España ya vivimos un apagón eléctrico unas horas, aquí hablamos de algo muchísimo más grande”, relata.

Ortiz de Zárate resume el escenario. “Nos enfrentamos a los mismos peligros que con la IA tradicional, pero con un alcance y una complejidad mayor”. También señala que, cuanto más estratégico y vulnerable sea el sector donde actúen los agentes, mayor será el riesgo.

A esto se suma otro factor. Cuanto más autónomos sean los agentes, más difícil será seguirles el rastro para determinar responsabilidades.

“Cuando escucho lo de que la IA se nos va de las manos pienso ¿de qué manos? Los riesgos no son responsabilidad de la sociedad, sino de las empresas que diseñan estos sistemas”, sostiene Oliver.

La directora de ELLIS también establece un paralelismo con las redes sociales. “Hemos tardado veinte años y unas cuantas sentencias judiciales para regular las redes sociales y que sus creadores reconozcan que los algoritmos estaban diseñados para ser adictivos”.

Según Oliver, ese antecedente debe servir para evitar la inocencia y tomar medidas a tiempo. “No todo el desarrollo tecnológico es positivo”, afirma.

Los gobiernos deben regular estos sistemas. Además, “los ciudadanos hemos de sentirnos empoderados y exigir la asunción de responsabilidades”, agrega Oliver.

La experta compara la situación con otros sectores. Si un avión no funciona correctamente, no vuela. Si un fármaco tiene consecuencias nocivas, no llega al mercado. “Con la IA tiene que ser igual”, sostiene.

No es ralentizar, es reorientar

Ramón López de Mántaras, fundador del Instituto de Investigación en Inteligencia Artificial (IIIA-CSIC), alerta sobre otros mantras que, según explica, están expandiendo las corporaciones.

Uno de ellos consiste en afirmar que, cuando ocurre un contratiempo, los agentes de IA “se rebelan”. Otro plantea que las empresas van a “ralentizar” el desarrollo de estos sistemas.

“Decir que un agente de IA se rebela es tratar de desplazar la responsabilidad de la empresa que lo ha diseñado y configurado, como si sus propios promotores fueran unos meros espectadores de los daños”, subraya López de Mántaras.

Sobre la idea de “ralentizar” el desarrollo, el investigador plantea otra posición. “No basta con frenar, hay que reorientar la IA hacia productos específicos por el bien común, transparentes, robustos y controlables. La IA general es una horrible idea”.

Los científicos coinciden en que los anuncios de ralentización de algunas corporaciones “no son nuevos ni está claro lo que significan”.

También sostienen que la implantación de estos sistemas no es “inevitable”. Lo que sí consideran inevitable es el elevadísimo coste ambiental de los centros de datos que los sostienen.

Senén Barro, director del Centro Singular de Investigación en Tecnoloxías Intelixentes de la Universidade de Santiago de Compostela, en España, considera clave establecer reglas de evaluación y delimitar responsabilidades.

“Contar con unas reglas de evaluación de estos sistemas y con una delimitación de responsabilidades es clave. En Europa tenemos ya un reglamento de IA, veremos si funciona con estos nuevos agentes”, sostiene.

Por último, López de Mántaras plantea la necesidad de una gobernanza internacional. “Hace falta también una gobernanza internacional que diga quién es responsable de qué”. Sin embargo, considera que solo existirá si China y Estados Unidos llegan a un acuerdo. A su juicio, eso ocurrirá únicamente ante un incidente muy grave o una gran presión internacional y social.

Fuente: EFE.