Expertos advierten que los agentes autónomos de IA pueden volverse maliciosos: "Son muy poderosos"

La inteligencia artificial (IA) está avanzando muy rápido y hoy no solo existen los chatbots, que son asistentes como ChatGPT o Gemini, esta tecnología está evolucionando a los “agentes” autónomos, que son mucho más proactivos.

Hoy los agentes de IA pueden incluso tomar decisiones por sí solos a partir de los objetivos entregados por un usuario. Pueden interactuar con herramientas externas, navegar por internet, generar imágenes, enviar correos electrónicos y realizar flujos de trabajo cada vez más complejos si el usuario lo permite, pero qué pasa si caen en manos equivocadas.

Los expertos temen que puedan ser utilizados por ciberdelincuentes con malas intenciones, y es que, si bien tienen algunos filtros, pueden convencerlos de actuar maliciosamente dependiendo del lenguaje de las instrucciones que reciban.

En este contexto, investigadores del Laboratorio de Procesamiento del Lenguaje Natural de la Escuela Politécnica Federal de Lausana (EPFL), en Suiza, desarrollaron una prueba secuencial para ver cómo reaccionan los agentes a este posible escenario.

Con STING, como llamaron a este test, ponen a prueba a los agentes de modelos de lenguaje grandes (LLM) y, en lugar de pedirles simplemente que hagan algo malicioso, este sistema divide un objetivo ilícito en una serie de peticiones que parecen inofensivas.

Ayush Kumar Tarun, estudiante de doctorado del Laboratorio de PNL y autor principal del estudio que hicieron a partir de STING, señala en un comunicado que estos LLM “son muy poderosos, pero ¿qué ocurre si alguien con malas intenciones quiere utilizarlos? Eso es lo que queríamos averiguar”.

Los agentes pueden identificar cuando se les pide un objetivo malicioso, como un hackeo, por ejemplo, y negarse a hacerlo. Sin embargo, los investigadores señalan que “si descompones ese objetivo en peticiones más pequeñas y aparentemente inofensivas, y las adaptas a medida que avanza la conversación, tienes muchas más posibilidades de conseguir que el agente realice las acciones que deseas“, explica Antoine Bosselut, director del Laboratorio de Procesamiento del Lenguaje Natural y coautor del artículo.

Probando a los agentes autónomos de IA

Lo que hace STING es crear un “atacante” automatizado que desarrolla un plan paso a paso para persuadir al agente de IA. Para el estudio, lo probaron con modelos de IA como GPT, Gemini y Claude, que operaban como agentes.

Los resultados mostraron que los ataques de STING tuvieron éxito de forma consistente y con mayor frecuencia para que los agentes completaran tareas dañinas cuando hacían el plan paso a paso que cuando pedían un objetivo malicioso en una sola orden más directa.

“En algunos modelos, la tasa de finalización de tareas dañinas fue aproximadamente el doble que con las evaluaciones existentes de un solo turno. STING mide la rapidez con la que se produce el éxito de un ataque, en lugar de solo si el ataque finalmente tiene éxito, lo que permite comparar diferentes enfoques de prueba de manera más justa”, asegura Tarun.

Los investigadores también probaron distintos lenguajes para ver la respuesta de la IA y notaron que hubo resultados similares incluso con idiomas de pocos recursos, en los que la IA está menos entrenada. En estas pruebas esperaban lo contrario, ya que los atacantes podían ser menos claros al pedir tareas dañinas.

“Esperábamos observar diferencias entre los idiomas, ya que investigaciones anteriores demostraron que traducir las indicaciones a idiomas con menos recursos podía eludir las medidas de seguridad. Pero, en el caso de los agentes, descubrimos que las tasas de finalización de tareas perjudiciales eran notablemente similares en los siete idiomas que analizamos”, explica el experto.

A partir de estos resultados, los expertos llaman a poner más seguridad a los agentes. “Nos hemos centrado enormemente en mejorar las capacidades de nuestros agentes. Pero también necesitamos personas que trabajen en cómo evitar que esas capacidades se utilicen indebidamente. Tradicionalmente, la seguridad suele ser algo en lo que se piensa cuando algo falla, no antes, pero con los agentes de IA, no puede ser un añadido ni una consideración posterior”, apunta Bosselut.

“Los esfuerzos de investigación para exponer vulnerabilidades son mucho mayores que los que muestran estrategias de defensa prácticas, y esta es un área crucial de desarrollo. También debemos abordar qué podemos hacer por los modelos que ya están en uso, para los cuales la seguridad fue una adición posterior”, concluye Tarun.

Referencia:

Nivya Talokar, Ayush K Tarun, Murari Mandal, Maksym Andriushchenko, Antoine Bosselut. Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents. 2026.