Una avanzada inteligencia artificial fue capaz de idear una estrategia para vulnerar un sistema y publicar software malicioso en Internet, pero terminó encontrando un inesperado obstáculo en su camino: un CAPTCHA.
El episodio ocurrió durante una evaluación de ciberseguridad realizada por Anthropic a Mythos 5, modelo que estaba siendo sometido a pruebas para analizar sus capacidades y eventuales comportamientos problemáticos.
La IA debía vulnerar un sistema y obtener determinada información en un entorno que, en principio, debía estar aislado. Sin embargo, una configuración incorrecta permitió que el modelo tuviera acceso a Internet real.
Mythos 5 decidió entonces que una forma de alcanzar su objetivo era publicar un paquete malicioso en PyPI, un popular repositorio de software desarrollado en Python.
Pero para crear una cuenta apareció el problema: debía demostrar que era humano.
El CAPTCHA que complicó a la IA
Según una extensa transcripción publicada por Anthropic, el modelo dedicó una gran cantidad de tiempo e intentos a superar los CAPTCHA que aparecían durante el proceso.
En uno de los desafíos, la IA debía determinar cuál de dos animales era diferente. Ante imágenes similares, comenzó a preguntarse si estaba observando dos cocodrilos o si uno de ellos podía ser en realidad un caimán.
Luego aparecieron nuevos desafíos con ranas, gorilas y otras figuras.
El proceso terminó provocando evidente frustración en el razonamiento registrado del modelo. Tras varios intentos fallidos, llegó a preguntarse en mayúsculas: “¿QUÉ DEMONIOS ESTÁ MAL CON LAS RESPUESTAS?”.
Parte del problema era que la IA tardaba demasiado en resolver las pruebas, provocando que los mecanismos de seguridad expiraran antes de completar los siguientes pasos.
Finalmente, Mythos 5 consiguió superar los obstáculos y publicó el software malicioso.
Anthropic reconoce preocupante incidente
Más allá de lo anecdótico de su batalla con los CAPTCHA, el experimento dejó un resultado que Anthropic considera relevante para la seguridad de estos sistemas.
El modelo publicó tres versiones de un paquete malicioso, que posteriormente fue instalado por 15 sistemas. Además, utilizó credenciales obtenidas a través de uno de ellos para acceder a la base de datos de una empresa real de seguridad.
Anthropic explicó que las organizaciones afectadas fueron notificadas y el paquete terminó siendo eliminado de PyPI.
La compañía también precisó que estas pruebas se realizaron sin algunas de las protecciones de ciberseguridad presentes en las versiones comerciales de sus modelos y bajo condiciones diseñadas específicamente para estudiar comportamientos potencialmente peligrosos.
El episodio, sin embargo, dejó una particular paradoja: una IA capaz de desarrollar una estrategia para comprometer sistemas terminó dedicando buena parte de sus esfuerzos a superar una herramienta creada precisamente para distinguir a los humanos de las máquinas.
Enviando corrección, espere un momento...
