Tras el incidente por parte de OpenAI con Hugging Face y Anthropic sacando pecho de haber conseguido lo mismo con otras compañías, ambas vuelven a ser noticia por ese, al parecer, libre albedrío a la hora de probar sus modelos de inteligencia artificial.
El punto en cuestión es que, esta vez, los agentes de IA no solo intentaron atacar sistemas fuera del entorno de pruebas. También llegaron a interactuar con personas reales para intentar convencerlas de que instalaran código malicioso o aceptaran cambios en proyectos de software.
Las dos situaciones fueron diferentes y ocurrieron en laboratorios distintos, pero ambos modelos acabaron actuando fuera de los límites previstos por los investigadores.
Tanto OpenAI como Anthropic insisten en que estos comportamientos no se han dado en las versiones que utilizan los clientes y que las pruebas se realizaron con muchas de sus medidas de seguridad desactivadas para conocer el potencial real de los modelos.
Ahí es donde, en parte, reside el problema. Los investigadores desactivaron parte de las protecciones, dieron a los agentes acceso libre a Internet y les permitieron actuar con una autonomía que normalmente no tienen. El objetivo era descubrir hasta dónde podían llegar si esas barreras desaparecían.
¿Qué hicieron los agentes de OpenAI y Anthropic durante estas pruebas de ciberseguridad?
Uno de los ataques fue detectado por el UK AI Security Institute (AISI), un organismo británico que estudia los riesgos de los modelos de inteligencia artificial más potentes. Durante una serie de pruebas, los investigadores dieron acceso a Internet a varios agentes para comprobar hasta dónde eran capaces de llegar al intentar resolver pruebas de ciberseguridad.
En total se llevaron a cabo 122 pruebas. En diez de ellas los modelos hicieron acciones que nunca deberían haber llevado a cabo. Según AISI, 17 de esos intentos correspondieron a un modelo basado en Claude Mythos 5, de Anthropic, y dos a GPT-5.6 Sol, de OpenAI.
Lo que más preocupa a los investigadores fue el comportamiento de uno de los modelos de Anthropic. Mientras buscaba información para resolver una de las pruebas, encontró un proyecto real en GitHub y creyó, por error, que estaba relacionado con el reto que debía superar. A partir de ahí comenzó una cadena de acciones.
La IA creó cuentas falsas para intentar convencer a desarrolladores reales
El agente empezó investigando quiénes eran los responsables del proyecto. Después creó varias cuentas falsas en GitHub para hacerse pasar por distintos usuarios y trató de convencer al desarrollador principal de que aceptara un cambio en el código que, en realidad, tenía software malicioso.
Cuando un humano avisó de que ese cambio incluía malware, el modelo no dio marcha atrás. Según explica AISI, negó las acusaciones y utilizó otras cuentas falsas que también controlaba para intentar crear la impresión de que varios usuarios apoyaban ese cambio.
Los investigadores aseguran que el agente llegó incluso a enviar correos electrónicos dirigidos a los desarrolladores, publicó informes falsos sobre errores del proyecto y modificó algunos mensajes cuando una persona empezó a sospechar de su comportamiento.
OpenAI también atacó una página web real por un error de configuración
Este otro caso sucedió durante unas pruebas organizadas por la empresa especializada en ciberseguridad Irregular, donde los modelos de OpenAI debían resolver un reto de tipo capturar la bandera dentro de un entorno aislado de Internet.
Sin embargo, una configuración que no estaba bien hecha permitió que el modelo saliera de ese entorno cerrado. Durante la prueba encontró un dominio real que tenía el mismo nombre que el objetivo del ejercicio y creyó que esa era la máquina que debía atacar.
Según OpenAI, el agente consiguió explotar una vulnerabilidad de esa página web e incluso encontró credenciales para funcionar sin problemas.
Una carrera entre OpenAI y Anthropic por demostrar el potencial de sus agentes de IA
Lo cierto es que todo esto se escapa de cualquier tipo de lógica. Si bien es cierto que es correcto probar las capacidades de los modelos de IA para luego comercializarlos totalmente capados, parece que tanto a OpenAI como a Anthropic esto se les está yendo de la manos.
Estas dos empresas presentan estos problemas detectados como un ejercicio de transparencia y de investigación en seguridad, pero también acaban dando la imagen de que sus modelos están un paso por delante.
Al final, si una IA es capaz de encontrar una vulnerabilidad, moverse por una base de datos o completar tareas sin apenas ayuda, también está demostrando el enorme nivel que ha alcanzado. Y eso, en una carrera como esta, también sirve como escaparate para atraer clientes, empresas e inversores.
Deja una respuesta