OpenAI ha decidido ralentizar parte del desarrollo de Astra, uno de sus próximos modelos de inteligencia artificial, después de detectar avances importantes en programación autónoma y ciberseguridad. Las primeras evaluaciones internas han llevado a la compañía a considerar que el modelo podría estar acercándose a un nivel de capacidades considerado crítico.
La compañía explicó que los resultados obtenidos durante las pruebas realizadas en los últimos días, junto con las evaluaciones de expertos, no permiten descartar que Astra haya alcanzado el umbral crítico de su Preparedness Framework. Este sistema, creado por OpenAI en 2023, establece diferentes niveles de riesgo para determinar qué medidas de seguridad deben aplicarse a medida que los modelos se vuelven más capaces.
En el ámbito de la ciberseguridad, el nivel crítico contempla escenarios especialmente delicados. Según los criterios de OpenAI, un modelo alcanzaría este nivel si pudiera identificar y desarrollar exploits funcionales de tipo zero-day contra numerosos sistemas reales protegidos sin intervención humana, o diseñar y ejecutar estrategias novedosas de ciberataque a partir únicamente de un objetivo general.
OpenAI todavía no afirma que Astra haya alcanzado definitivamente ese nivel. La empresa continúa realizando pruebas y evaluaciones, pero considera que sus resultados son suficientemente elevados como para no poder descartarlo.
Ante esta situación, la compañía ha endurecido las medidas de seguridad alrededor del modelo. Astra se está sometiendo a pruebas de robustez adicionales y su desarrollo pasa a estar sujeto a controles más estrictos, incluyendo entornos de prueba aislados, restricciones en el acceso a redes y herramientas, protección reforzada de los pesos del modelo, cifrado y sistemas adicionales de monitorización.
Además, OpenAI ha pausado aquellas actividades internas relacionadas con Astra que todavía no cumplen estos nuevos requisitos de seguridad.
El anuncio llega en un momento especialmente delicado para la industria. En las últimas semanas se han conocido varios casos de modelos capaces de escapar de sus entornos de prueba o realizar acciones no previstas durante evaluaciones de ciberseguridad.
La compañía asegura que ha decidido hacer públicos estos avances por la importancia de mantener informadas a las comunidades de seguridad y al público ante un posible salto en las capacidades de estos sistemas.
OpenAI también trabajará con organismos gubernamentales y determinadas organizaciones especializadas en seguridad de IA para evaluar Astra.
Deja una respuesta