David Robinson ha pasado más de tres años dentro de OpenAI viendo de cerca cómo se creaban y lanzaban algunos de sus modelos más potentes de la compañía. Entre otras cosas, participó en la creación del Preparedness Framework y supervisó los informes de seguridad de 12 lanzamientos de modelos de frontera. Ahora ha decidido marcharse.
Pero no se ha ido sin antes decir lo que realmente piensa. En un artículo publicado en The Atlantic, Robinson deja claro que la cultura de OpenAI está rota y que el problema no se soluciona solo añadiendo otra norma, otro control o una nueva ley.
Para él, hay algo más allá de todo esto y es la forma en la que estas empresas trabajan con tecnologías que crecen exponencialmente en potencia.
Todo esto llega después de varios problemas que acaba de atravesar OpenAI. Entre ellos está el caso de Hugging Face, cuando varios agentes de la compañía consiguieron salir del entorno en el que estaban siendo probados y acceder a sistemas de fuera.
Para Robinson, todo esto apunta al mismo problema. OpenAI ha confiado demasiado en probar, encontrar los fallos y arreglarlos después. Hasta ahora podía pasar desapercibido. El problema es que, cuanto más potentes son los modelos, más peligroso es esperar a que algo salga mal para solucionarlo.
¿Qué es lo que critica David Robinson de OpenAI?
Para este, el gran problema de la compañía de Sam Altman está en la seguridad, precisamente el campo en el que este ha trabajado. Pone en duda el método.
OpenAI utiliza lo que llama despliegue iterativo, es decir, dejar actuar a la IA, observar cómo se comporta en situaciones reales, detectar problemas y mejorar después los controles.
Pero Robinson cree que todo esto, ahora mismo, es una locura. Para él, si esperas a que aparezca el problema para corregirlo, tarde o temprano tendrás un fallo serio. Y las consecuencias pueden ser cada vez mayores a medida que la IA gana potencia.
Cree que las empresas de IA como esta deberían trabajar con un nivel de cuidado parecido al de sectores donde un error puede tener consecuencias enormes. Pone como ejemplos las centrales nucleares o los aeropuertos.
«En una central nuclear, los sistemas técnicos y las normas que siguen las personas están diseñados para que, si un equipo se avería o alguien pulsa el botón equivocado, no se produzca una fusión nuclear. OpenAI y otros laboratorios están desarrollando e implementando IA de vanguardia con mucha menos redundancia y rigor, a pesar de que el daño de una pérdida de control irreversible sería mucho mayor que el de cualquier fusión nuclear aislada», comenta.
Mark Chen, director de investigación de OpenAI, deja claro que no van a frenar en la carrera de la IA
La compañía, por su parte, ha reconocido que necesita cambiar la forma en la que vigila a sus modelos y ha publicado un sistema más estudiado para investigar y, sobre todo, informar de este tipo de incidentes.
«Antes no teníamos los monitores activados durante el entrenamiento. No era la práctica habitual en el sector», explica. «Ahora todo se monitoriza». Los revisores humanos pueden ver si los agentes se comportan como deberían: «Se trata de un proceso de clasificación».
«No vamos a cometer errores garrafales ni a alejarnos demasiado de la vanguardia; sería una pésima estrategia«, comenta. «Creo que se trata de establecer una norma. Cuanto más podamos establecer esa norma, más seguro será para el sector en general», añade.
Sam Altman, por otro lado, argumenta que si los modelos avanzan cada vez más rápido, las medidas para comprobar que se comportan de forma segura tienen que avanzar igual de rápido.
El CEO de OpenAI comenta que las empresas deberían usar evaluadores y compartir métodos para comprobar problemas como la pérdida de control de los modelos, los comportamientos inesperados o los intentos de saltarse las restricciones.
Esto consume tiempo y recursos. Y precisamente por eso Altman habla de pacing, que se podría traducir como avanzar a un ritmo más controlado. No significa congelar el progreso y el desarrollo. Significa aceptar que, en algunos momentos, avanzar un poco más despacio puede ser necesario para comprobar que todo está yendo como debe.
Robinson, por supuesto, no está diciendo que la IA vaya a destruir el mundo mañana. Simplemente deja claro que, si los modelos siguen este ritmo de mejora, estas empresas no pueden seguir confiando en que cada problema se descubrirá a tiempo y se podrá arreglar después.
Para él, ese modelo de trabajo puede haber servido hasta ahora. Pero cuanto más potencia tenga la IA, menos margen habrá para aprender de los errores una vez han sucedido.
Deja una respuesta