Apenas estamos en la primera generación de la inteligencia artificial generativa, pero administraciones, empresas y fuerzas del orden ya la usan para tareas críticas, como si la IA fuese una herramienta contrastada. No lo es, porque alucina cada dos por tres. Una IA aficionada a Disney creó una informe para una comisaría de Utah, en donde aseguraba que un policía se había convertido en rana. Lo preocupante es cuando falla en cosas difíciles de detectar.
Agentes de la ley de todo el mundo ya han integrado la IA en sus tareas diarias, principalmente para redactar informes, que es bastante tedioso y quita mucho tiempo.
La policía de Heber, una pequeña población del estado de Utah de unos 20.000 habitantes, emplea un software llamado Draft One con una IA para redactar informes utilizando la body cam (cámara corporal) que llevan todos los policías en Estados Unidos.
La IA que vio a un policía convertirse en rana
Draft One reconoce las imágenes que el agente graba en la cámara que lleva en el pecho. Cuando termina su ronda, la IA redacta un informe examinando la grabación. Describe lo que ve en el vídeo y añade la hora y los minutos. Es capaz de detectar emociones y tonos de voz. Después el agente repasa el informe, para comprobar que se corresponde con lo que él ha visto.
A principios de diciembre, el sargento Keel estaba leyendo uno de estos informes, y se quedó con la boca abierta: según la IA, cuando entró en una casa tras una denuncia… el agente de policía se transformó en rana.
¿Cómo podía haber llegado la IA a esta conclusión? ¿Era una alucinación? Decidió revisar la grabación de la cámara, y descubrió lo que había pasado. En el salón de la casa, estaban viendo la película de Disney Tiana y el sapo, en donde un príncipe se transforma en este anfibio.
De alguna manera, la IA confundió la imagen de la tele con la realidad, y concluyó que el policía se había transformado en rana.
Pese al grave error, la policía de Utah ha dicho que van a seguir usando Draft One, porque les ahorra muchas horas de trabajo. El sargento Keel asegura que pasa 1 o 2 horas al día redactando informes, y con la IA ahorra entre 6 y 7 horas a la semana, que puede dedicar a patrullar. Este software cuesta 30 dólares al mes por agente.
También recalca que el sistema no ha fallado, ya que todos los informes son revisados por un agente antes de archivarlos, y así fue como se descubrió este fallo de la IA.
Una IA con sesgos y alucinaciones, no es de fiar
El problema para mucha gente, no son estos fallos absurdos, que se detectan rápido, sino los sutiles, que son difíciles de ver.
Se sabe que todas las IA tienen sesgos, criminalizando a ciertas razas, edades y géneros más que a otros. Y aunque un agente revisa el informe, se corre el riesgo de que acabe fiándose de la IA, solo eche un vistazo rápido, y pase por alto cambios que conviertan a un inocente en culpable, o al revés.
La IA que convirtió a un policía en rana es solo una anécdota, como la pizza con pegamento de la IA de Google. Lo preocupante es que se confíen tareas críticas a lo que es una IA de primera generación que aún comete muchos fallos.
Deja una respuesta