Un estudio de la Electronic Frontier Foundation (EFF) ha planteado serias inquietudes sobre la reciente implementación del Draft One de Axon Enterprise, un producto de inteligencia artificial generativa que redacta informes policiales basándose en audio de las cámaras corporales de los oficiales. La investigación sugiere que este sistema ha sido diseñado intencionadamente para eludir auditorías que podrían ofrecer una rendición de cuentas efectiva al público.
La revisión de documentos públicos de agencias policiales que ya utilizan la tecnología reveló que es frecuente que no se pueda determinar qué partes de un informe fueron generadas por IA y cuáles fueron escritas por un agente. La falta de claridad sobre estas distinciones es preocupante, ya que podría impedir la evaluación de la efectividad y los riesgos asociados a esta tecnología.
El Draft One, que utiliza una variante de ChatGPT, tiene la función de procesar solo el diálogo hablado registrado en las cámaras, lo que lleva a cuestionamientos sobre la precisión y contexto de la información redactada. Los agentes deben revisar y editar el texto generado, aunque en última instancia, el borrador original no se guarda, lo que dificulta cualquier tipo de auditoría o revisión independiente.
La falta de transparencia ha sido subrayada por un comentario de un administrador del Departamento de Policía de Frederick, Colorado, quien expresó: «Nos encanta tener juguetes nuevos hasta que el público se entera». Esta cultura de secreto puede ser problemática, ya que cualquier sesgo, error o falsedad en los informes podría no atribuirse efectiva o fácilmente a la IA o al agente.
También es alarmante que Axon no mantenga registros de las versiones originales creadas por la IA, lo que complica aún más cualquier esfuerzo por auditar el uso del sistema. Esto plantea preguntas sobre la responsabilidad en caso de errores o malas interpretaciones dentro de los informes.
A nivel legislativo, el estado de California está considerando un proyecto de ley que exigiría la divulgación de informes generados parcial o totalmente por inteligencia artificial. Sin embargo, dado que el Draft One no guarda las versiones iniciales de los informes, no podría cumplir con este requerimiento.
Por su parte, varios fiscales, incluidos los del Condado de King en Washington, han aconsejado enérgicamente que este tipo de tecnología no se utilice, expresando que la confiabilidad de los informes generados por IA aún no está garantizada.
La EFF ha hecho un llamado a todos aquellos con influencia sobre los departamentos policiales para que sean conscientes de los posibles daños y desafíos que esta tecnología podría introducir en un sistema de justicia ya cuestionado por su falta de transparencia y equidad. En conclusión, la implementación del Draft One plantea dudas fundamentales sobre la naturaleza de los informes policiales y la rendición de cuentas en la aplicación de la ley.
Fuente: EFF.org
