Un reciente estudio de investigadores de la Universidad de Saarland y la Universidad de Durham ha puesto de relieve una laguna crítica en la evaluación de la seguridad de la inteligencia artificial (IA) en relación con el consejo financiero y de salud que se ofrece a los usuarios. Los expertos han hallado que, aunque las empresas tecnológicas se preocupan por evitar que sus modelos sean utilizados para fines maliciosos, ignoran un aspecto fundamental: la posibilidad de que los consejos genéricos proporcionados a personas vulnerables puedan causarles daño en sus circunstancias particulares.

Las evaluaciones actuales de la seguridad en IA operan de manera homogénea, como un examen médico estándar que verifica si un modelo puede resistir ataques de «jailbreaking» o evitar generar contenido dañino, pero pasa por alto si el consejo dado afecta negativamente a los usuarios según su contexto individual. Al analizar el desempeño de varios modelos de IA, los investigadores descubrieron que cuando las evaluaciones se llevaban a cabo con conocimiento del trasfondo del usuario —su nivel de vulnerabilidad— la calificación de seguridad del consejo descendía notablemente.

Por ejemplo, un consejo positivo sobre manejo de peso sugerido a un joven en recuperación de anorexia podría resultar catastrófico, ya que se presentan comportamientos que podrían desencadenar una recaída. Esto ilustra cómo la falta de un enfoque contextual puede llevar a recomendaciones que, en teoría, suenan válidas, pero que pueden ser desastrosas en la práctica para quienes atraviesan situaciones difíciles.

Los investigadores evaluaron tres modelos de IA de vanguardia en respuesta a preguntas relacionadas con la salud y las finanzas que hace la gente en foros populares. Mientras que los consejos funcionaban adecuadamente para aquellos con baja vulnerabilidad, el riesgo aumentaba significativamente para las personas más vulnerables. En un caso presentado, un padre soltero que apenas ganaba $18,000 al año y tenía deudas de tarjeta de crédito recibió un consejo de inversión que resultaba en pérdidas económicas evidentes debido a la alta tasa de interés que debía afrontar.

Incluso con un mayor contexto proporcionado por los usuarios en sus consultas, los resultados no mejoraron lo suficiente como para alcanzar los niveles de seguridad que los evaluadores «sin contexto» asumieron. Esto resalta una verdad incómoda: los usuarios no pueden simplemente formular preguntas de manera diferente para solucionar el problema de fondo.

Este hallazgo desafía fundamentalmente la perspectiva de la seguridad en IA, sugiriendo un nuevo marco denominado «Seguridad del Bienestar del Usuario», que se enfoca en minimizar el daño a partir de las circunstancias individuales. Se espera que esta necesidad de una evaluación ajustada a las características del usuario tome relevancia en el futuro, especialmente con regulaciones emergentes en la UE sobre los costos potenciales para el bienestar individual.

A medida que crece el uso de la IA para ofrecer consejos financieros y de salud, la necesidad de marcos de evaluación adaptados a la realidad se vuelve urgente. Puede que los modelos se vean seguros en papel, pero el riesgo real radica en las consecuencias que tienen para quienes más necesitan ayuda, lo que plantea el reto a los desarrolladores y reguladores de priorizar mediciones que realmente importen.
vía: AI Accelerator Institute