Un reciente informe ha revelado que los Servicios de Niños y Familias de Nueva York (ACS) han estado implementando en secreto una herramienta algorítmica para clasificar a las familias como «de alto riesgo». Este sistema utiliza una variedad de factores como el vecindario y la edad de la madre para colocar a estas familias bajo un escrutinio intensificado, sin la debida justificación y supervisión.
La posibilidad de que ACS se presente en la puerta de una familia genera un malestar significativo, ya que cualquier error en este proceso puede llevar a la separación de los hijos y su inclusión en el sistema de acogida. Este nivel de vigilancia sobre una familia no debería tomarse a la ligera, ni funcionar como un terreno de prueba para la toma de decisiones automatizadas por parte del gobierno.
Desarrollada internamente por la Oficina de Investigación y Análisis de ACS, esta herramienta evalúa a las familias utilizando 279 variables y somete a aquellas consideradas de mayor riesgo a un control más exhaustivo. La falta de transparencia y rendición de cuentas pone de relieve que ACS no ha aprendido de los fracasos de productos similares en el ámbito de los servicios infantiles.
El funcionamiento del algoritmo se realiza con un nivel de opacidad alarmante. Las variables utilizadas provienen únicamente de casos ocurridos en 2013 y 2014, lo que plantea interrogantes sobre la cantidad de casos analizados y la validez de los datos. Incluso se desconoce si la inclusión de información de años posteriores cambiaría las puntuaciones.
Lo que sí se ha comprobado es que las familias negras en Nueva York enfrentan investigaciones por parte de ACS a una tasa siete veces mayor que las familias blancas. Además, personal de ACS ha admitido que la agencia es generalmente más punitiva con las familias negras, una práctica que muchos padres y defensores han calificado como «predatoria». Esto sugiere que el algoritmo podría estar automatizando y amplificando esta discriminación.
Por otro lado, a pesar de la preocupante falta de transparencia, el uso de este sistema ha llevado a las familias clasificadas como «de mayor riesgo» a un escrutinio adicional, que incluye visitas a hogares y consultas con expertos externos. Sin embargo, las familias, sus abogados y hasta los trabajadores sociales desconocen cuándo y por qué se señala un caso, lo que dificulta cualquier intento de impugnar las decisiones que conducen a esta vigilancia intensificada.
La problemática del uso de herramientas algorítmicas en el sistema de servicios infantiles no es un caso aislado. Investigaciones anteriores en el condado de Allegheny en Pensilvania también encontraron resultados sesgados, donde se flagró a un 32.5% de niños negros para investigación obligatoria en comparación con el 20.8% de niños blancos, mientras que los trabajadores sociales a menudo discrepaban con las puntuaciones del algoritmo.
En este contexto, la falta de claridad en el sistema de Nueva York se asemeja a los problemas que se han observado en otros lugares. Los datos algorítmicos nunca son accesibles para las familias y sus abogados, lo que impide un desafío efectivo a decisiones que pueden tener un impacto devastador en sus vidas.
A pesar de que en otros lugares estas herramientas sesgadas han sido desafiadas exitosamente, su implementación sigue siendo una preocupación crítica. Los gobiernos no deberían utilizar estas tecnologías para decisiones que afectan derechos fundamentales. Cualquier uso de estas herramientas debe estar sujeto a un riguroso escrutinio y auditoría independiente para asegurar la confianza del público en las acciones gubernamentales.
Fuente: EFF.org
