Un reciente informe ha sacado a la luz la implementación clandestina de una herramienta algorítmica por parte de los Servicios de Niños y Familias de Nueva York (ACS) para clasificar a familias como «de alto riesgo». Este sistema utiliza varios factores, entre ellos el vecindario y la edad de la madre, con el objetivo de intensificar el escrutinio sin justificación ni supervisión adecuadas.
La posibilidad de que ACS intervenga en un hogar genera inquietud, dado que un error podría resultar en la separación de los hijos y su inserción en el sistema de acogida. Este tipo de vigilancia debería manejarse con extrema cautela y no convertirse en un experimento para la toma de decisiones automatizadas por el gobierno.
Desarrollada por la Oficina de Investigación y Análisis de ACS, esta herramienta evalúa a las familias mediante 279 variables. Las familias clasificadas como de mayor riesgo enfrentan un control más riguroso. Sin embargo, la falta de transparencia y rendición de cuentas sugiere que ACS no ha aprendido de errores pasados en productos similares en servicios infantiles.
El funcionamiento del algoritmo se caracteriza por su opacidad. Las variables utilizadas se basan en casos de 2013 y 2014, lo que plantea dudas sobre el número de casos analizados y la validez de los datos. No está claro si incluir datos más recientes afectaría los resultados.
Es un hecho que las familias negras en Nueva York son investigadas por ACS a una tasa siete veces mayor que las familias blancas. Afirmaciones de personal de ACS sugieren un enfoque más punitivo hacia estas familias, lo que muchos perciben como una práctica predatoria. Esto indica que el algoritmo podría estar reforzando esta discriminación.
Pese a la falta de transparencia, el sistema ha llevado a un escrutinio adicional para las familias identificadas como de mayor riesgo, incluyendo visitas domiciliarias y consultas con expertos. Sin embargo, ni las familias, sus abogados, ni los trabajadores sociales suelen saber cuándo y por qué se marca un caso, complicando la impugnación de decisiones que conducen a esta vigilancia intensificada.
El empleo de herramientas algorítmicas en servicios infantiles no es un fenómeno aislado. Pruebas en el condado de Allegheny, Pensilvania, también revelaron sesgos, con un mayor porcentaje de niños negros siendo investigados en comparación con sus pares blancos. Los trabajadores sociales comúnmente no estaban de acuerdo con las evaluaciones algorítmicas.
La falta de claridad en el sistema de Nueva York refleja problemas observados en otros contextos. Los datos algorítmicos se mantienen inalcanzables para las familias, lo que imposibilita desafiar eficazmente decisiones que podrían ser devastadoras.
A pesar de desafíos exitosos en otros lugares, la continua implementación de estas herramientas sesgadas sigue siendo una preocupación seria. Los gobiernos deben abordar el uso de estas tecnologías con un escrutinio riguroso y auditorías independientes para asegurar la confianza pública en las decisiones que afectan derechos fundamentales.
