(Estamos en WhatsApp, empieza a seguirnos ahora)
La Agencia de Servicios Fronterizos de Canadá planea implementar una aplicación que utiliza tecnología de reconocimiento facial para realizar un seguimiento de las personas a las que se les ha ordenado deportar del país.
La aplicación de informes móviles utilizaría datos biométricos para confirmar la identidad de una persona y registrar sus datos de ubicación cuando use la aplicación para registrarse. Los documentos obtenidos a través del acceso a la información indican que la CBSA ha propuesto una aplicación de este tipo ya en 2021.
Un portavoz confirmó que una aplicación llamada ReportIn se lanzará este otoño.
Los expertos están señalando numerosas preocupaciones, cuestionando la validez del consentimiento del usuario y el posible secreto en torno a cómo la tecnología toma sus decisiones.
Cada año, alrededor de 2.000 personas a las que se les ha ordenado abandonar el país no se presentan, lo que significa que la CBSA «debe gastar recursos considerables en investigar, localizar y, en algunos casos, detener a estos clientes», dice un documento de 2021.
La agencia presentó una aplicación para teléfonos inteligentes como una «solución ideal».
Obtener actualizaciones periódicas a través de la aplicación sobre la «dirección residencial, el empleo, el estado familiar, entre otras cosas, de una persona permitirá a la CBSA tener información relevante que puede usarse para contactar y monitorear al cliente en busca de cualquier indicador temprano de incumplimiento», dijo.
«Además, dada la automatización, es más probable que el cliente se sienta comprometido y reconozca el nivel de visibilidad que tiene la CBSA en su caso».
Además, el documento señaló: «Si un cliente no se presenta para su remoción, la información recopilada a través de la aplicación proporcionará buenas pistas de investigación para localizar al cliente».
Una evaluación del impacto algorítmico del proyecto —aún no publicada en el sitio web del gobierno federal— dijo que la tecnología de voz biométrica que la CBSA intentó usar estaba siendo eliminada gradualmente debido a una «tecnología fallida», y desarrolló la aplicación ReportIn para reemplazarla.
Dijo que la «biometría facial y la ubicación de una persona, proporcionadas por sensores y/o el GPS en el dispositivo móvil/teléfono inteligente» se registran a través de la aplicación ReportIn y luego se envían al sistema back-end de la CBSA.
Una vez que las personas envían fotos, un «algoritmo de comparación facial» generará un puntaje de similitud con una foto de referencia.
Si el sistema no confirma una coincidencia facial, se activa un proceso para que los oficiales investiguen el caso.
«También se recopila la ubicación de las personas cada vez que se presentan y si no cumplen con sus condiciones», indicó. El documento señala que no se «rastreará constantemente» a las personas.
La aplicación utiliza tecnología de Amazon Web Services, una opción que llamó la atención de Brenda McPhail, directora de educación ejecutiva del programa de políticas públicas en la sociedad digital de la Universidad McMaster.
Dijo que si bien muchas empresas de reconocimiento facial envían sus algoritmos para pruebas al Instituto Nacional de Estándares y Tecnología de Estados Unidos, Amazon nunca lo ha hecho voluntariamente.
Un portavoz de Amazon Web Services dijo que su tecnología Amazon Rekognition está «probada exhaustivamente, incluso por terceros como Credo AI, una empresa que se especializa en IA responsable, y iBeta Quality Assurance».
El portavoz agregó que Amazon Rekognition es un «sistema basado en la nube a gran escala y, por lo tanto, no se puede descargar como se describe en la guía de participación del NIST».
«Es por eso que nuestro Rekognition Face Liveness fue enviado para pruebas según los estándares de la industria a iBeta Lab», que está acreditado por el instituto como un laboratorio de pruebas independiente, dijo el portavoz.
El documento de la CBSA dice que el algoritmo utilizado será un secreto comercial. En una situación que podría tener consecuencias que cambiarían la vida, McPhail preguntó si es «apropiado utilizar una herramienta que está protegida por secretos comerciales o secretos de propiedad y que niega a las personas el derecho a comprender cómo se toman realmente las decisiones sobre ellas».
Kristen Thomasen, profesora asociada y catedrática de derecho, robótica y sociedad en la Universidad de Windsor, dijo que la referencia a los secretos comerciales es una señal de que podría haber impedimentos legales que bloqueen la información sobre el sistema.
Durante años ha habido preocupación por el hecho de que a las personas que están sujetas a errores en los sistemas se les prohíbe legalmente obtener más información debido a las protecciones de propiedad intelectual, explicó.
La portavoz de la CBSA, Maria Ladouceur, dijo que la agencia «desarrolló esta aplicación para teléfonos inteligentes para permitir que los extranjeros y los residentes permanentes sujetos a condiciones de control de inmigración se presenten sin tener que acudir en persona a una oficina de la CBSA».
Dijo que la agencia «trabajó en estrecha consulta» con la Oficina del Comisionado de Privacidad en relación con la aplicación. «La inscripción en ReportIn será voluntaria y los usuarios deberán dar su consentimiento tanto para usar la aplicación como para que se use su imagen para verificar su identidad».
Petra Molnar, directora asociada del laboratorio de derecho de refugiados de la Universidad de York, dijo que existe un desequilibrio de poder entre la agencia que implementa la aplicación y las personas que la reciben.
«¿Puede una persona realmente dar su consentimiento en esta situación en la que hay una enorme diferencia de poder?»
Si una persona no da su consentimiento para participar, puede presentarse en persona como alternativa, dijo Ladouceur.
Thomasen también advirtió que existe un riesgo de errores con la tecnología de reconocimiento facial, y que ese riesgo es mayor para las personas racializadas y las personas de piel más oscura.
Molnar dijo que es «muy preocupante que básicamente no haya ninguna discusión sobre… los impactos sobre los derechos humanos en los documentos».
El portavoz de la CBSA dijo que Credo AI revisó el software en busca de sesgos contra grupos demográficos y encontró una tasa de coincidencia facial del 99,9 por ciento en seis grupos demográficos diferentes, y agregó que la aplicación «se probará continuamente después del lanzamiento para evaluar la precisión y el rendimiento».
La decisión final la tomará un humano, con oficiales supervisando todas las presentaciones, pero los expertos señalaron que los humanos tienden a confiar en los juicios hechos por la tecnología.
Thomasen dijo que existe una «tendencia psicológica bastante ampliamente reconocida entre las personas a confiar en la experiencia del sistema informático», donde los sistemas informáticos son percibidos como menos sesgados o más precisos.
