La loi européenne sur l’IA doit protéger les personnes en migration

La loi sur l’intelligence artificielle de l’Union européenne (loi sur l’IA) réglementera le développement et l’utilisation de l’IA "à haut risque" et vise à promouvoir l’adoption d’une "IA digne de confiance" tout en protégeant les droits des personnes affectées par les systèmes d’IA.

Cependant, dans sa proposition initiale, la loi de l’UE sur l’IA ne traite pas et ne prévient pas de manière adéquate les problèmes résultant de l’utilisation de l’IA dans le contexte de la migration. Alors que les États et les institutions promeuvent souvent l’IA en termes d’avantages pour la société au sens large, pour les communautés marginalisées, et en particulier pour les populations migrantes, les technologies d’IA s’intègrent dans des systèmes plus larges de sur-surveillance, de criminalisation, de discrimination structurelle et de violence.

Il est essentiel que la loi de l’UE sur l’IA protège toutes les personnes contre les utilisations nocives des systèmes d’IA, y compris les personnes migrantes. Nous, les organisations et personnes soussignées, appelons le Parlement européen, la Commission européenne, le Conseil de l’Union européenne et les États membres de l’UE à garantir que la loi sur l’intelligence artificielle de l’UE protège les droits de toutes les personnes, quel que soit leur statut migratoire. Nous recommandons les modifications suivantes à la loi sur l’IA :

1. Interdire les utilisations inacceptables des systèmes d’IA dans le cadre de la migration

Certains systèmes d’IA présentent un "risque inacceptable" pour nos droits fondamentaux, qui ne sera jamais corrigé par des moyens techniques ou des garanties procédurales. Bien que la loi proposée sur l’IA interdise certaines utilisations de l’IA, elle n’empêche pas certaines des utilisations les plus nocives de l’IA dans les migrations et le contrôle des frontières, malgré le potentiel de dommages irréversibles.

La loi sur l’IA doit être modifiée pour inclure les éléments suivants en tant que « pratiques interdites » :

• Systèmes d’analyse prédictive lorsqu’ils sont utilisés pour interdire, réduire et empêcher la migration. Ces systèmes génèrent des prédictions sur les endroits où il existe un risque de « migration irrégulière » et sont potentiellement utilisés pour faciliter les réponses préventives visant à interdire ou à arrêter les mouvements, souvent menées par des pays tiers enrôlés comme gardiens des frontières de l’Europe. Ces systèmes risquent d’être utilisés pour des politiques de contrôle aux frontières punitives et abusives qui empêchent les personnes de demander l’asile, les exposent à un risque de refoulement, violent leurs droits à la libre circulation et présentent des risques pour le droit à la vie, à la liberté et à la sécurité de la personne.

• Évaluations automatisées des risques et systèmes de profilage. Ces systèmes impliquent l’utilisation de l’IA pour évaluer si les personnes en migration présentent un « risque » d’activité illégale ou des menaces à la sécurité. De tels systèmes sont intrinsèquement discriminatoires, préjugeant les personnes sur la base de facteurs échappant à leur contrôle ou sur des inférences discriminatoires basées sur leurs caractéristiques personnelles. De telles pratiques violent donc le droit à l’égalité et à la non-discrimination, la présomption d’innocence et la dignité humaine. Elles peuvent également conduire à des atteintes injustes aux droits au travail, à la liberté (par la détention illégale), à un procès équitable, à la protection sociale ou à la santé.

• Systèmes de reconnaissance des émotions et de catégorisation biométrique. Des systèmes tels que les « détecteurs de mensonges » de l’IA sont une technologie pseudo-scientifique prétendant déduire des émotions sur la base de données biométriques, tandis que l’analyse comportementale est utilisée pour détecter les individus « suspects » sur la base de leur apparence. Leur utilisation renforce un processus de suspicion raciale envers les personnes en migration et peut automatiser des présupposés discriminatoires.

• Identification biométrique à distance (RBI) aux frontières et dans et autour des centres de détention. Une interdiction de l’identification biométrique à distance (telle que l’utilisation de la reconnaissance faciale) est nécessaire pour empêcher le scénario dystopique dans lequel les technologies sont utilisées pour scanner les zones frontalières à des fins de dissuasion et dans le cadre d’un régime d’interdiction plus large, empêchant les personnes de demander l’asile et portant atteinte aux obligations des États membres en vertu du droit international, en particulier le respect du droit au non-refoulement.

2. Étendre la liste des systèmes à haut risque utilisés dans la migration

Bien que la proposition énumère déjà à l’annexe III les utilisations des systèmes d’IA « à haut risque » dans le contrôle des migrations et des frontières, elle ne prend pas en compte tous les systèmes basés sur l’IA qui affectent les droits des personnes et qui devraient faire l’objet de mesures de surveillance et de transparence.

Pour s’assurer que tous les systèmes d’IA utilisés dans la migration sont réglementés, l’annexe III doit être modifiée pour inclure les éléments suivants comme "à haut risque " :

• Systèmes d’identification biométrique. Les systèmes d’identification biométrique (tels que les lecteurs d’empreintes digitales mobiles) sont de plus en plus utilisés pour effectuer des contrôles d’identité, tant aux frontières de l’UE qu’à l’intérieur de celles-ci. Ces systèmes facilitent et augmentent la pratique illégale et préjudiciable du profilage racial, la race, l’origine ethnique ou la couleur de la peau servant d’indicateur du statut migratoire d’un individu . En raison des graves risques de discrimination qui accompagnent l’utilisation de ces systèmes, les législateurs doivent s’assurer que la loi européenne sur l’IA réglemente leur utilisation.

• Systèmes d’IA pour le contrôle et la surveillance des frontières. En l’absence de voies sûres et régulières vers le territoire de l’UE, les personnes traverseront les frontières européennes par des moyens irréguliers. Les autorités utilisent de plus en plus les systèmes d’IA pour une surveillance généralisée et aveugle aux frontières, comme les drones à balayage ou les caméras thermiques. L’utilisation de ces technologies peut exacerber la violence aux frontières et faciliter les expulsions collectives ou les refoulements illégaux. Compte tenu des risques élevés et des injustices structurelles plus larges, les législateurs devraient inclure tous les systèmes d’IA utilisés pour la surveillance des frontières dans le champ d’application de la loi sur l’IA.

• Systèmes d’analyse prédictive utilisés dans les domaines de la migration, de l’asile et du contrôle des frontières. Les systèmes utilisés pour générer des prévisions sur les flux migratoires peuvent avoir de vastes conséquences sur les droits fondamentaux et l’accès aux procédures de protection internationale. Souvent, ces systèmes influencent la manière dont les ressources sont évaluées et allouées dans les contextes de contrôle des migrations et de protection internationale. Des évaluations incorrectes des tendances migratoires et des besoins d’accueil auront des conséquences importantes sur la préparation des États membres, mais aussi sur la probabilité que les individus puissent accéder à la protection internationale et à de nombreux autres droits fondamentaux. En tant que tels, les systèmes prédictifs doivent être considérés comme « à haut risque » lorsqu’ils sont déployés dans le contexte de la migration.

3. Veiller à ce que la loi sur l’IA s’applique à tous les systèmes à haut risque en matière de migration, y compris ceux utilisés dans le cadre des systèmes informatiques de l’UE

L’article 83 de la loi IA fixe les règles applicables aux systèmes d’IA déjà commercialisés, au moment de l’entrée en vigueur de la législation. L’article 83 comprend une exception pour les systèmes d’IA qui font partie des systèmes informatiques à grande échelle de l’UE utilisés dans le cadre de la migration, tels qu’Eurodac, le système d’information Schengen et ETIAS. Tous ces systèmes informatiques à grande échelle - qui prévoient une capacité de plus de 300 millions d’enregistrements - impliquent le traitement automatisé de données personnelles et sensibles, des systèmes automatisés d’évaluation des risques ou l’utilisation de technologies d’identification biométrique. Par exemple, l’UE prévoit de soumettre tous les demandeurs de visa et d’« autorisation de voyage » à des technologies automatisées de profilage des risques au cours des prochaines années. En outre, les institutions de l’UE envisagent actuellement une mise à jour d’ Eurodac pour inclure le traitement des images faciales dans les bases de données des demandeurs d’asile.

L’exclusion de ces bases de données signifierait que les garanties de la loi européenne sur l’IA ne s’appliqueraient pas. Cette exemption générale ne servira qu’à réduire la responsabilité, la transparence et la surveillance des systèmes d’IA utilisés dans le contrôle des migrations de l’UE, et à réduire la protection des personnes touchées par les systèmes d’IA dans le cadre de l’UE à grande échelle de l’UE Systèmes informatiques. En raison de l’exemption de l’examen réglementaire de ces systèmes, la loi européenne sur l’IA conduirait à un double standard en matière de protection des droits fondamentaux des personnes, en fonction de leur statut migratoire.

La loi européenne sur l’IA devrait être modifiée pour garantir que l’art. 83 applique les mêmes règles de conformité pour tous les systèmes à haut risque et protège les droits fondamentaux de toute personne, quel que soit son statut migratoire.

4. S’assurer que les mesures de transparence et de surveillance s’appliquent

Les personnes affectées par des systèmes d’IA à haut risque doivent être en mesure de comprendre, de contester et de chercher des recours lorsque ces systèmes violent leurs droits. Dans le contexte de la migration, cette exigence est à la fois urgente et nécessaire compte tenu du déséquilibre de pouvoir écrasant entre ceux qui déploient des systèmes d’IA et ceux qui y sont soumis.

La loi de l’UE sur l’IA doit empêcher les dommages causés par les systèmes d’IA utilisés dans le contrôle des migrations et des frontières, garantir la transparence publique et donner aux citoyens les moyens de demander justice. La loi européenne sur l’IA doit être modifiée pour :

• Inclure l’obligation pour les utilisateurs de systèmes d’IA à haut risque de réaliser et de publier une évaluation d’impact sur les droits fondamentaux (FRIA) avant de déployer tout système d’IA à haut risque, ainsi que pendant son cycle de vie.

• Garantir l’obligation pour les autorités d’enregistrer l’utilisation à haut risque - et toutes les utilisations publiques - de l’IA pour la gestion des migrations, de l’asile et des frontières dans la base de données de l’UE. La transparence publique est essentielle pour un contrôle efficace, en particulier dans les domaines migratoires à haut risque où un certain nombre de droits fondamentaux sont en jeu. Il est crucial que la loi sur l’IA ne permette pas d’exclure les mesures de transparence dans l’application de la loi et la migration.

• Inclure les droits et les mécanismes de recours pour permettre aux personnes de comprendre, de demander des explications, de porter plainte et d’obtenir des recours lorsque les systèmes d’IA violent leurs droits. La loi sur l’IA doit fournir des moyens efficaces aux personnes concernées, ou aux organisations d’intérêt public en leur nom, de contester les systèmes d’IA dans son champ d’application s’ils ne sont pas conformes ou violent les droits fondamentaux.

Rédigé par  : Access Now, European Digital Rights (EDRi), Platform for International Cooperation on Undocumented Migrants, and the Refugee Law Lab.

Voir ici la liste des signataires.