Un rapport récent d’Amnesty International tire la sonnette d’alarme sur l’utilisation d’algorithmes pour détecter les fraudes aux aides sociales au Danemark. Selon l’ONG, ce système de surveillance de masse risquerait de cibler et discriminer les personnes les plus fragiles qu’il est pourtant censé protéger. Une dérive inquiétante qui soulève de nombreuses questions éthiques sur l’usage de l’intelligence artificielle dans le domaine social.
Des algorithmes nourris de données personnelles sensibles
Pour mener son enquête, Amnesty International a pu analyser en détail quatre des 60 algorithmes utilisés depuis plus de 10 ans par l’agence gouvernementale danoise Udbetalning Danmark, chargée du versement des prestations sociales. Ces algorithmes sont générés à partir d’une multitude de données personnelles issues des bases de données publiques danoises, comme l’autorise la législation du pays.
Parmi ces informations figurent le lieu de résidence, les déplacements, la citoyenneté, le lieu de naissance, les relations familiales ou encore les revenus des bénéficiaires d’aides. Autant de données sensibles qui, selon Amnesty, pourraient également servir d’indicateurs sur la race, l’origine ethnique ou l’orientation sexuelle des personnes.
Le “modèle étranger”, un algorithme fondé sur la nationalité
L’un des algorithmes épinglés, baptisé le “modèle étranger”, se base notamment sur la nationalité des allocataires pour déterminer s’ils ont déménagé à l’étranger sans le signaler, tout en continuant de percevoir des aides. Une pratique qui “viole directement le droit à la non-discrimination” d’après David Nolan, co-auteur du rapport, puisqu’elle utilise le critère de citoyenneté.
Et ce modèle semble particulièrement peu fiable. Toujours selon le rapport d’Amnesty, 90% des dossiers ouverts suite aux résultats de cet algorithme ne révèlent finalement aucune fraude. Un taux d’erreur considérable qui montre les limites et les dangers d’un tel outil de contrôle.
Vers une exclusion des populations marginalisées ?
Au-delà des erreurs de ciblage, les algorithmes utilisés par le Danemark pourraient aussi avoir un effet discriminatoire envers certains groupes de population plus vulnérables, comme les personnes âgées ou les étrangers. En se basant sur des données biaisées ou non représentatives, le système risque de marginaliser encore davantage ces catégories déjà fragiles.
Cette surveillance de masse a créé un système de prestations sociales qui risque de cibler, plutôt que de soutenir, les personnes qu’il est censé protéger.
Hellen Mukiri-Smith, chercheuse en IA et co-auteure du rapport d’Amnesty
Quelles solutions pour un usage plus éthique des algorithmes ?
Face à ces dérives, Amnesty International appelle les autorités danoises à plus de transparence et à permettre des audits externes et indépendants de leurs algorithmes. L’ONG recommande aussi une plus grande prudence dans l’intégration de données personnelles sensibles pour déterminer les risques de fraude.
- Interdire l’utilisation de données relatives à la citoyenneté ou la nationalité dans les algorithmes
- Évaluer les biais potentiels des jeux de données utilisées pour entraîner les IA
- Mettre en place un contrôle humain des décisions prises par les algorithmes
- Permettre aux personnes ciblées de contester les décisions et d’accéder à leurs données
Au-delà du Danemark, l’usage de l’intelligence artificielle par les systèmes de protection sociale suscite de vives critiques dans de nombreux pays occidentaux. En France par exemple, des associations ont récemment contesté en justice un algorithme utilisé par la CAF pour détecter les versements indus.
Si les algorithmes peuvent être un outil utile de lutte contre la fraude, ils ne doivent pas se transformer en système de surveillance généralisée des plus précaires. Faute de garde-fous, le remède pourrait s’avérer pire que le mal, en stigmatisant des populations entières sur la base de leurs données personnelles. Un enjeu crucial à l’heure où l’IA s’immisce de plus en plus dans notre quotidien et nos interactions avec l’État.
