Vers un cadre d’IA responsable pour la conception de systèmes décisionnels automatisés au MPO: une étude de cas de la détection et de l’atténuation des biais
Sommaire
Les systèmes décisionnels automatisés (SDA) sont des systèmes informatiques qui automatisent, ou aident à automatiser, une partie ou la totalité d’un processus de décisionnel de nature administrative. Actuellement, le gouvernement du Canada utilise des systèmes décisionnels automatisés commandés par des algorithmes d’apprentissage machine pour améliorer la prestation des services. L’utilisation de ces systèmes peut présenter des avantages et des risques pour les institutions fédérales, notamment Pêches et Océans Canada (MPO). Il faut veiller à ce que les systèmes décisionnels automatisés soient déployés de manière à réduire les risques pour les Canadiens et les institutions fédérales, et à ce que les décisions soient plus efficaces, exactes, cohérentes et interprétables.
Afin d’appuyer ces objectifs, le Bureau de l’intendant principal des données élabore un cadre d’éthique des données qui fournira des conseils sur le traitement éthique des données et l’utilisation responsable de l’intelligence artificielle (IA). Les documents d’orientation sur l’utilisation responsable de l’IA portent sur six grands thèmes identifiés comme étant pertinents pour les projets du MPO utilisant l’IA. Ces thèmes sont : la protection des renseignements personnels et la sécurité, la transparence, la responsabilisation, la méthodologie et la qualité des données, l’équité et l’explicabilité. Si un grand nombre de ces thèmes chevauchent fortement le domaine de l’éthique des données, le thème de l’équité couvre de nombreuses préoccupations éthiques propres à l’IA en raison de la nature des répercussions que les préjugés peuvent avoir sur les modèles d’IA.
Soutenus par le Fonds des résultats (2021 - 2022), le BIPD et GIST réalisent un prototype des systèmes décisionnels automatisés, sur la base des résultats du projet pilote d’IA. L’effort comprend la définition d’un processus interne pour détecter et atténuer les biais, lesquels sont un risque inhérent aux systèmes décisionnels automatisés basés sur l’apprentissage machine. Une étude de cas est conçue pour appliquer ce processus afin d’évaluer et d’atténuer les biais dans un modèle prédictif de détection du comportement de pêche des navires. Le processus défini dans ce travail et les résultats de l’étude sur le terrain contribueront aux documents d’orientation qui formeront éventuellement le volet Utilisation responsable de l’IA du cadre d’éthique des données.
Introduction
Contrairement aux systèmes décisionnels automatisés (SDA) traditionnels, les SDA basés sur l’apprentissage machine ne suivent pas de règles explicites rédigées par des humains [1]. Les modèles d’apprentissage machine ne sont pas intrinsèquement objectifs. Les spécialistes des données forment des modèles en leur fournissant un ensemble de données d’exemples d’entraînement, et l’implication humaine dans l’alimentation en donnée et la conservation de celles-ci peut rendre les prédictions d’un modèle susceptibles d’être biaisées. C’est pourquoi les applications des SDA basées sur l’apprentissage machine ont des incidences considérables pour la société. Cela va des nouvelles questions sur la responsabilité juridique des erreurs commises par ces systèmes au recyclage des travailleurs déplacés par ces technologies. Un cadre est nécessaire pour garantir que des décisions responsables et transparentes soient prises, en soutenant des pratiques éthiques.
IA responsable
Une étude des cadres établis en matière d’utilisation responsable de l’IA par d’autres organisations et à une inspection des cas d’utilisation de l’IA par le MPO a permis de définir un ensemble de thèmes sur l’utilisation responsable de l’IA pour un cadre du MPO :
- La confidentialité et la sécurité
- La transparence
- La responsabilisation
- La méthodologie et la qualité des données
- L’équité
- L’explicabilité
Chaque thème couvre un ensemble de lignes directrices de haut niveau définissant les objectifs fixés par le cadre. Ces lignes directrices sont appuyées par des processus concrets qui fournissent les directives précises nécessaires pour atteindre les objectifs dans la pratique. Pour appuyer les lignes directrices établies sous le thème Équité de l’utilisation responsable de l’IA, nous avons élaboré un processus de détection et d’atténuation des préjugés dans les modèles d’apprentissage automatique.
Processus de détection et d’atténuation des biais
Le processus de détection et d’atténuation des biais dépend de la définition du contexte dans lequel le biais doit être évalué. Compte tenu de l’ampleur des sources dont peuvent provenir les biais, la détermination exhaustive des sources pertinentes pour un système particulier et la quantification de leurs incidences peuvent s’avérer peu pratiques. Il est donc recommandé de considérer les biais sous l’angle des préjudices qui peuvent être induits par le système [2]. Les types courants de préjudices peuvent être représentés par des définitions mathématiques formelles de l’équité dans les systèmes de décision. Ces définitions constituent le fondement de l’évaluation quantitative de l’équité en tant qu’indicateur de biais dans les systèmes.
Les préjudices sont généralement considérés dans le contexte des taux d’erreur et/ou des taux de représentation. Dans le cas des taux d’erreur, les différences de taux de faux positifs ou négatifs entre différents groupes de personnes induisent un rendement disproportionné du système, entraînant des conséquences injustes ou des avantages réduits pour certains groupes. Les différences dans les taux de représentation, même en l’absence de différences dans les taux d’erreur, peuvent conduire à des répartitions injustes des avantages ou des pénalités entre les groupes de personnes. Les types de préjudices applicables à un système particulier dépendent fortement de l’utilisation prévue du système. La figure 3 présente un organigramme permettant de déterminer la mesure d’équité la plus pertinente pour un système.
Après avoir exposé les risques de préjudice dans le système, l’étape suivante consiste à déterminer les attributs protégés. Dans le contexte de la détection et de l’atténuation des biais, un attribut protégé fait référence à un attribut catégorique pour lequel il existe des préoccupations de biais dans les catégories d’attributs. La race et le sexe sont des exemples courants d’attributs protégés. Les attributs protégés pertinents pour l’application du système doivent être définis afin d’étudier les incidences disproportionnées dans les catégories d’attributs.
Une fois l’évaluation des préjudices potentiels et des groupes affectés effectuée, un ensemble d’outils de détection et d’atténuation des biais peut être appliqué pour tenter de remédier aux problèmes d’iniquité du système. Ce processus global peut donc être décomposé en quatre étapes :
Dans la section suivante, des détails sont fournis sur des preuves de concept (PDC) de l’un des projets pilotes d’IA utilisant le processus proposé. Grâce à cette enquête, des renseignements supplémentaires peuvent être glanés sur les considérations pratiques de la détection et de l’atténuation des biais.
Outils de détection et d’atténuation des biais
Il existe un nombre croissant d’outils techniques de détection et d’atténuation des biais, qui peuvent compléter la capacité du praticien de l’IA à éviter et à atténuer les biais de l’IA. Dans le cadre du projet de Fonds des résultats 2021 - 2022, le MPO a exploré les outils de détection de biais suivants que les praticiens de l’IA peuvent utiliser pour éliminer les biais.
FairLearn de Microsoft
Une boîte à outils de source ouverte de Microsoft qui permet aux praticiens de l’IA de détecter et de corriger l’impartialité de leurs systèmes d’IA. Pour optimiser les compromis entre l’équité et le rendement du modèle, la boîte à outils comprend deux éléments : un tableau de bord de visualisation interactive et un algorithme d’atténuation des biais [2].
AI Fairness 360 d’IBM
Une boîte à outils de source ouverte d’IBM qui aide les praticiens de l’IA à vérifier facilement les biais à plusieurs points de leur pipeline d’apprentissage machine, en utilisant la mesure de biais appropriée à leur situation. Elle contient plus de 70 mesures d’équité et de 11 algorithmes uniques d’atténuation des biais [4].
Grâce au travail sur l’IA financé par le Fonds des résultats 2020 - 2021, une preuve de concept a été développée pour la détection automatisée de l’activité de pêche des navires à l’aide d’un modèle d’apprentissage machine. Le modèle prédictif qui en résulte prend les traces du navire en entrée et produit les traces du navire annotées de son activité, c’est-à-dire pêche ou non. Le modèle utilise des caractéristiques telles que l’écart de vitesse du navire, l’écart de cap et le type d’engin pour détecter l’activité du navire. Les renseignements obtenus grâce au modèle prédictif sont ensuite combinés à d’autres données, telles que les zones de gestion des pêches et les conditions de permis, afin de détecter les cas de non-respect des règlements de pêche.
Le modèle prédictif de détection de la pêche servira de base à la construction d’un système décisionnel automatisé pour la détection des comportements de pêche non conformes. Après consultation avec le SCT, le MPO a établi que la directive du SCT sur les systèmes décisionnels automatisés s’applique à la production du modèle.
Afin de se conformer à la directive et de garantir que ce système décisionnel automatisé est à la fois efficace et équitable, une enquête a été menée sur le risque de biais dans le modèle de détection de la pêche, et des techniques d’atténuation des biais ont été appliquées.
Termes et définitions
Biais : Dans le contexte des systèmes décisionnels automatisés, la présence d’erreurs systématiques ou de fausses déclarations dans les données et les résultats du système. Les biais peuvent provenir de diverses sources, notamment de préjugés sociétaux (p. ex. la discrimination) intégrés dans les données, d’un échantillonnage de données non représentatif ou d’un traitement préférentiel appliqué par des algorithmes.
Disparité : Un manque systématique d’équité entre les différents groupes. Formellement mesuré comme la différence maximale entre les valeurs d’une métrique appliquée à travers les groupes définis par un attribut protégé.
Faux négatif : Une erreur dans la classification binaire dans laquelle une instance positive est incorrectement classée comme négative.
Faux positif : Une erreur dans la classification binaire dans laquelle une instance négative est incorrectement classée comme positive.
Taux de faux positifs (négatifs) : Le pourcentage d’instances négatives (positives) incorrectement classées comme positives (négatives) dans un échantillon d’instances auquel est appliquée une classification binaire.
Attribut protégé : Un attribut qui divise une population en groupes pour lesquels l’équité est attendue. Le genre et la race sont des exemples d’attributs protégés courants.
Résultats de l’évaluation des biais
Le processus d’évaluation des biais a été mené en suivant les quatre étapes proposées comme indiqué dans le processus de détection et d’atténuation des biais. Des détails sur les résultats de l’enquête pour chacune des étapes sont fournis ci-dessous.
Détermination des préjudices potentiels
L’enquête a débuté par une évaluation du potentiel de préjudices induits par les biais du système. Pour le cas d’utilisation de la détection de non-conformité, il existe toujours une vérité de base objective. En d’autres termes, grâce à une connaissance complète des actions entreprises par un navire de pêche et des conditions spécifiées dans un permis de pêche, il est possible de déterminer objectivement si un navire respecte ou non les conditions de son permis. Si un système était capable de faire cette détermination avec une cohérence parfaite, il n’y aurait aucun risque de préjudice dû à des décisions biaisées prises par le système. Cependant, en raison des contraintes pratiques liées à des renseignements incomplets (p. ex. l’activité de pêche des navires), une précision parfaite n’est pas réalisable de façon réaliste. Ainsi, le potentiel de préjudice existe dans les cas où le système fait des erreurs dans ses décisions.
Dans la détection binaire (c’est-à-dire oui ou non) des activités de pêche, le système est susceptible de commettre deux types d’erreurs :
1. Faux positifs – Signaler une activité de pêche alors qu’elle n’a pas eu lieu
2. Faux négatifs – Signaler une absence d’activité de pêche alors qu’elle a eu lieu.
Lorsque les détections de pêche sont vérifiées par rapport aux conditions de permis, ces erreurs peuvent alors prendre deux autres formes :
1. Les faux positifs peuvent conduire à un signalement incorrect de la non-conformité.
2. Les faux négatifs peuvent conduire à des détections manquées de non-conformité.
Comme le système est conçu pour aider à déterminer les cas dans lesquels une action punitive est nécessaire, les faux positifs ont le potentiel de causer des préjudices aux exploitants des navires qui sont incorrectement signalés pour non-conformité. Il est important de noter que l’utilisation prévue de ce système n’est pas de prendre des décisions définitives sur l’occurrence d’un comportement non conforme, mais plutôt d’aider les agents des pêches à déterminer les cas qui méritent une enquête plus approfondie. Il est donc peu probable que les faux positifs donnent lieu à des actions punitives injustifiées. Cependant, ils entraînent un examen injustifié des activités des navires, ce qui est à la fois indésirable et injuste pour les exploitants de navires. Si la détection parfaite de l’activité de pêche n’est peut-être pas réalisable, il est néanmoins essentiel de déployer les meilleurs efforts pour réduire les taux d’erreur et atténuer les incidences disproportionnées (c’est-à-dire biaisées) sur différents groupes de personnes.
Bien que les faux positifs aient été reconnus comme la principale source de préjudice potentiel dans le cadre de cette enquête, il est important de noter qu’un certain degré de préjudice moins direct existe également dans les faux négatifs. Les détections manquées de non-conformité peuvent entraîner une pêche illégale non capturée. Cela a un coût tant pour le MPO que pour les pêches commerciales. Si certaines pêches ou zones géographiques sont plus exposées aux faux négatifs que d’autres, cela peut entraîner une répartition disproportionnée de ces coûts.
Identification des attributs protégés
Détection des biais
Pour évaluer l’équité du modèle entre les différents types d’engins, les données sont d’abord partitionnées en fonction du type d’engin, puis la disparité du taux de faux positifs (TFP) [4] est mesurée. Le TFP est donné par le pourcentage d’instances négatives (d’activité de pêche) qui sont mal étiquetées par le modèle comme étant des instances positives. La disparité des TFP est mesurée comme la plus grande différence entre les TFP de chaque groupe de navires par type d’engin. Plus cette différence est importante, plus le degré de biais et de non-équité du système est élevé.
Dans cette enquête, FairLearn [2] a été utilisé pour mettre en œuvre les expériences de mesure de disparité des TFP. À titre de référence, AI Fairness 360 d’IBM [4], un autre outil d’atténuation des biais, applique un seuil de 10 sur des mesures de disparité similaires comme point au-delà duquel le modèle est considéré comme injuste dans une démonstration interactive. Les résultats du modèle initial de détection de la pêche sont présentés dans le figure 6. En raison d’un TFP excessivement élevé pour le type d’engin de pêche à la traîne, il existe une différence de disparité de TFP de 52,62. Ces résultats mettent en évidence un niveau inacceptable de biais présent dans le modèle qui doit être atténué.
Atténuation des biais
Les algorithmes d’atténuation des biais mis en œuvre dans FairLearn et d’autres outils similaires peuvent être appliqués à différentes étapes du pipeline d’apprentissage machine. En général, il existe un compromis entre le rendement du modèle et le biais, de sorte que les algorithmes d’atténuation induisent une perte de rendement du modèle. L’expérimentation initiale a démontré cette occurrence conduisant à une perte notable de rendement pour réduire le biais. Cela peut être observé dans les résultats présentés dans le figure 7 où un algorithme d’atténuation a été appliqué pour réduire la disparité du TFP à 28,83 au prix d’une perte de précision dans la détection de la pêche.
Sur la base de ces résultats, il a été déterminé que les efforts d’atténuation des biais devraient être concentrés sur les étapes de nettoyage et de préparation des données du pipeline d’apprentissage machine, car c’est le point le plus précoce où cela peut être réalisé. Grâce à une analyse exploratoire supplémentaire des données, des problèmes notables ont été relevés en termes de représentation disproportionnée entre les types d’engins et de déséquilibre entre les instances positives et négatives pour certains types d’engins. Grâce à des ajustements du processus de nettoyage des données et à l’application de techniques telles que l’équilibrage et l’augmentation des données, une nouvelle version des données d’entraînement du modèle, mieux adaptée à la tâche d’atténuation des biais, a été produite. Les résultats de ces modifications sont présentés dans le figure 8. Le TFP a été considérablement réduit pour tous les types d’engins, tout en préservant un niveau acceptable de précision de détection de la pêche. Notamment, la différence de disparité du TFP a été réduite de sa valeur initiale de 52,62 à 2,97.
Prochaines étapes de l’évaluation des biais
Les résultats de cette enquête ont démontré la réussite de la détection et de l’atténuation des biais présents dans un système décisionnel automatisé. Il est important de noter qu’il peut y avoir diverses interprétations possibles des préjudices et des attributs protégés. En outre, les biais et l’équité d’un système peuvent dériver au fil du temps. Un suivi continu est essentiel pour détecter les injustices potentielles, qu’elles soient dues à des sources de biais précédemment non repérées ou à une dérive du système. La poursuite de cette enquête dans une phase d’étude sur le terrain permettra d’aborder ces tâches.
La voie à suivre
L’élaboration d’un processus de détermination et d’atténuation des préjugés est une étape vers un cadre qui appuie l’utilisation responsable de l’IA. Afin d’élaborer pleinement ce cadre, il est nécessaire d’obtenir des directives pour d’autres processus. En particulier, le thème de l’explicabilité est un autre sujet avec des exigences propres à l’utilisation de l’IA. Les prochaines étapes dans ce domaine nécessiteront l’identification d’outils et l’élaboration d’une orientation pour appuyer l’utilisation de modèles interprétables et d’algorithmes d’explication pour les modèles de boîtes noires. De plus, il faut un processus plus général pour permettre aux équipes de projet d’évaluer leur conformité à l’égard de tous les thèmes sur l’utilisation responsable de l’IA. Le Bureau de l’intendant principal des données est en train d’élaborer ces ressources.
Bibliography
- ↑ V. Fomins, "The Shift from Traditional Computing Systems to Artificial Intelligence and the Implications for Bias," Smart Technologies and Fundamental Rights, pp. 316-333, 2020.
- ↑ 2.0 2.1 2.2 S. Bird, M. Dudík, R. Edgar, B. Horn, R. Lutz, V. Milan, M. Sameki, H. Wallach and K. Walker, "Fairlearn: A toolkit for assessing and improving fairness in AI," Microsoft, May 2020. [Online]. Available: https://www.microsoft.com/en-us/research/publication/fairlearn-a-toolkit-for-assessing-and-improving-fairness-in-ai/. [Accessed 30 11 2021].
- ↑ http://www.datasciencepublicpolicy.org/our-work/tools-guides/aequitas/
- ↑ 4.0 4.1 4.2 IBM Developer Staff, "AI Fairness 360," IBM, 14 November 2018. [Online]. Available: https://developer.ibm.com/open/projects/ai-fairness-360/. [Accessed 28 July 2021].
