View source for Vers un cadre d’IA responsable pour la conception de systèmes décisionnels automatisés au MPO: une étude de cas de la détection et de l’atténuation des biais

('''English:''' [[Towards a Responsible AI Framework for the Design of Automated Decision Systems in DFO: a Case Study of Bias Detection and Mitigation]])
== Sommaire ==
Les systèmes décisionnels automatisés (SDA) sont des systèmes informatiques qui automatisent, ou aident à automatiser, une partie ou la totalité d’un processus de décisionnel de nature administrative. Actuellement, le gouvernement du Canada utilise des systèmes décisionnels automatisés commandés par des algorithmes d’apprentissage machine pour améliorer la prestation des services. L’utilisation de ces systèmes peut présenter des avantages et des risques pour les institutions fédérales, notamment Pêches et Océans Canada (MPO). Il faut veiller à ce que les systèmes décisionnels automatisés soient déployés de manière à réduire les risques pour les Canadiens et les institutions fédérales, et à ce que les décisions soient plus efficaces, exactes, cohérentes et interprétables.

Pour l’exercice financier (2021-2022), le Bureau du dirigeant principal des données (BDPD) et la Gestion de l’information et des services techniques (GIST) ont coparrainé un projet pilote d’intelligence artificielle (IA) afin de déterminer dans quelle mesure l’IA, associée à d’autres techniques d’analyse des données, peut être utilisée pour obtenir des renseignements, automatiser des tâches et optimiser les résultats pour différents domaines prioritaires et objectifs opérationnels au MPO. Le projet a été financé par le Fonds des résultats 2020-2021 et a été élaboré en partenariat avec les programmes et les secteurs d’activité du MPO. Les résultats comprennent le développement de trois preuves de concept :

* Des modèles prédictifs pour la détection du comportement des navires en matière de pêche, afin de lutter contre le non-respect des règlements de pêche.
* Un modèle prédictif pour la détermination et la classification des appels de la baleine noire de l’Atlantique Nord, en voie de disparition, afin de réduire au minimum les collisions entre les navires et les baleines en voie de disparition.
* Un modèle prédictif pour le regroupement des données océaniques, pour faire progresser les sciences océaniques.

Soutenus par le Fonds des résultats (2021 - 2022), le BDPD et GIST réalisent un prototype des systèmes décisionnels automatisés, sur la base des résultats du projet pilote d’IA. L’effort comprend la définition d’un processus interne pour détecter et atténuer les biais, lesquels sont un risque inhérent aux systèmes décisionnels automatisés basés sur l’apprentissage machine. Une étude de cas est conçue pour appliquer ce processus afin d’évaluer et d’atténuer les biais dans le modèle prédictif de détection du comportement de pêche des navires.

Finalement, à long terme, l’objectif sera de développer un cadre complet d’IA responsable pour assurer une utilisation responsable de l’IA au sein du MPO et assurer la conformité avec la Directive du Conseil du Trésor sur la prise de décisions automatisée.

== Introduction ==
Contrairement aux systèmes décisionnels automatisés (SDA) traditionnels, les SDA basés sur l’apprentissage machine ne suivent pas de règles explicites rédigées par des humains <ref>V. Fomins, "The Shift from Traditional Computing Systems to Artificial Intelligence and the Implications for Bias," ''Smart Technologies and Fundamental Rights,'' pp. 316-333, 2020.</ref>. Les modèles d’apprentissage machine ne sont pas intrinsèquement objectifs. Les spécialistes des données forment des modèles en leur fournissant un ensemble de données d’exemples d’entraînement, et l’implication humaine dans l’alimentation en donnée et la conservation de celles-ci peut rendre les prédictions d’un modèle susceptibles d’être biaisées. C’est pourquoi les applications des SDA basées sur l’apprentissage machine ont des incidences considérables pour la société. Cela va des nouvelles questions sur la responsabilité juridique des erreurs commises par ces systèmes au recyclage des travailleurs déplacés par ces technologies. Un cadre est nécessaire pour garantir que des décisions responsables et transparentes soient prises, en soutenant des pratiques éthiques.

=== IA responsable ===
L’IA responsable est un cadre de gouvernance qui documente la manière dont une organisation donnée relève les défis liés à l’intelligence artificielle (IA) d’un point de vue éthique et juridique. Afin de garantir des pratiques responsables en matière d’IA, les organisations ont défini des principes directeurs pour guider le développement d’applications et de solutions d’IA.
[[File:5gp fr.png|alt=Cinq grands principes éthiques pour une IA responsable|thumb|417x417px|'''Figure 1 : Cinq grands principes éthiques pour une IA responsable''']]
Selon l’étude ''The global landscape of AI ethics guidelines'' (Le paysage mondial des lignes directrices en matière d’éthique de l’IA) <ref name=":0">A. Jobin, M. Ienca and E. Vayena, "The global landscape of AI ethics guidelines," ''Nature Machine Intelligence,'' p. 389–399, 2019.</ref>, certains principes sont mentionnés plus souvent que d’autres. Cependant, Gartner a conclu qu’une convergence mondiale émerge autour de cinq principes éthiques <ref>S. Sicular , E. Brethenoux , F. Buytendijk and J. Hare, "AI Ethics: Use 5 Common Guidelines as Your Starting Point," Gartner, 11 July 2019. [Online]. Available: <nowiki>https://www.gartner.com/en/documents/3947359/ai-ethics-use-5-common-guidelines-as-your-starting-point</nowiki>. [Accessed 23 August 2021].</ref>:

* Centré sur l’humain et socialement avantageux
* Équitable
* Explicable et transparent
* Sécuritaire et sûr
* Responsable

La définition des différents principes directeurs est incluse dans <ref name=":0" /> .

=== Directive du Conseil du Trésor sur la prise de décisions automatisée ===
La Directive du Conseil du Trésor sur la prise de décisions automatisée est définie comme un instrument stratégique visant à promouvoir une utilisation éthique et responsable de l’intelligence artificielle. Elle décrit les responsabilités des institutions fédérales qui utilisent des systèmes décisionnels automatisés par l’IA.

==== Le processus d’évaluation de l’incidence algorithmique ====
L’outil d’EIA est un questionnaire qui détermine le niveau d’incidence d’un système décisionnel automatisé. Il est composé de 48 questions sur les risques et de 33 questions sur les mesures d’atténuation. Les scores d’évaluation sont basés sur de nombreux facteurs, notamment la conception des systèmes, l’algorithme, le type de décision, les incidences et les données. L’outil aboutit à un niveau de catégorisation de l’incidence entre I (présentant le moindre risque) et IV (présentant le plus grand risque). En fonction du niveau d’incidence (qui sera publié), la directive peut imposer des exigences supplémentaires. Le processus est décrit à la figure 2.
[[File:Aia fr.png|alt=Le processus d’évaluation de l’incidence algorithmique|center|thumb|661x661px|'''Figure 2 : Le processus d’évaluation de l’incidence algorithmique''']]

== Détection et atténuation des biais ==
En plus de la directive du SCT sur les SDA, le MPO travaille à l’établissement d’un processus interne, dans le cadre du projet du Fonds des résultats pour 2021-2022, afin de détecter et d’atténuer les biais potentiels dans les SDA.

=== Processus de détection et d’atténuation des biais ===
Le processus de détection et d’atténuation des biais dépend de la définition du contexte dans lequel le biais doit être évalué. Compte tenu de l’ampleur des sources dont peuvent provenir les biais, la détermination exhaustive des sources pertinentes pour un système particulier et la quantification de leurs incidences peuvent s’avérer peu pratiques. Il est donc recommandé de '''considérer les biais sous l’angle des préjudices qui peuvent être induits par le système''' <ref name=":1">S. Bird, M. Dudík, R. Edgar, B. Horn, R. Lutz, V. Milan, M. Sameki, H. Wallach and K. Walker, "Fairlearn: A toolkit for assessing and improving fairness in AI," Microsoft, May 2020. [Online]. Available: <nowiki>https://www.microsoft.com/en-us/research/publication/fairlearn-a-toolkit-for-assessing-and-improving-fairness-in-ai/</nowiki>. [Accessed 30 11 2021].</ref>. Les types courants de préjudices peuvent être représentés par des définitions mathématiques formelles de l’équité dans les systèmes de décision. Ces définitions constituent le fondement de l’évaluation quantitative de l’équité en tant qu’indicateur de biais dans les systèmes.

Les préjudices sont généralement considérés dans le contexte des taux d’erreur et/ou des taux de représentation. Dans le cas des taux d’erreur, les différences de taux de faux positifs ou négatifs entre différents groupes de personnes induisent un rendement disproportionné du système, entraînant des conséquences injustes ou des avantages réduits pour certains groupes. Les différences dans les taux de représentation, même en l’absence de différences dans les taux d’erreur, peuvent conduire à des répartitions injustes des avantages ou des pénalités entre les groupes de personnes. Les types de préjudices applicables à un système particulier dépendent fortement de l’utilisation prévue du système. La figure 3 présente un organigramme permettant de déterminer la mesure d’équité la plus pertinente pour un système.
[[File:Fairness Tree FR.png|alt=|center|thumb|734x734px|'''Figure 3: Organigramme de sélection de la métrique d’équité''' <ref>http://www.datasciencepublicpolicy.org/our-work/tools-guides/aequitas/</ref>'''.''']]
Après avoir exposé les risques de préjudice dans le système, l’étape suivante consiste à déterminer les attributs protégés. Dans le contexte de la détection et de l’atténuation des biais, un attribut protégé fait référence à un attribut catégorique pour lequel il existe des préoccupations de biais dans les catégories d’attributs. La race et le sexe sont des exemples courants d’attributs protégés. Les attributs protégés pertinents pour l’application du système doivent être définis afin d’étudier les incidences disproportionnées dans les catégories d’attributs.

Une fois l’évaluation des préjudices potentiels et des groupes affectés effectuée, un ensemble d’outils de détection et d’atténuation des biais peut être appliqué pour tenter de remédier aux problèmes d’iniquité du système. Ce processus global peut donc être décomposé en quatre étapes :
[[File:BiasProcess fr.png|alt=Processus de détection et d’atténuation des biais|center|thumb|548x548px|'''Figure 4: Processus de détection et d’atténuation des biais''']]
Dans la section suivante, des détails sont fournis sur des preuves de concept (PDC) de l’un des projets pilotes d’IA utilisant le processus proposé. Grâce à cette enquête, des renseignements supplémentaires peuvent être glanés sur les considérations pratiques de la détection et de l’atténuation des biais.

=== Outils de détection et d’atténuation des biais ===
Il existe un nombre croissant d’outils techniques de détection et d’atténuation des biais, qui peuvent compléter la capacité du praticien de l’IA à éviter et à atténuer les biais de l’IA. Dans le cadre du projet de Fonds des résultats 2021 - 2022, le MPO a exploré les outils de détection de biais suivants que les praticiens de l’IA peuvent utiliser pour éliminer les biais.

==== FairLearn de Microsoft ====
Une boîte à outils de source ouverte de Microsoft qui permet aux praticiens de l’IA de détecter et de corriger l’impartialité de leurs systèmes d’IA. Pour optimiser les compromis entre l’équité et le rendement du modèle, la boîte à outils comprend deux éléments : un tableau de bord de visualisation interactive et un algorithme d’atténuation des biais <ref name=":1" />.

==== AI Fairness 360 d’IBM ====
Une boîte à outils de source ouverte d’IBM qui aide les praticiens de l’IA à vérifier facilement les biais à plusieurs points de leur pipeline d’apprentissage machine, en utilisant la mesure de biais appropriée à leur situation. Elle contient plus de 70 mesures d’équité et de 11 algorithmes uniques d’atténuation des biais <ref name=":2">IBM Developer Staff, "AI Fairness 360," IBM, 14 November 2018. [Online]. Available: <nowiki>https://developer.ibm.com/open/projects/ai-fairness-360/</nowiki>. [Accessed 28 July 2021].</ref>.

== Étude de cas : Modèle prédictif pour la détection du comportement de pêche des navires ==
Grâce au travail sur l’IA financé par le Fonds des résultats 2020 - 2021, une preuve de concept a été développée pour la détection automatisée de l’activité de pêche des navires à l’aide d’un modèle d’apprentissage machine. Le modèle prédictif qui en résulte prend les traces du navire en entrée et produit les traces du navire annotées de son activité, c’est-à-dire pêche ou non. Le modèle utilise des caractéristiques telles que l’écart de vitesse du navire, l’écart de cap et le type d’engin pour détecter l’activité du navire. Les renseignements obtenus grâce au modèle prédictif sont ensuite combinés à d’autres données, telles que les zones de gestion des pêches et les conditions de permis, afin de détecter les cas de non-respect des règlements de pêche.
[[File:FishingDetectionModel fr.png|alt=Modèle prédictif pour la détection du comportement de pêche : entrée et sortie|center|thumb|614x614px|'''Figure 5 : Modèle prédictif pour la détection du comportement de pêche : entrée et sortie''']]
Le modèle prédictif de détection de la pêche servira de base à la construction d’un système décisionnel automatisé pour la détection des comportements de pêche non conformes. Après consultation avec le SCT, le MPO a établi que la directive du SCT sur les systèmes décisionnels automatisés s’applique à la production du modèle.

Afin de se conformer à la directive et de garantir que ce système décisionnel automatisé est à la fois efficace et équitable, une enquête a été menée sur le risque de biais dans le modèle de détection de la pêche, et des techniques d’atténuation des biais ont été appliquées.

=== Termes et définitions ===
'''Biais''' : Dans le contexte des systèmes décisionnels automatisés, la présence d’erreurs systématiques ou de fausses déclarations dans les données et les résultats du système. Les biais peuvent provenir de diverses sources, notamment de préjugés sociétaux (p. ex. la discrimination) intégrés dans les données, d’un échantillonnage de données non représentatif ou d’un traitement préférentiel appliqué par des algorithmes.

'''Disparité''' : Un manque systématique d’équité entre les différents groupes. Formellement mesuré comme la différence maximale entre les valeurs d’une métrique appliquée à travers les groupes définis par un ''attribut protégé''.

'''Faux négatif''' : Une erreur dans la classification binaire dans laquelle une instance positive est incorrectement classée comme négative.

'''Faux positif''' : Une erreur dans la classification binaire dans laquelle une instance négative est incorrectement classée comme positive.

'''Taux de faux positifs (négatifs)''' : Le pourcentage d’instances négatives (positives) incorrectement classées comme positives (négatives) dans un échantillon d’instances auquel est appliquée une classification binaire.

'''Attribut protégé''' : Un attribut qui divise une population en groupes pour lesquels l’équité est attendue. Le genre et la race sont des exemples d’attributs protégés courants.

=== Résultats de l’évaluation des biais ===
Le processus d’évaluation des biais a été mené en suivant les quatre étapes proposées comme indiqué dans le processus de détection et d’atténuation des biais. Des détails sur les résultats de l’enquête pour chacune des étapes sont fournis ci-dessous.

==== Détermination des préjudices potentiels ====
L’enquête a débuté par une évaluation du potentiel de préjudices induits par les biais du système. Pour le cas d’utilisation de la détection de non-conformité, il existe toujours une vérité de base objective. En d’autres termes, grâce à une connaissance complète des actions entreprises par un navire de pêche et des conditions spécifiées dans un permis de pêche, il est possible de déterminer objectivement si un navire respecte ou non les conditions de son permis. Si un système était capable de faire cette détermination avec une cohérence parfaite, il n’y aurait aucun risque de préjudice dû à des décisions biaisées prises par le système. Cependant, en raison des contraintes pratiques liées à des renseignements incomplets (p. ex. l’activité de pêche des navires), une précision parfaite n’est pas réalisable de façon réaliste. Ainsi, le potentiel de préjudice existe dans les cas où le système fait des erreurs dans ses décisions.

Dans la détection binaire (c’est-à-dire oui ou non) des activités de pêche, le système est susceptible de commettre deux types d’erreurs :

1.       Faux positifs – Signaler une activité de pêche alors qu’elle n’a pas eu lieu

2.       Faux négatifs – Signaler une absence d’activité de pêche alors qu’elle a eu lieu.

Lorsque les détections de pêche sont vérifiées par rapport aux conditions de permis, ces erreurs peuvent alors prendre deux autres formes :

1.       Les faux positifs peuvent conduire à un signalement incorrect de la non-conformité.

2.       Les faux négatifs peuvent conduire à des détections manquées de non-conformité.

Comme le système est conçu pour aider à déterminer les cas dans lesquels une action punitive est nécessaire, les faux positifs ont le potentiel de causer des préjudices aux exploitants des navires qui sont incorrectement signalés pour non-conformité. Il est important de noter que l’utilisation prévue de ce système n’est pas de prendre des décisions définitives sur l’occurrence d’un comportement non conforme, mais plutôt d’aider les agents des pêches à déterminer les cas qui méritent une enquête plus approfondie. Il est donc peu probable que les faux positifs donnent lieu à des actions punitives injustifiées. Cependant, ils entraînent un examen injustifié des activités des navires, ce qui est à la fois indésirable et injuste pour les exploitants de navires. Si la détection parfaite de l’activité de pêche n’est peut-être pas réalisable, il est néanmoins essentiel de déployer les meilleurs efforts pour réduire les taux d’erreur et atténuer les incidences disproportionnées (c’est-à-dire biaisées) sur différents groupes de personnes.

Bien que les faux positifs aient été reconnus comme la principale source de préjudice potentiel dans le cadre de cette enquête, il est important de noter qu’un certain degré de préjudice moins direct existe également dans les faux négatifs. Les détections manquées de non-conformité peuvent entraîner une pêche illégale non capturée. Cela a un coût tant pour le MPO que pour les pêches commerciales. Si certaines pêches ou zones géographiques sont plus exposées aux faux négatifs que d’autres, cela peut entraîner une répartition disproportionnée de ces coûts.

==== Identification des attributs protégés ====

==== Détection des biais ====
Pour évaluer l’équité du modèle entre les différents types d’engins, les données sont d’abord partitionnées en fonction du type d’engin, puis la disparité du taux de faux positifs (TFP) <ref name=":2" /> est mesurée. Le TFP est donné par le pourcentage d’instances négatives (d’activité de pêche) qui sont mal étiquetées par le modèle comme étant des instances positives. La disparité des TFP est mesurée comme la plus grande différence entre les TFP de chaque groupe de navires par type d’engin. Plus cette différence est importante, plus le degré de biais et de non-équité du système est élevé.

Dans cette enquête, FairLearn <ref name=":1" /> a été utilisé pour mettre en œuvre les expériences de mesure de disparité des TFP. À titre de référence, AI Fairness 360 d’IBM <ref name=":2" />, un autre outil d’atténuation des biais, applique un seuil de 10 sur des mesures de disparité similaires comme point au-delà duquel le modèle est considéré comme injuste dans une démonstration interactive. Les résultats du modèle initial de détection de la pêche sont présentés dans le figure 6. En raison d’un TFP excessivement élevé pour le type d’engin de pêche à la traîne, il existe une différence de disparité de TFP de 52,62. '''<u>Ces résultats mettent en évidence un niveau inacceptable de biais présent dans le modèle qui doit être atténué.</u>'''
[[File:Chart 1.png|alt=Les résultats du TFP et de la précision de détection sont présentés pour chaque type de matériel. La différence de disparité du TFP est mesurée comme la différence entre le TFP le plus élevé et le plus bas, ce qui donne une valeur de 52,62.|center|thumb|518x518px|'''Figure 6: Les résultats du TFP et de la précision de détection sont présentés pour chaque type de matériel. La différence de disparité du TFP est mesurée comme la différence entre le TFP le plus élevé et le plus bas, ce qui donne une valeur de 52,62.''']]

==== Atténuation des biais ====
Les algorithmes d’atténuation des biais mis en œuvre dans FairLearn et d’autres outils similaires peuvent être appliqués à différentes étapes du pipeline d’apprentissage machine. En général, il existe un compromis entre le rendement du modèle et le biais, de sorte que les algorithmes d’atténuation induisent une perte de rendement du modèle. L’expérimentation initiale a démontré cette occurrence conduisant à une perte notable de rendement pour réduire le biais. Cela peut être observé dans les résultats présentés dans le figure 7 où un algorithme d’atténuation a été appliqué pour réduire la disparité du TFP à 28,83 au prix d’une perte de précision dans la détection de la pêche.
[[File:Chart2.png|alt=Résultats pour le TFP et la précision après atténuation des biais au moyen de FairLearn. La différence de disparité du TFP est de 28,83.|center|thumb|471x471px|'''Figure 7: Résultats pour le TFP et la précision après atténuation des biais au moyen de FairLearn. La différence de disparité du TFP est de 28,83.''']]
Sur la base de ces résultats, il a été déterminé que les efforts d’atténuation des biais devraient être concentrés sur les étapes de nettoyage et de préparation des données du pipeline d’apprentissage machine, car c’est le point le plus précoce où cela peut être réalisé. Grâce à une analyse exploratoire supplémentaire des données, des problèmes notables ont été relevés en termes de représentation disproportionnée entre les types d’engins et de déséquilibre entre les instances positives et négatives pour certains types d’engins. Grâce à des ajustements du processus de nettoyage des données et à l’application de techniques telles que l’équilibrage et l’augmentation des données, une nouvelle version des données d’entraînement du modèle, mieux adaptée à la tâche d’atténuation des biais, a été produite. Les résultats de ces modifications sont présentés dans le figure 8. Le TFP a été considérablement réduit pour tous les types d’engins, tout en préservant un niveau acceptable de précision de détection de la pêche. Notamment, la différence de disparité du TFP a été réduite de sa valeur initiale de 52,62 à 2,97.
[[File:Chart3.png|alt=Résultats pour le TFP et la précision après que des améliorations ont été apportées au processus de préparation des données. La différence de disparité du TFP est de 2,97.|center|thumb|505x505px|'''Figure 8: Résultats pour le TFP et la précision après que des améliorations ont été apportées au processus de préparation des données. La différence de disparité du TFP est de 2,97.''']]

=== Prochaines étapes de l’évaluation des biais ===
Les résultats de cette enquête ont démontré la réussite de la détection et de l’atténuation des biais présents dans un système décisionnel automatisé. Il est important de noter qu’il peut y avoir diverses interprétations possibles des préjudices et des attributs protégés. En outre, les biais et l’équité d’un système peuvent dériver au fil du temps. Un suivi continu est essentiel pour détecter les injustices potentielles, qu’elles soient dues à des sources de biais précédemment non repérées ou à une dérive du système. La poursuite de cette enquête dans une phase d’étude sur le terrain permettra d’aborder ces tâches.

== La voie à suivre ==
Une IA responsable est le seul moyen d’atténuer les risques liés à l’IA, et les risques de biais sont considérés comme un sous-ensemble de ces risques. Alors que le MPO s’oriente vers l’adoption de l’IA pour soutenir la prise de décisions et améliorer la prestation de services, il est nécessaire de s’assurer que ces décisions sont non seulement conscientes des biais, mais aussi précises, centrées sur l’humain, explicables et respectueuses de la vie privée.

Le MPO est en train de définir des principes directeurs pour guider le développement d’applications et de solutions d’IA. Une fois définis, divers outils seront envisagés et/ou développés pour rendre ces principes opérationnels.

== Bibliography ==
<references />