Changes

[[File:Res ai poster Dec8.jpg|center|thumb|917x917px]]

('''English:''' [[Towards a Responsible AI Framework for the Design of Automated Decision Systems in DFO: a Case Study of Bias Detection and Mitigation]])

 

== Sommaire ==

== Sommaire ==

Les systèmes décisionnels automatisés (SDA) sont des systèmes informatiques qui automatisent, ou aident à automatiser, une partie ou la totalité d’un processus de décisionnel de nature administrative. Actuellement, le gouvernement du Canada utilise des systèmes décisionnels automatisés commandés par des algorithmes d’apprentissage machine pour améliorer la prestation des services. L’utilisation de ces systèmes peut présenter des avantages et des risques pour les institutions fédérales, notamment Pêches et Océans Canada (MPO). Il faut veiller à ce que les systèmes décisionnels automatisés soient déployés de manière à réduire les risques pour les Canadiens et les institutions fédérales, et à ce que les décisions soient plus efficaces, exactes, cohérentes et interprétables.

Les systèmes décisionnels automatisés (SDA) sont des systèmes informatiques qui automatisent, ou aident à automatiser, une partie ou la totalité d’un processus de décisionnel de nature administrative. Actuellement, le gouvernement du Canada utilise des systèmes décisionnels automatisés commandés par des algorithmes d’apprentissage machine pour améliorer la prestation des services. L’utilisation de ces systèmes peut présenter des avantages et des risques pour les institutions fédérales, notamment Pêches et Océans Canada (MPO). Il faut veiller à ce que les systèmes décisionnels automatisés soient déployés de manière à réduire les risques pour les Canadiens et les institutions fédérales, et à ce que les décisions soient plus efficaces, exactes, cohérentes et interprétables.

Pour l’exercice financier (2021-2022), le Bureau du dirigeant principal des données (BDPD) et la Gestion de l’information et des services techniques (GIST) ont coparrainé un projet pilote d’intelligence artificielle (IA) afin de déterminer dans quelle mesure l’IA, associée à d’autres techniques d’analyse des données, peut être utilisée pour obtenir des renseignements, automatiser des tâches et optimiser les résultats pour différents domaines prioritaires et objectifs opérationnels au MPO. Le projet a été financé par le Fonds des résultats 2020-2021 et a été élaboré en partenariat avec les programmes et les secteurs d’activité du MPO. Les résultats comprennent le développement de trois preuves de concept :

Afin d’appuyer ces objectifs, le Bureau de l’intendant principal des données élabore un cadre d’éthique des données qui fournira des conseils sur le traitement éthique des données et l’utilisation responsable de l’intelligence artificielle (IA). Les documents d’orientation sur l’utilisation responsable de l’IA portent sur six grands thèmes identifiés comme étant pertinents pour les projets du MPO utilisant l’IA. Ces thèmes sont : la protection des renseignements personnels et la sécurité, la transparence, la responsabilisation, la méthodologie et la qualité des données, l’équité et l’explicabilité. Si un grand nombre de ces thèmes chevauchent fortement le domaine de l’éthique des données, le thème de l’équité couvre de nombreuses préoccupations éthiques propres à l’IA en raison de la nature des répercussions que les préjugés peuvent avoir sur les modèles d’IA.

 

* Des modèles prédictifs pour la détection du comportement des navires en matière de pêche, afin de lutter contre le non-respect des règlements de pêche.

* Un modèle prédictif pour la détermination et la classification des appels de la baleine noire de l’Atlantique Nord, en voie de disparition, afin de réduire au minimum les collisions entre les navires et les baleines en voie de disparition.

* Un modèle prédictif pour le regroupement des données océaniques, pour faire progresser les sciences océaniques.

 

Soutenus par le Fonds des résultats (2021 - 2022), le BDPD et GIST réalisent un prototype des systèmes décisionnels automatisés, sur la base des résultats du projet pilote d’IA. L’effort comprend la définition d’un processus interne pour détecter et atténuer les biais, lesquels sont un risque inhérent aux systèmes décisionnels automatisés basés sur l’apprentissage machine. Une étude de cas est conçue pour appliquer ce processus afin d’évaluer et d’atténuer les biais dans le modèle prédictif de détection du comportement de pêche des navires.

Finalement, à long terme, l’objectif sera de développer un cadre complet d’IA responsable pour assurer une utilisation responsable de l’IA au sein du MPO et assurer la conformité avec la Directive du Conseil du Trésor sur la prise de décisions automatisée.

Soutenus par le Fonds des résultats (2021 - 2022), le BIPD et GIST réalisent un prototype des systèmes décisionnels automatisés, sur la base des résultats du projet pilote d’IA. L’effort comprend la définition d’un processus interne pour détecter et atténuer les biais, lesquels sont un risque inhérent aux systèmes décisionnels automatisés basés sur l’apprentissage machine. Une étude de cas est conçue pour appliquer ce processus afin d’évaluer et d’atténuer les biais dans un modèle prédictif de détection du comportement de pêche des navires. Le processus défini dans ce travail et les résultats de l’étude sur le terrain contribueront aux documents d’orientation qui formeront éventuellement le volet Utilisation responsable de l’IA du cadre d’éthique des données.

== Introduction ==

== Introduction ==

Contrairement aux systèmes décisionnels automatisés (SDA) traditionnels, les SDA basés sur l’apprentissage machine ne suivent pas de règles explicites rédigées par des humains <ref>V. Fomins, "The Shift from Traditional Computing Systems to Artificial Intelligence and the Implications for Bias," ''Smart Technologies and Fundamental Rights,'' pp. 316-333, 2020.</ref>. Les modèles d’apprentissage machine ne sont pas intrinsèquement objectifs. Les spécialistes des données forment des modèles en leur fournissant un ensemble de données d’exemples d’entraînement, et l’implication humaine dans l’alimentation en donnée et la conservation de celles-ci peut rendre les prédictions d’un modèle susceptibles d’être biaisées. C’est pourquoi les applications des SDA basées sur l’apprentissage machine ont des incidences considérables pour la société. Cela va des nouvelles questions sur la responsabilité juridique des erreurs commises par ces systèmes au recyclage des travailleurs déplacés par ces technologies. Un cadre est nécessaire pour garantir que des décisions responsables et transparentes soient prises, en soutenant des pratiques éthiques.

Contrairement aux systèmes décisionnels automatisés (SDA) traditionnels, les SDA basés sur l’apprentissage machine ne suivent pas de règles explicites rédigées par des humains <ref>V. Fomins, "The Shift from Traditional Computing Systems to Artificial Intelligence and the Implications for Bias," ''Smart Technologies and Fundamental Rights,'' pp. 316-333, 2020.</ref>. Les modèles d’apprentissage machine ne sont pas intrinsèquement objectifs. Les spécialistes des données forment des modèles en leur fournissant un ensemble de données d’exemples d’entraînement, et l’implication humaine dans l’alimentation en donnée et la conservation de celles-ci peut rendre les prédictions d’un modèle susceptibles d’être biaisées. C’est pourquoi les applications des SDA basées sur l’apprentissage machine ont des incidences considérables pour la société. Cela va des nouvelles questions sur la responsabilité juridique des erreurs commises par ces systèmes au recyclage des travailleurs déplacés par ces technologies. Un cadre est nécessaire pour garantir que des décisions responsables et transparentes soient prises, en soutenant des pratiques éthiques.

=== Responsible AI ===

=== IA responsable ===

L’IA responsable est un cadre de gouvernance qui documente la manière dont une organisation donnée relève les défis liés à l’intelligence artificielle (IA) d’un point de vue éthique et juridique. Afin de garantir des pratiques responsables en matière d’IA, les organisations ont défini des principes directeurs pour guider le développement d’applications et de solutions d’IA.

Une étude des cadres établis en matière d’utilisation responsable de l’IA par d’autres organisations et à une inspection des cas d’utilisation de l’IA par le MPO a permis de définir un ensemble de thèmes sur l’utilisation responsable de l’IA pour un cadre du MPO :

[[File:5gp fr.png|alt=Cinq grands principes éthiques pour une IA responsable|thumb|417x417px|'''Figure 1 : Cinq grands principes éthiques pour une IA responsable''']]

Selon l’étude ''The global landscape of AI ethics guidelines'' (Le paysage mondial des lignes directrices en matière d’éthique de l’IA) <ref name=":0">A. Jobin, M. Ienca and E. Vayena, "The global landscape of AI ethics guidelines," ''Nature Machine Intelligence,'' p. 389–399, 2019.</ref>, certains principes sont mentionnés plus souvent que d’autres. Cependant, Gartner a conclu qu’une convergence mondiale émerge autour de cinq principes éthiques <ref>S. Sicular , E. Brethenoux , F. Buytendijk and J. Hare, "AI Ethics: Use 5 Common Guidelines as Your Starting Point," Gartner, 11 July 2019. [Online]. Available: <nowiki>https://www.gartner.com/en/documents/3947359/ai-ethics-use-5-common-guidelines-as-your-starting-point</nowiki>. [Accessed 23 August 2021].</ref>:

 

 

 

=== Directive du Conseil du Trésor sur la prise de décisions automatisée ===

La Directive du Conseil du Trésor sur la prise de décisions automatisée est définie comme un instrument stratégique visant à promouvoir une utilisation éthique et responsable de l’intelligence artificielle. Elle décrit les responsabilités des institutions fédérales qui utilisent des systèmes décisionnels automatisés par l’IA.

L’outil d’EIA est un questionnaire qui détermine le niveau d’incidence d’un système décisionnel automatisé. Il est composé de 48 questions sur les risques et de 33 questions sur les mesures d’atténuation. Les scores d’évaluation sont basés sur de nombreux facteurs, notamment la conception des systèmes, l’algorithme, le type de décision, les incidences et les données. L’outil aboutit à un niveau de catégorisation de l’incidence entre I (présentant le moindre risque) et IV (présentant le plus grand risque). En fonction du niveau d’incidence (qui sera publié), la directive peut imposer des exigences supplémentaires. Le processus est décrit à la figure 2.

* La méthodologie et la qualité des données

Chaque thème couvre un ensemble de lignes directrices de haut niveau définissant les objectifs fixés par le cadre. Ces lignes directrices sont appuyées par des processus concrets qui fournissent les directives précises nécessaires pour atteindre les objectifs dans la pratique. Pour appuyer les lignes directrices établies sous le thème Équité de l’utilisation responsable de l’IA, nous avons élaboré un processus de détection et d’atténuation des préjugés dans les modèles d’apprentissage automatique.

En plus de la directive du SCT sur les SDA, le MPO travaille à l’établissement d’un processus interne, dans le cadre du projet du Fonds des résultats pour 2021-2022, afin de détecter et d’atténuer les biais potentiels dans les SDA.

=== Processus de détection et d’atténuation des biais ===

== Processus de détection et d’atténuation des biais ==

Le processus de détection et d’atténuation des biais dépend de la définition du contexte dans lequel le biais doit être évalué. Compte tenu de l’ampleur des sources dont peuvent provenir les biais, la détermination exhaustive des sources pertinentes pour un système particulier et la quantification de leurs incidences peuvent s’avérer peu pratiques. Il est donc recommandé de '''considérer les biais sous l’angle des préjudices qui peuvent être induits par le système''' <ref name=":1">S. Bird, M. Dudík, R. Edgar, B. Horn, R. Lutz, V. Milan, M. Sameki, H. Wallach and K. Walker, "Fairlearn: A toolkit for assessing and improving fairness in AI," Microsoft, May 2020. [Online]. Available: <nowiki>https://www.microsoft.com/en-us/research/publication/fairlearn-a-toolkit-for-assessing-and-improving-fairness-in-ai/</nowiki>. [Accessed 30 11 2021].</ref>. Les types courants de préjudices peuvent être représentés par des définitions mathématiques formelles de l’équité dans les systèmes de décision. Ces définitions constituent le fondement de l’évaluation quantitative de l’équité en tant qu’indicateur de biais dans les systèmes.

Le processus de détection et d’atténuation des biais dépend de la définition du contexte dans lequel le biais doit être évalué. Compte tenu de l’ampleur des sources dont peuvent provenir les biais, la détermination exhaustive des sources pertinentes pour un système particulier et la quantification de leurs incidences peuvent s’avérer peu pratiques. Il est donc recommandé de '''considérer les biais sous l’angle des préjudices qui peuvent être induits par le système''' <ref name=":1">S. Bird, M. Dudík, R. Edgar, B. Horn, R. Lutz, V. Milan, M. Sameki, H. Wallach and K. Walker, "Fairlearn: A toolkit for assessing and improving fairness in AI," Microsoft, May 2020. [Online]. Available: <nowiki>https://www.microsoft.com/en-us/research/publication/fairlearn-a-toolkit-for-assessing-and-improving-fairness-in-ai/</nowiki>. [Accessed 30 11 2021].</ref>. Les types courants de préjudices peuvent être représentés par des définitions mathématiques formelles de l’équité dans les systèmes de décision. Ces définitions constituent le fondement de l’évaluation quantitative de l’équité en tant qu’indicateur de biais dans les systèmes.

Les préjudices sont généralement considérés dans le contexte des taux d’erreur et/ou des taux de représentation. Dans le cas des taux d’erreur, les différences de taux de faux positifs ou négatifs entre différents groupes de personnes induisent un rendement disproportionné du système, entraînant des conséquences injustes ou des avantages réduits pour certains groupes. Les différences dans les taux de représentation, même en l’absence de différences dans les taux d’erreur, peuvent conduire à des répartitions injustes des avantages ou des pénalités entre les groupes de personnes. Les types de préjudices applicables à un système particulier dépendent fortement de l’utilisation prévue du système. La figure 3 présente un organigramme permettant de déterminer la mesure d’équité la plus pertinente pour un système.

Les préjudices sont généralement considérés dans le contexte des taux d’erreur et/ou des taux de représentation. Dans le cas des taux d’erreur, les différences de taux de faux positifs ou négatifs entre différents groupes de personnes induisent un rendement disproportionné du système, entraînant des conséquences injustes ou des avantages réduits pour certains groupes. Les différences dans les taux de représentation, même en l’absence de différences dans les taux d’erreur, peuvent conduire à des répartitions injustes des avantages ou des pénalités entre les groupes de personnes. Les types de préjudices applicables à un système particulier dépendent fortement de l’utilisation prévue du système. La figure 3 présente un organigramme permettant de déterminer la mesure d’équité la plus pertinente pour un système.

 

[[File:Fairness Tree FR.png|alt=|center|thumb|734x734px|'''Figure 3: Organigramme de sélection de la métrique d’équité''' <ref>http://www.datasciencepublicpolicy.org/our-work/tools-guides/aequitas/</ref>'''.''']]

[[File:FairnessTree.png|center|thumb|625x625px|'''Figure 3: Organigramme de sélection de la métrique d’équité''' <ref>http://www.datasciencepublicpolicy.org/our-work/tools-guides/aequitas/</ref>'''.''']]

Après avoir exposé les risques de préjudice dans le système, l’étape suivante consiste à déterminer les attributs protégés. Dans le contexte de la détection et de l’atténuation des biais, un attribut protégé fait référence à un attribut catégorique pour lequel il existe des préoccupations de biais dans les catégories d’attributs. La race et le sexe sont des exemples courants d’attributs protégés. Les attributs protégés pertinents pour l’application du système doivent être définis afin d’étudier les incidences disproportionnées dans les catégories d’attributs.

Après avoir exposé les risques de préjudice dans le système, l’étape suivante consiste à déterminer les attributs protégés. Dans le contexte de la détection et de l’atténuation des biais, un attribut protégé fait référence à un attribut catégorique pour lequel il existe des préoccupations de biais dans les catégories d’attributs. La race et le sexe sont des exemples courants d’attributs protégés. Les attributs protégés pertinents pour l’application du système doivent être définis afin d’étudier les incidences disproportionnées dans les catégories d’attributs.

Bien que les faux positifs aient été reconnus comme la principale source de préjudice potentiel dans le cadre de cette enquête, il est important de noter qu’un certain degré de préjudice moins direct existe également dans les faux négatifs. Les détections manquées de non-conformité peuvent entraîner une pêche illégale non capturée. Cela a un coût tant pour le MPO que pour les pêches commerciales. Si certaines pêches ou zones géographiques sont plus exposées aux faux négatifs que d’autres, cela peut entraîner une répartition disproportionnée de ces coûts.

Bien que les faux positifs aient été reconnus comme la principale source de préjudice potentiel dans le cadre de cette enquête, il est important de noter qu’un certain degré de préjudice moins direct existe également dans les faux négatifs. Les détections manquées de non-conformité peuvent entraîner une pêche illégale non capturée. Cela a un coût tant pour le MPO que pour les pêches commerciales. Si certaines pêches ou zones géographiques sont plus exposées aux faux négatifs que d’autres, cela peut entraîner une répartition disproportionnée de ces coûts.

==== Détection des biais ====

==== Détection des biais ====

== La voie à suivre ==

== La voie à suivre ==

Une IA responsable est le seul moyen d’atténuer les risques liés à l’IA, et les risques de biais sont considérés comme un sous-ensemble de ces risques. Alors que le MPO s’oriente vers l’adoption de l’IA pour soutenir la prise de décisions et améliorer la prestation de services, il est nécessaire de s’assurer que ces décisions sont non seulement conscientes des biais, mais aussi précises, centrées sur l’humain, explicables et respectueuses de la vie privée.

L’élaboration d’un processus de détermination et d’atténuation des préjugés est une étape vers un cadre qui appuie l’utilisation responsable de l’IA. Afin d’élaborer pleinement ce cadre, il est nécessaire d’obtenir des directives pour d’autres processus. En particulier, le thème de l’explicabilité est un autre sujet avec des exigences propres à l’utilisation de l’IA. Les prochaines étapes dans ce domaine nécessiteront l’identification d’outils et l’élaboration d’une orientation pour appuyer l’utilisation de modèles interprétables et d’algorithmes d’explication pour les modèles de boîtes noires. De plus, il faut un processus plus général pour permettre aux équipes de projet d’évaluer leur conformité à l’égard de tous les thèmes sur l’utilisation responsable de l’IA. Le Bureau de l’intendant principal des données est en train d’élaborer ces ressources.

Le MPO est en train de définir des principes directeurs pour guider le développement d’applications et de solutions d’IA. Une fois définis, divers outils seront envisagés et/ou développés pour rendre ces principes opérationnels.

<references />