Changes

L’IA responsable est un cadre de gouvernance qui documente la manière dont une organisation donnée relève les défis liés à l’intelligence artificielle (IA) d’un point de vue éthique et juridique. Afin de garantir des pratiques responsables en matière d’IA, les organisations ont défini des principes directeurs pour guider le développement d’applications et de solutions d’IA.

L’IA responsable est un cadre de gouvernance qui documente la manière dont une organisation donnée relève les défis liés à l’intelligence artificielle (IA) d’un point de vue éthique et juridique. Afin de garantir des pratiques responsables en matière d’IA, les organisations ont défini des principes directeurs pour guider le développement d’applications et de solutions d’IA.

[[File:5gp fr.png|alt=Cinq grands principes éthiques pour une IA responsable|thumb|417x417px|'''Figure 1 : Cinq grands principes éthiques pour une IA responsable''']]

[[File:5gp fr.png|alt=Cinq grands principes éthiques pour une IA responsable|thumb|417x417px|'''Figure 1 : Cinq grands principes éthiques pour une IA responsable''']]

Selon l’étude ''The global landscape of AI ethics guidelines'' (Le paysage mondial des lignes directrices en matière d’éthique de l’IA) <ref name=":0">A. Jobin, M. Ienca and E. Vayena, "The global landscape of AI ethics guidelines," ''Nature Machine Intelligence,'' p. 389–399, 2019.</ref>, certains principes sont mentionnés plus souvent que d’autres. Cependant, Gartner a conclu qu’une convergence mondiale émerge autour de cinq principes éthiques :

Selon l’étude ''The global landscape of AI ethics guidelines'' (Le paysage mondial des lignes directrices en matière d’éthique de l’IA) <ref name=":0">A. Jobin, M. Ienca and E. Vayena, "The global landscape of AI ethics guidelines," ''Nature Machine Intelligence,'' p. 389–399, 2019.</ref>, certains principes sont mentionnés plus souvent que d’autres. Cependant, Gartner a conclu qu’une convergence mondiale émerge autour de cinq principes éthiques <ref>S. Sicular , E. Brethenoux , F. Buytendijk and J. Hare, "AI Ethics: Use 5 Common Guidelines as Your Starting Point," Gartner, 11 July 2019. [Online]. Available: <nowiki>https://www.gartner.com/en/documents/3947359/ai-ethics-use-5-common-guidelines-as-your-starting-point</nowiki>. [Accessed 23 August 2021].</ref>:

* Centré sur l’humain et socialement avantageux

* Centré sur l’humain et socialement avantageux

=== Processus de détection et d’atténuation des biais ===

=== Processus de détection et d’atténuation des biais ===

Le processus de détection et d’atténuation des biais dépend de la définition du contexte dans lequel le biais doit être évalué. Compte tenu de l’ampleur des sources dont peuvent provenir les biais, la détermination exhaustive des sources pertinentes pour un système particulier et la quantification de leurs incidences peuvent s’avérer peu pratiques. Il est donc recommandé de '''considérer les biais sous l’angle des préjudices qui peuvent être induits par le système'''. Les types courants de préjudices peuvent être représentés par des définitions mathématiques formelles de l’équité dans les systèmes de décision. Ces définitions constituent le fondement de l’évaluation quantitative de l’équité en tant qu’indicateur de biais dans les systèmes.

Le processus de détection et d’atténuation des biais dépend de la définition du contexte dans lequel le biais doit être évalué. Compte tenu de l’ampleur des sources dont peuvent provenir les biais, la détermination exhaustive des sources pertinentes pour un système particulier et la quantification de leurs incidences peuvent s’avérer peu pratiques. Il est donc recommandé de '''considérer les biais sous l’angle des préjudices qui peuvent être induits par le système''' <ref name=":1">S. Bird, M. Dudík, R. Edgar, B. Horn, R. Lutz, V. Milan, M. Sameki, H. Wallach and K. Walker, "Fairlearn: A toolkit for assessing and improving fairness in AI," Microsoft, May 2020. [Online]. Available: <nowiki>https://www.microsoft.com/en-us/research/publication/fairlearn-a-toolkit-for-assessing-and-improving-fairness-in-ai/</nowiki>. [Accessed 30 11 2021].</ref>. Les types courants de préjudices peuvent être représentés par des définitions mathématiques formelles de l’équité dans les systèmes de décision. Ces définitions constituent le fondement de l’évaluation quantitative de l’équité en tant qu’indicateur de biais dans les systèmes.

Les préjudices sont généralement considérés dans le contexte des taux d’erreur et/ou des taux de représentation. Dans le cas des taux d’erreur, les différences de taux de faux positifs ou négatifs entre différents groupes de personnes induisent un rendement disproportionné du système, entraînant des conséquences injustes ou des avantages réduits pour certains groupes. Les différences dans les taux de représentation, même en l’absence de différences dans les taux d’erreur, peuvent conduire à des répartitions injustes des avantages ou des pénalités entre les groupes de personnes. Les types de préjudices applicables à un système particulier dépendent fortement de l’utilisation prévue du système. La figure 2 présente un organigramme permettant de déterminer la mesure d’équité la plus pertinente pour un système.

Les préjudices sont généralement considérés dans le contexte des taux d’erreur et/ou des taux de représentation. Dans le cas des taux d’erreur, les différences de taux de faux positifs ou négatifs entre différents groupes de personnes induisent un rendement disproportionné du système, entraînant des conséquences injustes ou des avantages réduits pour certains groupes. Les différences dans les taux de représentation, même en l’absence de différences dans les taux d’erreur, peuvent conduire à des répartitions injustes des avantages ou des pénalités entre les groupes de personnes. Les types de préjudices applicables à un système particulier dépendent fortement de l’utilisation prévue du système. La figure 3 présente un organigramme permettant de déterminer la mesure d’équité la plus pertinente pour un système.

[[File:FairnessTree.png|center|thumb|625x625px|'''Figure 3: Organigramme de sélection de la métrique d’équité.''']]

[[File:FairnessTree.png|center|thumb|625x625px|'''Figure 3: Organigramme de sélection de la métrique d’équité''' <ref>http://www.datasciencepublicpolicy.org/our-work/tools-guides/aequitas/</ref>'''.''']]

Après avoir exposé les risques de préjudice dans le système, l’étape suivante consiste à déterminer les attributs protégés. Dans le contexte de la détection et de l’atténuation des biais, un attribut protégé fait référence à un attribut catégorique pour lequel il existe des préoccupations de biais dans les catégories d’attributs. La race et le sexe sont des exemples courants d’attributs protégés. Les attributs protégés pertinents pour l’application du système doivent être définis afin d’étudier les incidences disproportionnées dans les catégories d’attributs.

Après avoir exposé les risques de préjudice dans le système, l’étape suivante consiste à déterminer les attributs protégés. Dans le contexte de la détection et de l’atténuation des biais, un attribut protégé fait référence à un attribut catégorique pour lequel il existe des préoccupations de biais dans les catégories d’attributs. La race et le sexe sont des exemples courants d’attributs protégés. Les attributs protégés pertinents pour l’application du système doivent être définis afin d’étudier les incidences disproportionnées dans les catégories d’attributs.

Il existe un nombre croissant d’outils techniques de détection et d’atténuation des biais, qui peuvent compléter la capacité du praticien de l’IA à éviter et à atténuer les biais de l’IA. Dans le cadre du projet de Fonds des résultats 2021 - 2022, le MPO a exploré les outils de détection de biais suivants que les praticiens de l’IA peuvent utiliser pour éliminer les biais.

Il existe un nombre croissant d’outils techniques de détection et d’atténuation des biais, qui peuvent compléter la capacité du praticien de l’IA à éviter et à atténuer les biais de l’IA. Dans le cadre du projet de Fonds des résultats 2021 - 2022, le MPO a exploré les outils de détection de biais suivants que les praticiens de l’IA peuvent utiliser pour éliminer les biais.

==== '''FairLearn de Microsoft''' ====

==== FairLearn de Microsoft ====

Une boîte à outils de source ouverte de Microsoft qui permet aux praticiens de l’IA de détecter et de corriger l’impartialité de leurs systèmes d’IA. Pour optimiser les compromis entre l’équité et le rendement du modèle, la boîte à outils comprend deux éléments : un tableau de bord de visualisation interactive et un algorithme d’atténuation des biais .

Une boîte à outils de source ouverte de Microsoft qui permet aux praticiens de l’IA de détecter et de corriger l’impartialité de leurs systèmes d’IA. Pour optimiser les compromis entre l’équité et le rendement du modèle, la boîte à outils comprend deux éléments : un tableau de bord de visualisation interactive et un algorithme d’atténuation des biais <ref name=":1" />.

==== '''AI Fairness 360 d’IBM''' ====

==== AI Fairness 360 d’IBM ====

Une boîte à outils de source ouverte d’IBM qui aide les praticiens de l’IA à vérifier facilement les biais à plusieurs points de leur pipeline d’apprentissage machine, en utilisant la mesure de biais appropriée à leur situation. Elle contient plus de 70 mesures d’équité et de 11 algorithmes uniques d’atténuation des biais.

Une boîte à outils de source ouverte d’IBM qui aide les praticiens de l’IA à vérifier facilement les biais à plusieurs points de leur pipeline d’apprentissage machine, en utilisant la mesure de biais appropriée à leur situation. Elle contient plus de 70 mesures d’équité et de 11 algorithmes uniques d’atténuation des biais <ref name=":2">IBM Developer Staff, "AI Fairness 360," IBM, 14 November 2018. [Online]. Available: <nowiki>https://developer.ibm.com/open/projects/ai-fairness-360/</nowiki>. [Accessed 28 July 2021].</ref>.

== Étude de cas : Modèle prédictif pour la détection du comportement de pêche des navires ==

== Étude de cas : Modèle prédictif pour la détection du comportement de pêche des navires ==

Grâce au travail sur l’IA financé par le Fonds des résultats 2020-2021, une preuve de concept a été développée pour la détection automatisée de l’activité de pêche des navires à l’aide d’un modèle d’apprentissage machine. Le modèle prédictif qui en résulte prend les traces du navire en entrée et produit les traces du navire annotées de son activité, c’est-à-dire pêche ou non. Le modèle utilise des caractéristiques telles que l’écart de vitesse du navire, l’écart de cap et le type d’engin pour détecter l’activité du navire. Les renseignements obtenus grâce au modèle prédictif sont ensuite combinés à d’autres données, telles que les zones de gestion des pêches et les conditions de permis, afin de détecter les cas de non-respect des règlements de pêche.

Grâce au travail sur l’IA financé par le Fonds des résultats 2020 - 2021, une preuve de concept a été développée pour la détection automatisée de l’activité de pêche des navires à l’aide d’un modèle d’apprentissage machine. Le modèle prédictif qui en résulte prend les traces du navire en entrée et produit les traces du navire annotées de son activité, c’est-à-dire pêche ou non. Le modèle utilise des caractéristiques telles que l’écart de vitesse du navire, l’écart de cap et le type d’engin pour détecter l’activité du navire. Les renseignements obtenus grâce au modèle prédictif sont ensuite combinés à d’autres données, telles que les zones de gestion des pêches et les conditions de permis, afin de détecter les cas de non-respect des règlements de pêche.

[[File:FishingDetectionModel fr.png|alt=Modèle prédictif pour la détection du comportement de pêche : entrée et sortie|center|thumb|614x614px|'''Figure 5 : Modèle prédictif pour la détection du comportement de pêche : entrée et sortie''']]

[[File:FishingDetectionModel fr.png|alt=Modèle prédictif pour la détection du comportement de pêche : entrée et sortie|center|thumb|614x614px|'''Figure 5 : Modèle prédictif pour la détection du comportement de pêche : entrée et sortie''']]

Le modèle prédictif de détection de la pêche servira de base à la construction d’un système décisionnel automatisé pour la détection des comportements de pêche non conformes. Après consultation avec le SCT, le MPO a établi que la directive du SCT sur les systèmes décisionnels automatisés s’applique à la production du modèle.

Le modèle prédictif de détection de la pêche servira de base à la construction d’un système décisionnel automatisé pour la détection des comportements de pêche non conformes. Après consultation avec le SCT, le MPO a établi que la directive du SCT sur les systèmes décisionnels automatisés s’applique à la production du modèle.

==== Détection des biais ====

==== Détection des biais ====

Pour évaluer l’équité du modèle entre les différents types d’engins, les données sont d’abord partitionnées en fonction du type d’engin, puis la disparité du taux de faux positifs (TFP) [4] est mesurée. Le TFP est donné par le pourcentage d’instances négatives (d’activité de pêche) qui sont mal étiquetées par le modèle comme étant des instances positives. La disparité des TFP est mesurée comme la plus grande différence entre les TFP de chaque groupe de navires par type d’engin. Plus cette différence est importante, plus le degré de biais et de non-équité du système est élevé.

Pour évaluer l’équité du modèle entre les différents types d’engins, les données sont d’abord partitionnées en fonction du type d’engin, puis la disparité du taux de faux positifs (TFP) <ref name=":2" /> est mesurée. Le TFP est donné par le pourcentage d’instances négatives (d’activité de pêche) qui sont mal étiquetées par le modèle comme étant des instances positives. La disparité des TFP est mesurée comme la plus grande différence entre les TFP de chaque groupe de navires par type d’engin. Plus cette différence est importante, plus le degré de biais et de non-équité du système est élevé.

Dans cette enquête, FairLearn [2] a été utilisé pour mettre en œuvre les expériences de mesure de disparité des TFP. À titre de référence, AI Fairness 360 d’IBM [3], un autre outil d’atténuation des biais, applique un seuil de 10 sur des mesures de disparité similaires comme point au-delà duquel le modèle est considéré comme injuste dans une démonstration interactive[4]. Les résultats du modèle initial de détection de la pêche sont présentés dans le tableau 1. En raison d’un TFP excessivement élevé pour le type d’engin de pêche à la traîne, il existe une différence de disparité de TFP de 52,62. Ces résultats mettent en évidence un niveau inacceptable de biais présent dans le modèle qui doit être atténué.

Dans cette enquête, FairLearn <ref name=":1" /> a été utilisé pour mettre en œuvre les expériences de mesure de disparité des TFP. À titre de référence, AI Fairness 360 d’IBM <ref name=":2" />, un autre outil d’atténuation des biais, applique un seuil de 10 sur des mesures de disparité similaires comme point au-delà duquel le modèle est considéré comme injuste dans une démonstration interactive. Les résultats du modèle initial de détection de la pêche sont présentés dans le figure 6. En raison d’un TFP excessivement élevé pour le type d’engin de pêche à la traîne, il existe une différence de disparité de TFP de 52,62. '''<u>Ces résultats mettent en évidence un niveau inacceptable de biais présent dans le modèle qui doit être atténué.</u>'''

[[File:Chart 1.png|alt=Les résultats du TFP et de la précision de détection sont présentés pour chaque type de matériel. La différence de disparité du TFP est mesurée comme la différence entre le TFP le plus élevé et le plus bas, ce qui donne une valeur de 52,62.|center|thumb|518x518px|'''Figure 6: Les résultats du TFP et de la précision de détection sont présentés pour chaque type de matériel. La différence de disparité du TFP est mesurée comme la différence entre le TFP le plus élevé et le plus bas, ce qui donne une valeur de 52,62.''']]

[[File:Chart 1.png|alt=Les résultats du TFP et de la précision de détection sont présentés pour chaque type de matériel. La différence de disparité du TFP est mesurée comme la différence entre le TFP le plus élevé et le plus bas, ce qui donne une valeur de 52,62.|center|thumb|518x518px|'''Figure 6: Les résultats du TFP et de la précision de détection sont présentés pour chaque type de matériel. La différence de disparité du TFP est mesurée comme la différence entre le TFP le plus élevé et le plus bas, ce qui donne une valeur de 52,62.''']]

==== Atténuation des biais ====

==== Atténuation des biais ====

Les algorithmes d’atténuation des biais mis en œuvre dans FairLearn et d’autres outils similaires peuvent être appliqués à différentes étapes du pipeline d’apprentissage machine. En général, il existe un compromis entre le rendement du modèle et le biais, de sorte que les algorithmes d’atténuation induisent une perte de rendement du modèle. L’expérimentation initiale a démontré cette occurrence conduisant à une perte notable de rendement pour réduire le biais. Cela peut être observé dans les résultats présentés dans le tableau 2 où un algorithme d’atténuation a été appliqué pour réduire la disparité du TFP à 28,83 au prix d’une perte de précision dans la détection de la pêche.

Les algorithmes d’atténuation des biais mis en œuvre dans FairLearn et d’autres outils similaires peuvent être appliqués à différentes étapes du pipeline d’apprentissage machine. En général, il existe un compromis entre le rendement du modèle et le biais, de sorte que les algorithmes d’atténuation induisent une perte de rendement du modèle. L’expérimentation initiale a démontré cette occurrence conduisant à une perte notable de rendement pour réduire le biais. Cela peut être observé dans les résultats présentés dans le figure 7 où un algorithme d’atténuation a été appliqué pour réduire la disparité du TFP à 28,83 au prix d’une perte de précision dans la détection de la pêche.

[[File:Chart2.png|alt=Résultats pour le TFP et la précision après atténuation des biais au moyen de FairLearn. La différence de disparité du TFP est de 28,83.|center|thumb|471x471px|'''Figure 7: Résultats pour le TFP et la précision après atténuation des biais au moyen de FairLearn. La différence de disparité du TFP est de 28,83.''']]

[[File:Chart2.png|alt=Résultats pour le TFP et la précision après atténuation des biais au moyen de FairLearn. La différence de disparité du TFP est de 28,83.|center|thumb|471x471px|'''Figure 7: Résultats pour le TFP et la précision après atténuation des biais au moyen de FairLearn. La différence de disparité du TFP est de 28,83.''']]

Sur la base de ces résultats, il a été déterminé que les efforts d’atténuation des biais devraient être concentrés sur les étapes de nettoyage et de préparation des données du pipeline d’apprentissage machine, car c’est le point le plus précoce où cela peut être réalisé. Grâce à une analyse exploratoire supplémentaire des données, des problèmes notables ont été relevés en termes de représentation disproportionnée entre les types d’engins et de déséquilibre entre les instances positives et négatives pour certains types d’engins. Grâce à des ajustements du processus de nettoyage des données et à l’application de techniques telles que l’équilibrage et l’augmentation des données, une nouvelle version des données d’entraînement du modèle, mieux adaptée à la tâche d’atténuation des biais, a été produite. Les résultats de ces modifications sont présentés dans le tableau 3. Le TFP a été considérablement réduit pour tous les types d’engins, tout en préservant un niveau acceptable de précision de détection de la pêche. Notamment, la différence de disparité du TFP a été réduite de sa valeur initiale de 52,62 à 2,97.

Sur la base de ces résultats, il a été déterminé que les efforts d’atténuation des biais devraient être concentrés sur les étapes de nettoyage et de préparation des données du pipeline d’apprentissage machine, car c’est le point le plus précoce où cela peut être réalisé. Grâce à une analyse exploratoire supplémentaire des données, des problèmes notables ont été relevés en termes de représentation disproportionnée entre les types d’engins et de déséquilibre entre les instances positives et négatives pour certains types d’engins. Grâce à des ajustements du processus de nettoyage des données et à l’application de techniques telles que l’équilibrage et l’augmentation des données, une nouvelle version des données d’entraînement du modèle, mieux adaptée à la tâche d’atténuation des biais, a été produite. Les résultats de ces modifications sont présentés dans le figure 8. Le TFP a été considérablement réduit pour tous les types d’engins, tout en préservant un niveau acceptable de précision de détection de la pêche. Notamment, la différence de disparité du TFP a été réduite de sa valeur initiale de 52,62 à 2,97.

[[File:Chart3.png|alt=Résultats pour le TFP et la précision après que des améliorations ont été apportées au processus de préparation des données. La différence de disparité du TFP est de 2,97.|center|thumb|505x505px|'''Figure 8: Résultats pour le TFP et la précision après que des améliorations ont été apportées au processus de préparation des données. La différence de disparité du TFP est de 2,97.''']]

[[File:Chart3.png|alt=Résultats pour le TFP et la précision après que des améliorations ont été apportées au processus de préparation des données. La différence de disparité du TFP est de 2,97.|center|thumb|505x505px|'''Figure 8: Résultats pour le TFP et la précision après que des améliorations ont été apportées au processus de préparation des données. La différence de disparité du TFP est de 2,97.''']]