24 juillet Les tests A/B sur Canada.ca en quelques mots

Retour à GC Web Priorities Meetings - Réunions des Priorités Web du GC

Ordre du jour

1. Mises à jour

2. Tour de table

Remarques et mesures de suivi

Mises à jour

BTN

• Pas de mises à jour cette semaine

BCP

• Campagnes — nous avons encouragé les gens à se mettre au travail le plus tôt possible pour leurs campagnes.
• Consultez le fil de discussion Slack relatif aux campagnes pour des conseils, comme le fait d’éviter les carrousels.
• Un grand merci à l’Éditeur principal pour la nouvelle biographie du ministre MacKinnon.
• Nous célébrons aujourd’hui la journée internationale des autosoins.

Éditeur principal

• Retrait de la mention du ministre Seamus O’Regan et remplacement de cette dernière par celle du nouveau ministre, Steven MacKinnon.
• Nous avons supprimé d’AEM le widget « Partagez cette page ». Si vous n’utilisez pas AEM, veuillez supprimer ce widget d’ici la fin août.

BCP — Impact Canada — Harry MacKay

Les tests A/B sur Canada.ca en quelques mots

• Nous avons commencé en 2017
• Nous comptons parmi nos partenaires :
  • ECCC
  • RNCan
  • ASPC, Santé Canada, etc.
• Que sont les tests A/B?
  • La conception de nombreux sites est guidée par des principes descendants en matière d’utilisabilité, de composition, etc.
  • Les tests A/B permettent de tester plusieurs versions d’un même produit de manière empirique.
  • Les variantes sont attribuées aux sujets de manière aléatoire lorsque ceux-ci arrivent sur la page.
• Points à prendre en compte pour des tests réussis :
  • Le BTN a fourni des renseignements précieux sur les tests A/B.
  • Canada.ca a pour mandat de fournir des renseignements clairs au public.
  • L’idéal est de réaliser des tests A/B axés sur un seul élément à la fois.
• Exemples de tests A/B sur Canada.ca
  • Prenons l’exemple d’un test sur le site de l’ARC : le fait de rendre l’élément sur lequel il fallait cliquer plus proéminent a permis d’augmenter de 20 % l’aboutissement au résultat visé.
  • Le Bureau de la dirigeante principale de l’accessibilité a réalisé des tests similaires dans lesquels le fait que le bouton était cliquable était mis plus en évidence, ce qui a conduit à des résultats favorables.

• Considérations en matière d’efficacité statistique
  • Vous devez vous assurer d’avoir assez de trafic sur votre page pour obtenir des résultats significatifs.
  • La taille de l’échantillon dépend du nombre de vues sur la page.
  • Pour faire augmenter le nombre de visiteurs et de visiteuses, votre seule possibilité est de faire durer le test plus longtemps.
  • Il est donc crucial de connaître le nombre moyen de visiteurs et visiteuses par jour pour votre page.
    • Liste de contrôle relative à l’efficacité statistique
      • Nombre moyen de visiteurs quotidiens et visiteuses quotidiennes — analytique de Canada.ca
      • Taux de référence en matière de comportement cible
      • Ampleur attendue de l’effet de la manipulation pendant les tests.
  • Adobe fournit un outil permettant d’estimer le nombre de visiteurs et visiteuses dont vous aurez besoin pour un taux d’amélioration et un taux de conversion de référence donnés.
• Nous utilisons Adobe Target pour nos tests A/B, l’accès à ce logiciel est géré par l’Éditeur principal
  • Page GCpédia d’Adobe Target : https://www.gcpedia.gc.ca/wiki/Adobe_Target_User_Guide

Considérations en matière de protection de la vie privée et d’éthique

• Les renseignements personnels ne sont pas recueillis
• Remettez-en vous à votre propre jugement lorsque vous utilisez Adobe Target dans des environnements impliquant des renseignements protégés.
• Les ministères ont pour mandat de fournir des renseignements clairs.
  • Ceci peut limiter les possibilités de modifier la terminologie ou le texte employés sur votre page.
• Il peut être bon de soumettre vos projets à l’entité d’évaluation de l’éthique de votre ministère, si votre ministère en possède une.
• Arrêtez-vous à un moment prédéterminé pour éviter des résultats biaisés.
• L’approche de l’analyse séquentielle a des règles d’arrêt prédéfinies, comme pour les essais cliniques. L’objectif est d’éviter un problème éthique : celui d’imposer aux utilisateurs et utilisatrices des versions de pages Web cruciales offrant une performance amoindrie.

Points à retenir

• Les tests A/B constituent un outil puissant pour l’amélioration de l’utilisabilité
• L’efficacité statistique est la principale préoccupation lors de la planification de votre projet
  • Le taux d’amélioration moyen est de 2 %. Toutes les pages Canada.ca n’ont pas le trafic suffisant pour la réalisation d’un test.
• Le test est relativement peu coûteux

QUESTIONS

Q : Comment jugez-vous ces tests en comparaison à d’autres types de tests?

R : C’est une bonne méthode une fois que le site Web a été mis en place. C’est vraiment une solution d’optimisation. Ne permet pas très bien de répondre aux questions d’accessibilité. Ces tests sont pertinents en combinaison avec d’autres types de tests pouvant être plus adaptés à une catégorie spécifique d’utilisateurs et utilisatrices ou à d’autres considérations.

Remarque : Les tests A/B sont utiles pour régler certains points comme les désaccords des client·e·s ou du cabinet ministériel.

Remarque : Nous avons récemment fait une présentation sur Adobe Target, la voici : https://gcxgce.sharepoint.com/:p:/t/1000163/ESGBlOV_32RNuYTcPJKTU8EBO9J9Quk0Ef9jMHej1NYSAg?e=4nGzEc

Remarque :

Les tests d’utilisabilité sur un prototype peuvent aussi être une solution pour les potentielles considérations éthiques mentionnées par Harry.

Prenons un exemple : si vous souhaitez tester l’incidence de la suppression d’un paragraphe de contenu entier et que vous voulez éviter que certaines personnes utilisant la page aient plus d’informations que d’autres, vous pouvez réaliser des tests d’utilisabilité au lieu d’un test A/B.

Table ronde

ISDE

• Rappel : nous demandons toujours aux ministères de nous communiquer les pages incluant du contenu généré à l’aide de l’IA afin que nous puissions créer le sujet secondaire — nous visons un lancement en septembre.

Contact : christopher.colyer@ised-isde.gc.ca