Manuel des projets de réglementation : Plan de mesure du rendement et d'évaluation

English

Nous avons archivé cette page et elle ne sera plus mise à jour.

Vous pouvez la consulter à des fins de recherche ou à titre de référence. Veuillez consulter notre page web Directive du Cabinet sur la réglementation: politiques, directives et outils pour les instruments de politiques et directives en vigueur.

Introduction

Le présent manuel expose d'abord le but d'un plan de mesure de rendement et d'évaluation (PMRÉ) pour les activités de réglementation et donne également des conseils sur la manière d'élaborer et de remplir le modèle de PMRÉ. Ce manuel vient aussi appuyer la mise en œuvre de la Directive du Cabinet sur la rationalisation de la réglementation (DCRR).

Il s'adresse tout particulièrement aux fonctionnaires du gouvernement qui doivent élaborer et mettre en œuvre un plan de mesure du rendement et d'évaluation (PMRÉ) pour leur projet de réglementation ainsi qu'aux analystes du Secteur des affaires réglementaires (SAR) du Secrétariat du Conseil du Trésor du Canada (SCT) qui exercent une fonction de remise en question.

Dans ce manuel, les activités de réglementation comprennent les règlements, le programme de réglementation ainsi que les activités connexes comme les communications, l'inspection et l'application de la réglementation.

Quelles sont les exigences en matière de mesure du rendement aux termes de la Directive du Cabinet sur la rationalisation de la réglementation?

Les exigences qui s'appliquent aux mesures de rendement pour les activités de réglementation sont énoncées à la section 4.6 de la DCRR, « Mesure, évaluation et examen de la réglementation ». Ces exigences sont aussi indiquées dans le modèle des résumés de l'étude d'impact de la réglementation (REIR).

Quel est le but d'un plan de mesure du rendement et d'évaluation?

Un plan de mesure du rendement et d'évaluation a pour but de veiller à ce que les activités de réglementation atteignent leurs objectifs stratégiques initiaux et d'assurer un renouvellement continu des activités de réglementation. Un PMRÉ constitue une feuille de route ou un énoncé concis permettant de planifier, d'assurer un suivi, d'évaluer les résultats et d'en rendre compte tout au long du cycle de vie d'un règlement. Une fois mis en œuvre, ce plan aide l'organisme de réglementation à réaliser les objectifs suivants :

• assurer la mise en place d'un modèle clair et logique qui lie les ressources et les activités aux résultats escomptés;
• décrire les rôles et les responsabilités des principaux intervenants en ce qui a trait au projet de règlement;
• se prononcer de façon éclairée sur la façon d'améliorer constamment le rendement;
• démontrer la responsabilisation ainsi que les avantages pour la population canadienne;
• veiller à ce que les décideurs des organismes centraux et des organismes de réglementation, de même que les Canadiens, disposent d'une information fiable et en temps opportun;
• veiller à ce que les données recueillies appuient efficacement l'évaluation.

À quel moment un plan de mesure du rendement et d'évaluation est-il requis?

Avant de présenter un projet de réglementation, les ministères et les organismes sont censés procéder à une évaluation, en fonction de l'énoncé de triage, en collaboration avec le Secteur des affaires réglementaires du Secrétariat, afin de mesurer l'incidence (faible, moyenne ou élevée) de ce projet.

Il faut remplir le modèle de PMRÉ lorsque la réponse à une ou plusieurs des questions 1 à 6 de l'énoncé de triage est « élevée ». Pour les projets de réglementation d'incidence moyenne, il est facultatif de remplir le modèle de PMRÉ. L'organisme de réglementation a donc la discrétion de le faire.

Où les activités de réglementation s'intègrent-elles dans l'architecture des activités des programmes et dans le Cadre de mesure du rendement?

Au moment d'élaborer le PMRÉ, il est important de se poser la question suivante : Comment ce PMRÉ s'intégrera-t-il dans la structure de gestion, des ressources et des résultats (SGRR) du Ministère — plus précisément dans l'architecture des activités des programme (AAP) et dans le Cadre de mesure du rendement (CMR)?

Le cas échéant, les activités de réglementation seraient représentées dans l'AAP et dans le CMR connexe du Ministère comme une composante d'un programme de moindre niveau, c'est-à-dire, une sous-sous-activité de programme (voir le graphique Lien avec l'architecture des activités des programmes). Lorsque les activités de réglementation comptent pour beaucoup dans la compréhension du « pourquoi » et du « comment » qui justifient la dépense de fonds pour atteindre les résultats escomptés du programme, elles doivent être mentionnées dans la description du programme, à moins de fournir un motif impérieux justifiant de ne pas les mentionner. Les gestionnaires de programme doivent tenir compte de la façon dont les indicateurs de rendement qui appuient les activités de réglementation s'inscrivent dans le CMR d'un programme. Par exemple, les indicateurs d'une activité de réglementation peuvent soutenir l'atteinte d'un résultat de programme dont on fait le suivi dans le CMR ou encore d'un résultat escompté du programme. Nous encourageons fortement les gestionnaires à consulter les groupes ministériels clés (p. ex., les chefs de l'évaluation, les équipes ou les unités de mesure du rendement des programmes) afin de trouver la meilleure façon d'harmoniser les indicateurs de rendement avec la SGRR.

Pour s'assurer qu'un nouveau PMRÉ est pris en compte dans l'APP et le CMR d'un ministère, ceux-ci devraient être actualisés lors du prochain examen prévu de l'AAP et du CMR, mais seulement après que la réglementation ait été publiée dans la partie II de la Gazette du Canada.

Comment remplir un modèle de plan de mesure du rendement et d'évaluation

Cette section renferme une description des neuf éléments fondamentaux du modèle de PMRÉ (voir l'annexe A). Vous pouvez consulter une liste des définitions de la mesure du rendement dans le Lexique de la gestion axée sur les résultats. L'information tirée du modèle de PMRÉ est reprise dans la section « Mesures de rendement et évaluation » du REIR. Si le projet de réglementation inclut une présentation au CT, les données du PMRÉ devraient correspondre à celles qui figurent dans la présentation au CT (voir le Guide pour la préparation de présentations au Conseil du Trésor).

Description et aperçu du projet de réglementation

La composante d'introduction d'un PMRÉ devrait comporter une description détaillée des problèmes et des risques – tels que recensés dans l'énoncé de triage – que le projet de réglementation veut résoudre. Cette section devrait également préciser le public cible visé par le projet, les bénéficiaire ciblés ainsi que les changements de comportement recherchés chez des groupes particuliers. Cet élément du modèle de PMRÉ est lié aux sections « Questions », « Objectifs » et « Description » du REIR.

Les questions auxquelles il faut répondre sont les suivantes :

• Quel problème le projet de réglementation vise-t-il à résoudre?
  • Quelles sont les preuves de l'existence d'un problème?
  • Pourquoi ce problème est-il important?
• Quels sont les objectifs concrets du projet de réglementation?
• Comment le projet de réglementation permettra-t-il d'atteindre les objectifs en vue de résoudre le problème ou de l'atténuer?
• Quels bénéficiaires le projet de réglementation vise-t-il (p. ex., l'ensemble de la population canadienne, des groupes cibles parmi cette population, comme les enfants de moins de 4 ans)?
• Quels sont les publics cibles (p. ex., les particuliers et les organismes touchés par la réglementation) visés par le projet de réglementation?
• Quels sont les changements de comportement du public cible qui doivent être abordés (p. ex., sensibilisation, compréhension, capacité, conformité, etc.)?

Cette section devrait également décrire comment le projet de réglementation s'inscrit dans l'ensemble des activités ministérielles (c'est-à-dire, la nature de sa contribution au programme de réglementation, à l'atteinte des résultats stratégiques du ministère (AAP) ou à d'autres initiatives très importantes). Il faut en outre préciser si les activités de réglementation recoupent les champs de compétence ou d'intervention de divers organismes de réglementation. Enfin, il faut préciser comment l'information résumée et communiquée sera utilisée pour l'amélioration du rendement des activités de réglementation.

Modèle logique

Un modèle logique est un graphique accompagné de textes qui relatent l'historique des activités de réglementation. Il établit le lien entre, d'une part, les intrants (ressources) et les activités (ce que l'on fait) et, d'autre part, les extrants (produits ou services que produisent les activités), les groupes touchés (bénéficiaires ou parties touchés par la réglementation) et les résultats prévus de l'initiative (l'ordre de réalisation des changements au sein des groupes qui échappent au contrôle de l'organisme de réglementation). Sous sa forme la plus simple, le modèle logique comporte cinq composantes logiques interdépendantes :

• Intrants : ressources humaines et financières utilisées pour entreprendre les activités de réglementation en vue de produire des extrants (c'est-à-dire, les services et les produits). Les intrants comprennent notamment l'effectif, les installations matérielles, l'équipement, le matériel et le financement. Dans certains cas, pourront également y être inclus les pouvoirs législatifs ou réglementaires requis afin d'entreprendre les activités de réglementation.
• Activités : mesures que le ministère ou l'organisme entreprend afin de produire ses extrants. Ainsi, les organismes de réglementation mettent souvent en place des systèmes d'inspections et de délivrance de permis ou de licences.
• Extrants : produits ou services que produisent les activités de réglementation. Les extrants sont des résultats sur lesquels une organisation exerce un contrôle complet. Les résultats qui dépassent le cadre des extrants sont ceux qui échappent au plein contrôle de l'organisme de réglementation.
• Groupes cibles (groupes joints) : personnes, groupes ou organismes que l'activité de réglementation cherche à atteindre et à influencer. Il y a aussi bien les « réglementés » (c.-à-d., assujettis à des règlements) que d'autres groupes clés qui influenceront grandement le succès de l'initiative (p. ex., le secteur public, le secteur privé, certains organismes sans but lucratif, d'autres institutions et des Canadiens).
• Résultats : résultats attribuables à un organisme de réglementation. Ces résultats ne sont pas directement sous le contrôle d'une activité précise de réglementation. Ils sont plutôt touchés par les activités de l'organisme. Ces résultats sont, en outre, qualifiés d'immédiats (ou directs), d'intermédiaires ou d'ultimes, et ils sont liés aux groupes cibles que l'organisme de réglementation cherche à influencer.

Les problèmes ou les risques énumérés à la section 1 du modèle de PMRÉ facilitent l'énonciation des intrants, des activités, des extrants et des résultats dans le modèle logique. Vous voudrez bien vous référer à l'annexe B pour en apprendre plus sur la façon dont l'énoncé des risques et problèmes aident à établir le contexte vital des résultats. Cet élément fait également l'objet d'un cours qui est donné par l'École de la fonction publique du Canada.

Lorsque les organismes de réglementation élaborent l'aspect logique du projet de réglementation, ils peuvent s'inspirer d'autres documents ministériels liés à la SGRR. Dans la mesure du possible, un lien devrait être établi entre le modèle logique de l'activité de réglementation, les programmes connexes et les résultats stratégiques de l'organisme de réglementation.

Les modèles logiques devraient être examinés et être validés par le ministère approprié ou le personnel de l'organisme afin de confirmer l'exactitude de la structure logique du programme et d'obtenir plus facilement l'appui des personnes qui auront un rôle à jouer dans la mise en place et le fonctionnement du système de surveillance continue de la mesure du rendement. Dans le but de favoriser la consultation et la mobilisation permanente des intervenants, nous encourageons les ministères et les organismes, lorsqu'il est approprié de le faire, à inciter les intervenants de l'extérieur qui s'intéressent à l'activité de réglementation à y participer.

Indicateurs

Un indicateur est un moyen quantitatif ou qualitatif de mesurer le rendement ou les progrès d'une initiative vers l'atteinte des résultats désirés. Sur le plan opérationnel, les indicateurs décrivent les extrants ou les résultats qui sont recherchés au fil du temps.

Les indicateurs devraient être élaborés à partir du modèle logique qui se trouve dans le modèle de PMRÉ. Ils doivent être énoncés en ordre de priorité et leur nombre devrait être limité lorsqu'ils sont sélectionnés en vue d'être contrôlés. Il est plus efficace de mesurer un petit nombre d'indicateurs cruciaux qu'un grand nombre d'indicateurs de moindre portée. Il importe de préciser un petit ensemble d'indicateurs hautement significatifs afin d'être en mesure d'effectuer le suivi du rendement global à l'égard de l'atteinte des résultats escomptés et des objectifs stratégiques du projet de réglementation (p. ex., la santé, la sûreté, la sécurité, la protection de l'environnement, les entreprises et le commerce, ainsi que la prospérité des Autochtones). Dans la mesure du possible, ces indicateurs devraient être uniformes avec les indicateurs du CMR et, idéalement, les étayer.

Les indicateurs devraient, autant que possible, être exprimés sous forme numérique (par exemple, chiffres bruts, moyennes, pourcentages, taux, ratios ou indices. Si des indicateurs qualitatifs sont utilisés, ils devraient être objectivement vérifiables. Lors de la sélection des indicateurs, il faudrait garder certains critères à l'esprit. Les indicateurs devraient être :

• pertinents et valides;
• énoncés par ordre de priorité et limités en nombre;
• équilibrés et exhaustifs;
• significatifs et intelligibles;
• établis en temps opportun et réalisables;
• d'un bon rapport coût-efficacité aux fins de mesure.

  Conseil : Élaboration des indicateurs — Méthode rapide Lors de l'élaboration des indicateurs de rendement, il est utile de se poser la question suivante : Qu'est-ce que vous comprendriez ou que vous constateriez si les résultats escomptés que vous avez décrits étaient atteints? Le simple fait de répondre à cette question devrait vous fournir de bonnes indications sur ce que devrait être l'indicateur de rendement. Une fois que vous aurez répondu à la question, vous voudrez définir l'indicateur en procédant de la façon suivante :

1. Suggérez l'ampleur du changement, par exemple en nombre, en proportion ou en pourcentage, en taux, en rapport, en montant ou en niveau.
2. Précisez ce qui doit faire l'objet du changement. Il peut s'agir du groupe cible de la population, d'un participant au programme, d'un client, d'un particulier, d'une organisation, d'un organisme ou d'une collectivité. Plus vous décrirez précisément le groupe qui devrait changer ou dont vous espérez une réaction, plus vous formulerez votre indicateur précisément.
3. Précisez ce qui devrait changer ou se produire. Il peut s'agir de modifications touchant la sensibilisation, l'attitude, les connaissances, les compétences, les aspirations, les engagements, les comportements ou les pratiques. Il peut aussi s'agir de simples réactions, comme la perception ou le niveau de satisfaction. Il est à noter que ce n'est pas toujours un changement en tant que tel. Nous recherchons parfois à maintenir les réactions et les comportements existants. Il faudrait toujours se conformer à un principe clé, soit la logique des résultats prévus d'une initiative, lors de l'élaboration des indicateurs. Vous trouverez ci-dessous quelques exemples.

Niveaux	Exemples
Résultats ultimes Résultats se situant au niveau le plus élevé parmi les résultats pouvant raisonnablement découler d'une politique, d'un programme ou d'une initiative et qui résulte de l'atteinte d'un ou de plusieurs résultats intermédiaires. Il s'agit de résultats qui reflètent un changement de situation de la population cible.	Niveau d'incidence en matière de santé (p. ex., nombre d'incidents par tranche de 100 000 habitants) Niveau de dégradation de l'environnement (p. ex., degré d'érosion du sol, degré de pollution de l'air et des eaux) Niveau d'activité ou de croissance économique (p. ex., changement en pourcentage du PIB, investissements étrangers directs ou emploi)
Résultats intermédiaires Résultats que l'on s'attend logiquement à obtenir après l'atteinte d'un ou de plusieurs résultats immédiats	Nombre d'entreprises inspectées et jugées conformes au règlement x Degré de préparation en cas d'urgence (cote 1 : entièrement conforme à la norme – aucune amélioration requise; cote 2 : partiellement conforme à la norme – modifications mineures nécessaires; cote 3 : importantes améliorations requises) touchant les installations du service dans la région y Pourcentage d'entreprises inspectées et jugées conformes aux articles X, Y et Z de la loi x Pourcentage d'entreprises inspectées et jugées non conformes aux articles a, b et c de la loi x qui se sont par la suite conformées aux exigences en cours d'année
Résultats immédiats Résultats directement attribuables aux extrants d'une politique, d'un programme ou d'une initiative	Pourcentage d'utilisateurs ciblés qui ont assisté à une séance d'information Pourcentage d'utilisateurs (rapport précis) ayant déclaré avoir trouvé les renseignements fournis à tout le moins assez utiles Niveau (dépassé, atteint, pas atteint) de soutien obtenu du signataire A du PE à l'égard des modalités convenues Nombre de téléchargements de l'information de sécurité au site Web de l'organisme
Extrants Produits ou services directs découlant des activités d'un organisme, d'une politique, d'un programme ou d'une initiative et habituellement contrôlés par l'organisme lui-même.	Nombre de communications, d'événements, d'inspections, de mentions, etc.) Résultat atteint (oui/non) dans le délai prévu

Mesure et rapports

Après la sélection d'un ensemble d'indicateurs, l'étape suivante vise à mettre au point une approche permettant de mesurer continuellement le rendement et de rendre compte des résultats obtenus. Il est courant de résumer une stratégie de mesure et de rapport sous forme de tableau. Il y aurait notamment une description de l'élément mesuré (extrant ou résultat), l'indicateur en tant que tel, une description de la source de données de l'indicateur et des méthodes employées pour recueillir les données, une description de l'établissement de la base de référence (à partir des données existantes ou d'une nouvelle base établie en fonction de la première mesure), les objectifs de rendement de l'indicateur, une description de la fréquence de mesure de l'indicateur ainsi qu'une description des services ou des personnes chargés des mesures et de la collecte des données. La majeure partie de ces données devrait se retrouver dans l'analyse coûts-avantages et dans le REIR du projet de réglementation. Le tableau du PMRÉ pourrait également aborder tous les niveaux du modèle logique (p. ex., extrants ainsi que résultats immédiats, intermédiaires et finaux).

En vue de faciliter l'actualisation du CMR, le tableau suivant devrait être utilisé dans le modèle de PMRÉ. Toutefois, ce tableau pourrait aussi être étoffé en y ajoutant d'autres éléments qui vont au-delà de ce qui est nécessaire pour actualiser le CMR.

Résultat stratégique/résultat escompté/extrant	Indicateur de rendement	Source de données	Fréquence de la collecte de données	Cible	Date d'atteinte de la cible

Le choix d'une source de données ou d'une méthode de collecte des données dépend du type d'indicateurs de rendement utilisés et du but dans lequel l'information est recueillie. Le choix d'une source de données peut être aussi influencé par le fait que les données sont recueillies régulièrement (à des fins de contrôle continu) ou périodiquement (dans le cadre d'une évaluation). Les données peuvent être recueillies à diverses sources, dont les suivantes :

• Données administratives : information recueillie dans le cadre d'activités courantes, comme le traitement des demandes de permis et de licences, les vérifications, les inspections et les activités d'exécution. Les organismes de réglementation devraient également tenir compte du fardeau administratif que cette cueillette peut représenter pour les entreprises et les particuliers.
• Données primaires : information recueillie dans le cadre d'exercices spécialisés de collecte de données, comme les sondages, les groupes de réflexion, les groupes d'experts ou les études d'évaluation spécialisées.
• Données secondaires : données recueillies par d'autres organismes, telles les statistiques nationales sur la santé ou la situation économique.

Les bases de référence permettent de déterminer des points de référence en fonction desquels l'évolution ultérieure des indicateurs peut être mesurée. Si vous disposez de données chronologiques fiables sur l'indicateur de rendement, vous devriez vous en servir. Sinon, il faut recueillir un ensemble de données de référence dès que possible.

Les cibles de rendement sont des valeurs d'indicateur qui sont projetées sur des périodes données (trimestre, semestre ou année). La cible visée pour le projet de réglementation devrait être rattachée à l'analyse (p. ex., analyse coûts-avantages et évaluation du risque) sur laquelle la décision de prendre le règlement a été basée au départ. Les cibles peuvent aussi avoir été fixés en vue d'atteindre des niveaux de rendement à long terme. L'information recueillie peut également fournir des indications provisoires quant au fonctionnement d'indicateurs donnés. Elle peut aussi s'avérer utile lors de la préparation de rapports et de budgets annuels. Voici quelques lignes directrices dont vous pouvez vous inspirer pour fixer des cibles :

• les cibles peuvent être fixés en fonction du rendement antérieur (c.-à-d., le niveau auquel le rendement n'est plus considéré problématique);
• les cibles peuvent être fixés en fonction du niveau de rendement le plus élevé atteint jusqu'à maintenant;
• les cibles peuvent être fixés en fonction du niveau de rendement moyen enregistré par le passé;
• les cibles peuvent être fixés en fonction du niveau de rendement atteint par d'autres administration publiques ou par des entreprises privées menant des activités similaires;
• il faut s'assurer que les cibles retenues soient réalistes, compte tenu du budget du programme, du personnel qui y est affecté et des effets anticipés du programme;
• il convient de déterminer les facteurs – internes et externes – qui peuvent influer sur la capacité du programme d'atteindre les résultats escomptés.

Chaque année, les organismes de réglementation ont la responsabilité de rendre compte de leurs activités à la population canadienne au moyen des rapports sur les plans et les priorités (RPP) et des rapports ministériels sur le rendement (RMR). Ils ont ainsi une excellente occasion de récapituler les constatations faites dans le cadre des activités permanentes de mesure du rendement. D'autres instruments de rapport, tels les sites Web, les rapports annuels et les bulletins d'information, constituent également des moyens efficaces de tenir les Canadiens au courant des progrès d'un projet de réglementation, et ce, au moment opportun.

Stratégie d'évaluation

Les organismes de réglementation sont tenus d'évaluer leurs activités de réglementation conformément aux échéanciers et aux cycles énoncés dans la Politique d'évaluation où l'évaluation est définie comme « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats ». Le plan annuel d'évaluation du ministère devrait faire référence à l'évaluation des activités de réglementation.

La stratégie d'évaluation est un cadre de haut niveau dans lequel sont définies et sont documentées les questions clés de l'évaluation et le type de données requises pour y répondre. La stratégie d'évaluation a pour objet d'atteindre les résultats suivants :

• permettre aux gestionnaires de programmes et au chef de l'évaluation de s'assurer que les données sur le rendement générées par la stratégie de mesure du rendement (MR) seront suffisantes pour étayer l'évaluation;
• fournir aux gestionnaires de programmes et au chef de l'évaluation l'occasion de s'assurer que les données administratives nécessaires aux fins de l'évaluation, en plus de celles qui seront recueillies dans le cadre de la stratégie de mesure du rendement, seront disponibles au moment de l'évaluation;
• permettre au chef de l'évaluation de déterminer quelles données supplémentaires devront être recueillies pour appuyer l'évaluation;
• permettre aux gestionnaires de programmes de prévenir à l'avance le chef de l'évaluation des engagements en matière d'd'évaluation susceptibles d'étoffer le plan d'évaluation ministériel.

La stratégie d'évaluation devrait préciser le calendrier et les responsabilités touchant l'élaboration du cadre d'évaluation ainsi que la date d'achèvement de l'évaluation. Les organismes de réglementation ont la latitude voulue pour déterminer la méthode d'évaluation et fixer un degré d'effort d'évaluation proportionnel aux effets des activités de réglementation qui ont été cernées dans l'énoncé de triage pour autant que l'évaluation aborde les questions fondamentales énoncées dans l'annexe A de la Directive sur la fonction d'évaluation.

Il est prévu que la Stratégie d'évaluation respectera les exigences de la Politique d'évaluation et de la Directive sur la fonction d'évaluation. Le Guide pour l'élaboration de stratégies de mesure du rendement qui appuient efficacement l'évaluation (à venir) est par ailleurs une ressource précieuse pour l'élaboration de la stratégie d'évaluation. De plus, nous encourageons les organismes de réglementation à consulter leur chef de l'évaluation lors de l'élaboration de la stratégie d'évaluation.

Résultats stratégique

Lien avec l'architecture des activités des programmes

Il convient de décrire brièvement la façon dont les activités de réglementation s'intègrent à l'architecture des activités des programmes (AAP). Si les activités de réglementation ne s'inscrivent pas déjà dans l'AAP, vous devez indiquer à quel moment celles-ci seront intégrées. Voici un exemple de la façon dont des activités de réglementation peuvent être intégrées à une AAP :

Examen du Secteur des affaires réglementaires

Une ébauche du PMRÉ doit être envoyée à l'analyste de portefeuille du Secteur des affaires réglementaires du Secrétariat qui doit l'examiner afin de confirmer qu'il respecte les exigences du DCRR. Cette mesure doit être prise avant que le PMRÉ ne soit approuvé par le sous-ministre adjoint responsable de l'organisme de réglementation. Le chef de l'évaluation devrait avoir formulé des commentaires avant d'obtenir la confirmation du Secteur des affaires réglementaires du Secrétariat.

Approbation du sous-ministre adjoint

Le chef de l'évaluation doit examiner le PMRÉ et convenir qu'il soutient efficacement la réalisation d'une évaluation éventuelle. Le PMRÉ est alors signé par le sous-ministre adjoint (ou son équivalent) qui est responsable du projet de réglementation.

Les critères d'approbation du sous-ministre adjoint (ou son équivalent) sont les suivants :

• la portée et le niveau de détails du PMRÉ sont proportionnels à l'incidence du projet de réglementation;
• le contenu est précis et prend en compte la conception, la mise en œuvre et l'évaluation des activités de réglementation;
• il y a un engagement à faire un suivi et une évaluation du rendement du projet de réglementation et à rendre compte de ce rendement, y compris la mise en œuvre du PMRÉ, en ayant recours aux données sur les progrès accomplis pour appuyer la prise de décisions et la réalisation d'exercices d'évaluation périodiques conformément au plan d'évaluation ministériel;
• les modalités de responsabilisation concernant la collecte d'information sur le rendement, la présentation en temps opportun de rapports connexes et l'exécution des activités d'évaluation sont clairement définies;
• les ressources sont suffisantes pour assurer la mise en œuvre du PMRÉ;
• le chef de l'évaluation a examiné le PMRÉ et convient qu'il soutient efficacement la réalisation d'une évaluation éventuelle.

Il est essentiel d'obtenir toutes les autres approbations requises avant de demander au Secteur des affaires réglementaires du Secrétariat d'approuver le REIR. L'organisme de réglementation doit ensuite envoyer deux exemplaires signés de la version finale du PMRÉ au Secteur des affaires réglementaires.

Personne-ressource du ministère

Indiquez les coordonnées de la personne-ressource ou des personnes-ressources aux fins des demandes de renseignements.

Quels sont les éléments requis dans le résumé de l'étude d'impact de la réglementation?

Un sommaire (d'au plus 2 pages) du PMRÉ doit être inséré dans la section « Mesures de rendement et évaluation » du REIR, y compris les éléments clés suivants :

• un résumé de la façon dont les activités de réglementation relient les intrants et les activités aux extrants, aux groupes cibles et aux résultats escomptés de l'initiative (c.-à-d., un résumé du modèle logique);
• une description des indicateurs qui ont été définis pour mesurer les changements des extrants et les résultats du projet de réglementation;
• une description de la façon dont l'information sera résumée, communiquée et utilisée pour améliorer le rendement des activités de réglementation et l'indication des dates de ces processus;
• un aperçu de la façon dont les activités de réglementation seront évaluées (c'est-à-dire, la méthodologie) et l'indication de la date de cette évaluation;
• la mention que le PMRÉ est disponible sur demande.

Qui peut fournir des conseils et de l'aide et où la formation peut-elle être suivie?

Les spécialistes ministériels de l'évaluation et de la mesure du rendement peuvent fournir une orientation en vue de définir les principaux résultats, les résultats logiques et les politiques envisagées; ils peuvent également vous guider sur la détermination et le choix des indicateurs, sans oublier l'élaboration de stratégies de surveillance continue et de rapport, en plus des activités d'évaluation. Les spécialistes qui s'occupent de l'analyse coûts-avantages du projet de réglementation peuvent également apporter une valeur ajoutée à votre travail. Les employés des services de la gestion de l'information et de la technologie de l'information peuvent en outre contribuer au processus d'élaboration du PMRÉ en mettant à votre disposition leurs compétences en matière de conception ou de restructuration de systèmes de données. Ils peuvent repérer les données déjà recueillies et celles qui seraient faciles à recueillir, préciser quels mécanismes de collecte sont déjà en place et évaluer l'incidence du choix de tel ou tel indicateur aux fins de la surveillance continue.

CONSEIL : Il a été noté qu'il était efficace de mettre sur pied une équipe chargée d'élaborer et de mettre en œuvre un PMRÉ. Cette équipe devrait non seulement regrouper des responsables de l'élaboration de règlements, des évaluateurs et des fonctionnaires ministériels mais aussi des experts en analyses coûts-avantages, des évaluateurs et des gestionnaires de risque, des membres du personnel de la technologie de l'information, des analystes du SCT, des membres des services de promotion de l'observation, d'exécution et de surveillance.

Nous vous recommandons également de faire participer l'analyste de portefeuille du Secteur des affaires réglementaires du Secrétariat travaux dès les premières étapes du processus et de manière permanente.

Si vous avez besoin de conseils ou d'aide supplémentaires pour renforcer la capacité de votre organisme de réglementation, vous pouvez aussi communiquer avec le :

Centre de compétences en réglementation (CCR)

Secteur des affaires réglementaires

Secrétariat du Conseil du Trésor du Canada

Téléphone : 613-943-5076

Courriel: info@regulation.gc.ca

Pour sa part, l'École de la fonction publique du Canada (EFPC) offre un cours sur les PMRÉ qui peut être adapté aux besoins particuliers de votre organisme de réglementation :

• Cours Mesure du rendement et évaluation en réglementation (R003)

Résumé étape par étape du processus du plan de mesure du rendement et d'évaluation

Étape 1

Les organismes de réglementation rédigent l'énoncé de triage, en collaboration avec le Secteur des affaires réglementaires du Secrétariat afin de déterminer le niveau d'incidence (faible, moyen ou élevé) du projet de règlement. Vous ne remplissez le modèle de PMRÉ que lorsque la réponse à au moins l'une des questions 1 à 6 de l'énoncé de triage est « élevé ». Pour les projets de réglementation d'incidence moyenne, l'établissement d'un PMRÉ est laissé à la discrétion de l'organisme de réglementation.

Étape 2

L'organisme de réglementation prépare le PMRÉ. Nous encourageons les gestionnaires à consulter les services ministériels clés (p. ex., les chefs de l'évaluation, les équipes ou les unités de mesure du rendement des programmes) quand ils élaborent le PMRÉ et remplissent le modèle. Une ébauche du PMRÉ doit être envoyée au Secteur des affaires réglementaires du Secrétariat aux fins d'examen avant d'être signée par le sous-ministre adjoint responsable de l'organisme de réglementation. Après avoir reçu l'ébauche du PMRÉ, le Secteur des affaires réglementaires communiquera avec l'organisme de réglementation d'origine afin de lui transmettre ses observations dans un délai de dix jours ouvrables. Au cas où un autre délai est requis, le Secteur des affaires réglementaires et l'organisme de réglementation peuvent convenir de modalités qui sont acceptables pour les deux parties.

Étape 3

Après avoir examiné le PMRÉ, le chef de l'évaluation convient qu'il soutient efficacement la réalisation d'une évaluation éventuelle

Le PMRÉ est ensuite signé par le sous-ministre adjoint (ou son équivalent). Il faut obtenir cette approbation avant que le Secteur des affaires réglementaires du Secrétariat n'approuve le REIR

L'organisme de réglementation devrait envoyer deux copies signées de la version finale du PMRÉ au Secteur des affaires réglementaires du Secrétariat qui les signe et en retourne une à l'organisme de réglementation.

Étape 4

Un sommaire du PMRÉ doit être inclus figure dans la section « Mesure du rendement et évaluation »du REIR. Le PMRÉ ne fait cependant pas partie du dossier sur la réglementation qui est envoyé au Conseil du Trésor.

Étape 5

Pour s'assurer que les nouvelles activités de réglementation soient prises en compte dans l'AAP et le CMR, ceux-ci devraient être actualisés dès que possible après la publication du règlement dans la partie II de la Gazette du Canada.

Étape 6

Les organismes de réglementation doivent évaluer leurs activités de réglementation conformément aux échéanciers et au cycle établi dans la Politique d'évaluation et devrait faire mention de cette évaluation dans le plan d'évaluation annuel du ministère.

Un examen du projet de réglementation pourra être exigé si des constatations de l'évaluation montrent que les activités de réglementation ne permettent pas d'atteindre les résultats désirés,

Étape 7

Les rapports d'évaluation, le rapport sur les plans et les priorités et le rapport ministériel sur le rendement devraient servir chaque année à rendre compte du rendement des activités de réglementation. D'autres instruments de communication de données, comme les sites Web, les rapports annuels et les bulletins d'information sont également efficaces pour informer la population canadienne, en temps opportun, des progrès des activités de réglementation.

Renseignements supplémentaires

Pour obtenir des renseignements généraux, veuillez communiquer avec le Secrétariat du Conseil du Trésor du Canada à :

Courriel : publicenquiries-demandesderenseignement@tbs-sct.gc.ca

Téléphone : 613-957-2400

Numéro d'appel sans frais : 1-877-636-0656

ATS : 613-957-9090

Télécopieur : 613-943-5071

Courrier :

Secteur des affaires réglementaires

Secrétariat du Conseil du Trésor du Canada

155, rue Queen

Ottawa (Ontario) K1A 0R5

Les représentants des organismes fédéraux de réglementation qui désirent obtenir des précisions sur le présent manuel devraient d'abord communiquer avec leur analyste de portefeuille du Secteur des affaires réglementaires du Secrétariat ou envoyer un courriel à Regissues@tbs-sct.gc.ca.

Annexe A : Modèle de plan de mesure du rendement et d'évaluation

Télécharger

Si vous ne pouvez accéder au document, veuillez communiquer avec publicenquiries-demandesderenseignement@tbs-sct.gc.ca pour obtenir de l'aide.

• Modèle de plan de mesure du rendement et d'évaluation (version RTF, 138 Ko)

Pour visualiser la version RTF, utilisez les fonctions de conversion disponibles sur la plupart des logiciels de traitement de texte ou utilisez un visualiseur capable d'afficher le format RTF.

Annexe B : Élaboration d'un modèle logique pour les activités de réglementation

Figure 1 : Exemple d'un modèle logique

Un modèle logique, qui est aussi appelé la logique des résultats ou la théorie de l'action ou de l'intervention, est une représentation graphique (habituellement accompagnée de commentaires) qui relate une initiative de réglementation. Il lie les intrants (ressources) et les activités (processus internes) aux extrants (produits ou services générés par les activités), aux groupes joints (partenaires, intermédiaires et groupes cibles) et aux résultats escomptés de cette initiative (la séquence des changements apportés aux groupes qui échappent au contrôle du régulateur).

Comme le démontre l'exemple suivant, un modèle logique est généralement représenté sous forme graphique :

gure 2 : Exemple d'une énonciation des problèmes ou des besoins qui appuie la logique des résultats d'une initiative environnementale

Source : Santé Canada, DALR, 2009.

Pour représenter ou relater l'historique du rendement d'une activité de réglementation, il est utile de commencer par une compréhension structurée du problème, des besoins, des risques ou des dommages, avant d'élaborer la logique des résultats. Les avantages qu'il y a à définir les problèmes, les besoins, les risques et les dommages avant de définir les résultats sont notamment les suivants :

1. renforcement de l'étape 1 du processus de la Directive du Cabinet sur la rationalisation de la réglementation – « Détermination et évaluation des questions de politique publique ». Après tout, si nous n'avons pas dûment cerné le problème ou la question stratégique, nous n'avons vraisemblablement pas trouvé de solution adéquate;
2. l'énonciation des problèmes, des risques ou des dommages met les choses en contexte et, en fait, peut directement permettre de préciser les définitions et les modalités des intrants, des activités, des extrants et des résultats dans le domaine logique. L'exemple de la figure 2 montre le déroulement de ce processus.

Source : Manuel des participants au cours de l'EFPC sur la Mesure du rendement et l'évaluation, R003 – 2008.

CONSEIL : Au moment d'élaborer un énoncé des problèmes ou des besoins ou une logique de résultats axée sur les risques, il est important de définir les problèmes ou les besoins de façon hiérarchique, en commençant par les facteurs externes pour se diriger ensuite vers l'« intérieur » (le bas), puis les exprimer en résultats désirés.

Vous trouverez dans le tableau suivant une liste exhaustive de questions assorties d'exemples de problèmes ou de risques qui permettent de déterminer les résultats appropriés.

Composante du modèle logique	Questionnez-vous sur le problème	Exemples	Questionnez-vous sur le résultat que vous souhaitez atteindre	Exemples
Résultats ultimes/finaux Situation sociale ou culturelle	Quel problème social ou culturel se pose? Quels risques cela présente-t-il pour la santé publique, l'environnement, la sécurité publique ou l'économie? Quel est le degré de gravité de ces risques?	Taux d'incidents lié à la santé, hectares de terres contaminées, taux de blessures ou de décès causés par les avions	Quand le problème ou le risque ne se posera-t-il plus? Qu'en sera-t-il du problème ou du risque qui ne se posera plus? Comment le programme cadre-t-il avec l'objectif stratégique ou les objectifs stratégiques du ministère?	Réduction du taux d'incidents lié à la santé, hectares de terres contaminés et du taux de blessures ou de décès causés par les avions
Résultats intermédiaires Comportement des intervenants	En quoi le comportement des intervenants influe-t-il sur la situation sociale ou culturelle? Quels comportements ont un effet néfaste sur la situation sociale ou culturelle?	L'industrie ne suit pas les lignes directrices facultatives. Les Canadiens déversent des produits nettoyants toxiques dans le réseau d'égouts.	Quels comportements souhaiteriez-vous changer? Comment les comportements doivent-ils changer?	Respect des nouveaux règlements par l'industrie Réduction du pourcentage des déversements par la population canadienne de produits nettoyants toxiques dans le réseau d'égouts
Résultats immédiats Connaissance des intervenants	Quelles lacunes existent parmi votre population cible au chapitre des connaissances, des capacités, des compétences ou des aspirations?	Normes méconnues et peu acceptées par l'industrie Faibles connaissances des risques par la population canadienne	À quelle réaction nous attendons-nous de la part de notre groupe cible ou de nos groupes cibles immédiatement après l'atteinte des résultats? Quels changements seront opérés dans les connaissances, les capacités, les compétences ou les aspirations du groupe cible?	Industrie sensibilisée et comprenant les nouveaux règlements Connaissance et acceptation de l'existence des risques par la population canadienne et de la nécessité d'adopter de nouvelles règles
Groupe joint Participation des intervenants	Y a-t-il des lacunes à combler au chapitre de la participation ou de l'engagement de groupes dont l'action est indispensable à la réalisation de votre objectif?	Faible participation de l'industrie Faible mobilisation des Canadiens	Qui cherche-t-on à joindre ou à toucher grâce à cette initiative? Quels sont les comportements à changer au sein du groupe ou de la population? En quoi le degré de participation ou de mobilisation des groupes importants changera-t-il par suite de la mise en place de votre programme?	Accroître le degré de participation et de mobilisation de la population canadienne, de l'industrie, des intervenants et des autres administrations
Extrants Programmes ou mesures de soutien en place pour régler le problème	Observe-t-on des lacunes dans l'ensemble actuel des mesures de soutien, dans les programmes et les services en place pour régler le problème ou éliminer le risque?	L'industrie n'est pas légalement tenue de se conformer aux normes facultatives actuelles Les bulletins d'information qui sensibilisent la population à certains risques ne produisent pas un changement suffisamment important du nombre d'incidents	Quel produit ou service allons-nous mettre en place pour combler ces lacunes?	Règlements, rapports d'inspection, campagnes d'information
Activités Pratiques internes	Des problèmes se posent-ils dans les pratiques actuelles de prestation des services? D'autres administrations offrent-elles des programmes ou des services comparables qui donnent de meilleurs résultats que nos programmes ou nos services?	Pratiques inefficientes de prestation des services, d'exécution des programmes, d'évaluation incomplète des critères et des lacunes en matière de communication	Qu'allons-nous faire? Quelles mesures seront prises ou quel travail sera accompli? Quels services seront fournis?	Mener des recherches, publier des documents, donner des conseils, rédiger des règlements, mener des inspections, fournir de l'information au public (en mettant l'accent sur certains groupes cibles)
Intrants Ressources internes	Y a-t-il des lacunes au chapitre des ressources financières, humaines ou techniques disponibles? La disponibilité des données est-elle problématique?	Manque de ressources, de données ou d'information	De quelles ressources disposons-nous pour cette initiative de réglementation? Quelle sont les renseignements supplémentaires requis pour améliorer la prestation des services?	Personnel, financement, meilleur accès à l'information