Manuel des projets de réglementation : Plan de mesure du rendement et d'évaluation

English

Nous avons archivé cette page et elle ne sera plus mise à jour.

Vous pouvez la consulter à des fins de recherche ou à titre de référence. Veuillez consulter notre page web Directive du Cabinet sur la réglementation: politiques, directives et outils pour les instruments de politiques et directives en vigueur.

Introduction

Le présent manuel expose d'abord le but d'un plan de mesure de rendement et d'évaluation (PMRÉ) pour les activités de réglementation et donne également des conseils sur la manière d'élaborer et de remplir le modèle de PMRÉ. Ce manuel vient aussi appuyer la mise en œuvre de la Directive du Cabinet sur la rationalisation de la réglementation (DCRR).

Il s'adresse tout particulièrement aux fonctionnaires du gouvernement qui doivent élaborer et mettre en œuvre un plan de mesure du rendement et d'évaluation (PMRÉ) pour leur projet de réglementation ainsi qu'aux analystes du Secteur des affaires réglementaires (SAR) du Secrétariat du Conseil du Trésor du Canada (SCT) qui exercent une fonction de remise en question.

Dans ce manuel, les activités de réglementation comprennent les règlements, le programme de réglementation ainsi que les activités connexes comme les communications, l'inspection et l'application de la réglementation.

Quelles sont les exigences en matière de mesure du rendement aux termes de la Directive du Cabinet sur la rationalisation de la réglementation?

Les exigences qui s'appliquent aux mesures de rendement pour les activités de réglementation sont énoncées à la section 4.6 de la DCRR, « Mesure, évaluation et examen de la réglementation ». Ces exigences sont aussi indiquées dans le modèle des résumés de l'étude d'impact de la réglementation (REIR).

Quel est le but d'un plan de mesure du rendement et d'évaluation?

Un plan de mesure du rendement et d'évaluation a pour but de veiller à ce que les activités de réglementation atteignent leurs objectifs stratégiques initiaux et d'assurer un renouvellement continu des activités de réglementation. Un PMRÉ constitue une feuille de route ou un énoncé concis permettant de planifier, d'assurer un suivi, d'évaluer les résultats et d'en rendre compte tout au long du cycle de vie d'un règlement. Une fois mis en œuvre, ce plan aide l'organisme de réglementation à réaliser les objectifs suivants :

• assurer la mise en place d'un modèle clair et logique qui lie les ressources et les activités aux résultats escomptés;
• décrire les rôles et les responsabilités des principaux intervenants en ce qui a trait au projet de règlement;
• se prononcer de façon éclairée sur la façon d'améliorer constamment le rendement;
• démontrer la responsabilisation ainsi que les avantages pour la population canadienne;
• veiller à ce que les décideurs des organismes centraux et des organismes de réglementation, de même que les Canadiens, disposent d'une information fiable et en temps opportun;
• veiller à ce que les données recueillies appuient efficacement l'évaluation.

À quel moment un plan de mesure du rendement et d'évaluation est-il requis?

Avant de présenter un projet de réglementation, les ministères et les organismes sont censés procéder à une évaluation, en fonction de l'énoncé de triage, en collaboration avec le Secteur des affaires réglementaires du Secrétariat, afin de mesurer l'incidence (faible, moyenne ou élevée) de ce projet.

Il faut remplir le modèle de PMRÉ lorsque la réponse à une ou plusieurs des questions 1 à 6 de l'énoncé de triage est « élevée ». Pour les projets de réglementation d'incidence moyenne, il est facultatif de remplir le modèle de PMRÉ. L'organisme de réglementation a donc la discrétion de le faire.

Où les activités de réglementation s'intègrent-elles dans l'architecture des activités des programmes et dans le Cadre de mesure du rendement?

Au moment d'élaborer le PMRÉ, il est important de se poser la question suivante : Comment ce PMRÉ s'intégrera-t-il dans la structure de gestion, des ressources et des résultats (SGRR) du Ministère — plus précisément dans l'architecture des activités des programme (AAP) et dans le Cadre de mesure du rendement (CMR)?

Le cas échéant, les activités de réglementation seraient représentées dans l'AAP et dans le CMR connexe du Ministère comme une composante d'un programme de moindre niveau, c'est-à-dire, une sous-sous-activité de programme (voir le graphique Lien avec l'architecture des activités des programmes). Lorsque les activités de réglementation comptent pour beaucoup dans la compréhension du « pourquoi » et du « comment » qui justifient la dépense de fonds pour atteindre les résultats escomptés du programme, elles doivent être mentionnées dans la description du programme, à moins de fournir un motif impérieux justifiant de ne pas les mentionner. Les gestionnaires de programme doivent tenir compte de la façon dont les indicateurs de rendement qui appuient les activités de réglementation s'inscrivent dans le CMR d'un programme. Par exemple, les indicateurs d'une activité de réglementation peuvent soutenir l'atteinte d'un résultat de programme dont on fait le suivi dans le CMR ou encore d'un résultat escompté du programme. Nous encourageons fortement les gestionnaires à consulter les groupes ministériels clés (p. ex., les chefs de l'évaluation, les équipes ou les unités de mesure du rendement des programmes) afin de trouver la meilleure façon d'harmoniser les indicateurs de rendement avec la SGRR.

Pour s'assurer qu'un nouveau PMRÉ est pris en compte dans l'APP et le CMR d'un ministère, ceux-ci devraient être actualisés lors du prochain examen prévu de l'AAP et du CMR, mais seulement après que la réglementation ait été publiée dans la partie II de la Gazette du Canada.

Comment remplir un modèle de plan de mesure du rendement et d'évaluation

Cette section renferme une description des neuf éléments fondamentaux du modèle de PMRÉ (voir l'annexe A). Vous pouvez consulter une liste des définitions de la mesure du rendement dans le Lexique de la gestion axée sur les résultats. L'information tirée du modèle de PMRÉ est reprise dans la section « Mesures de rendement et évaluation » du REIR. Si le projet de réglementation inclut une présentation au CT, les données du PMRÉ devraient correspondre à celles qui figurent dans la présentation au CT (voir le Guide pour la préparation de présentations au Conseil du Trésor).

Description et aperçu du projet de réglementation

La composante d'introduction d'un PMRÉ devrait comporter une description détaillée des problèmes et des risques – tels que recensés dans l'énoncé de triage – que le projet de réglementation veut résoudre. Cette section devrait également préciser le public cible visé par le projet, les bénéficiaire ciblés ainsi que les changements de comportement recherchés chez des groupes particuliers. Cet élément du modèle de PMRÉ est lié aux sections « Questions », « Objectifs » et « Description » du REIR.

Les questions auxquelles il faut répondre sont les suivantes :

• Quel problème le projet de réglementation vise-t-il à résoudre?
  • Quelles sont les preuves de l'existence d'un problème?
  • Pourquoi ce problème est-il important?
• Quels sont les objectifs concrets du projet de réglementation?
• Comment le projet de réglementation permettra-t-il d'atteindre les objectifs en vue de résoudre le problème ou de l'atténuer?
• Quels bénéficiaires le projet de réglementation vise-t-il (p. ex., l'ensemble de la population canadienne, des groupes cibles parmi cette population, comme les enfants de moins de 4 ans)?
• Quels sont les publics cibles (p. ex., les particuliers et les organismes touchés par la réglementation) visés par le projet de réglementation?
• Quels sont les changements de comportement du public cible qui doivent être abordés (p. ex., sensibilisation, compréhension, capacité, conformité, etc.)?

Cette section devrait également décrire comment le projet de réglementation s'inscrit dans l'ensemble des activités ministérielles (c'est-à-dire, la nature de sa contribution au programme de réglementation, à l'atteinte des résultats stratégiques du ministère (AAP) ou à d'autres initiatives très importantes). Il faut en outre préciser si les activités de réglementation recoupent les champs de compétence ou d'intervention de divers organismes de réglementation. Enfin, il faut préciser comment l'information résumée et communiquée sera utilisée pour l'amélioration du rendement des activités de réglementation.

Modèle logique

Un modèle logique est un graphique accompagné de textes qui relatent l'historique des activités de réglementation. Il établit le lien entre, d'une part, les intrants (ressources) et les activités (ce que l'on fait) et, d'autre part, les extrants (produits ou services que produisent les activités), les groupes touchés (bénéficiaires ou parties touchés par la réglementation) et les résultats prévus de l'initiative (l'ordre de réalisation des changements au sein des groupes qui échappent au contrôle de l'organisme de réglementation). Sous sa forme la plus simple, le modèle logique comporte cinq composantes logiques interdépendantes :

• Intrants : ressources humaines et financières utilisées pour entreprendre les activités de réglementation en vue de produire des extrants (c'est-à-dire, les services et les produits). Les intrants comprennent notamment l'effectif, les installations matérielles, l'équipement, le matériel et le financement. Dans certains cas, pourront également y être inclus les pouvoirs législatifs ou réglementaires requis afin d'entreprendre les activités de réglementation.
• Activités : mesures que le ministère ou l'organisme entreprend afin de produire ses extrants. Ainsi, les organismes de réglementation mettent souvent en place des systèmes d'inspections et de délivrance de permis ou de licences.
• Extrants : produits ou services que produisent les activités de réglementation. Les extrants sont des résultats sur lesquels une organisation exerce un contrôle complet. Les résultats qui dépassent le cadre des extrants sont ceux qui échappent au plein contrôle de l'organisme de réglementation.
• Groupes cibles (groupes joints) : personnes, groupes ou organismes que l'activité de réglementation cherche à atteindre et à influencer. Il y a aussi bien les « réglementés » (c.-à-d., assujettis à des règlements) que d'autres groupes clés qui influenceront grandement le succès de l'initiative (p. ex., le secteur public, le secteur privé, certains organismes sans but lucratif, d'autres institutions et des Canadiens).
• Résultats : résultats attribuables à un organisme de réglementation. Ces résultats ne sont pas directement sous le contrôle d'une activité précise de réglementation. Ils sont plutôt touchés par les activités de l'organisme. Ces résultats sont, en outre, qualifiés d'immédiats (ou directs), d'intermédiaires ou d'ultimes, et ils sont liés aux groupes cibles que l'organisme de réglementation cherche à influencer.

Les problèmes ou les risques énumérés à la section 1 du modèle de PMRÉ facilitent l'énonciation des intrants, des activités, des extrants et des résultats dans le modèle logique. Vous voudrez bien vous référer à l'annexe B pour en apprendre plus sur la façon dont l'énoncé des risques et problèmes aident à établir le contexte vital des résultats. Cet élément fait également l'objet d'un cours qui est donné par l'École de la fonction publique du Canada.

Lorsque les organismes de réglementation élaborent l'aspect logique du projet de réglementation, ils peuvent s'inspirer d'autres documents ministériels liés à la SGRR. Dans la mesure du possible, un lien devrait être établi entre le modèle logique de l'activité de réglementation, les programmes connexes et les résultats stratégiques de l'organisme de réglementation.

Les modèles logiques devraient être examinés et être validés par le ministère approprié ou le personnel de l'organisme afin de confirmer l'exactitude de la structure logique du programme et d'obtenir plus facilement l'appui des personnes qui auront un rôle à jouer dans la mise en place et le fonctionnement du système de surveillance continue de la mesure du rendement. Dans le but de favoriser la consultation et la mobilisation permanente des intervenants, nous encourageons les ministères et les organismes, lorsqu'il est approprié de le faire, à inciter les intervenants de l'extérieur qui s'intéressent à l'activité de réglementation à y participer.

Indicateurs

Un indicateur est un moyen quantitatif ou qualitatif de mesurer le rendement ou les progrès d'une initiative vers l'atteinte des résultats désirés. Sur le plan opérationnel, les indicateurs décrivent les extrants ou les résultats qui sont recherchés au fil du temps.

Les indicateurs devraient être élaborés à partir du modèle logique qui se trouve dans le modèle de PMRÉ. Ils doivent être énoncés en ordre de priorité et leur nombre devrait être limité lorsqu'ils sont sélectionnés en vue d'être contrôlés. Il est plus efficace de mesurer un petit nombre d'indicateurs cruciaux qu'un grand nombre d'indicateurs de moindre portée. Il importe de préciser un petit ensemble d'indicateurs hautement significatifs afin d'être en mesure d'effectuer le suivi du rendement global à l'égard de l'atteinte des résultats escomptés et des objectifs stratégiques du projet de réglementation (p. ex., la santé, la sûreté, la sécurité, la protection de l'environnement, les entreprises et le commerce, ainsi que la prospérité des Autochtones). Dans la mesure du possible, ces indicateurs devraient être uniformes avec les indicateurs du CMR et, idéalement, les étayer.

Les indicateurs devraient, autant que possible, être exprimés sous forme numérique (par exemple, chiffres bruts, moyennes, pourcentages, taux, ratios ou indices. Si des indicateurs qualitatifs sont utilisés, ils devraient être objectivement vérifiables. Lors de la sélection des indicateurs, il faudrait garder certains critères à l'esprit. Les indicateurs devraient être :

• pertinents et valides;
• énoncés par ordre de priorité et limités en nombre;
• équilibrés et exhaustifs;
• significatifs et intelligibles;
• établis en temps opportun et réalisables;
• d'un bon rapport coût-efficacité aux fins de mesure.

Conseil : Élaboration des indicateurs — Méthode rapide

Lors de l'élaboration des indicateurs de rendement, il est utile de se poser la question suivante : Qu'est-ce que vous comprendriez ou que vous constateriez si les résultats escomptés que vous avez décrits étaient atteints? Le simple fait de répondre à cette question devrait vous fournir de bonnes indications sur ce que devrait être l'indicateur de rendement.

Une fois que vous aurez répondu à la question, vous voudrez définir l'indicateur en procédant de la façon suivante :

1. Suggérez l'ampleur du changement, par exemple en nombre, en proportion ou en pourcentage, en taux, en rapport, en montant ou en niveau.
2. Précisez ce qui doit faire l'objet du changement. Il peut s'agir du groupe cible de la population, d'un participant au programme, d'un client, d'un particulier, d'une organisation, d'un organisme ou d'une collectivité. Plus vous décrirez précisément le groupe qui devrait changer ou dont vous espérez une réaction, plus vous formulerez votre indicateur précisément.
3. Précisez ce qui devrait changer ou se produire. Il peut s'agir de modifications touchant la sensibilisation, l'attitude, les connaissances, les compétences, les aspirations, les engagements, les comportements ou les pratiques. Il peut aussi s'agir de simples réactions, comme la perception ou le niveau de satisfaction. Il est à noter que ce n'est pas toujours un changement en tant que tel. Nous recherchons parfois à maintenir les réactions et les comportements existants.Il faudrait toujours se conformer à un principe clé, soit la logique des résultats prévus d'une initiative, lors de l'élaboration des indicateurs. Vous trouverez ci-dessous quelques exemples.

Niveaux	Exemples
Résultats ultimes Résultats se situant au niveau le plus élevé parmi les résultats pouvant raisonnablement découler d'une politique, d'un programme ou d'une initiative et qui résulte de l'atteinte d'un ou de plusieurs résultats intermédiaires. Il s'agit de résultats qui reflètent un changement de situation de la population cible.	Niveau d'incidence en matière de santé (p. ex., nombre d'incidents par tranche de 100 000 habitants) Niveau de dégradation de l'environnement (p. ex., degré d'érosion du sol, degré de pollution de l'air et des eaux) Niveau d'activité ou de croissance économique (p. ex., changement en pourcentage du PIB, investissements étrangers directs ou emploi)
Résultats intermédiaires Résultats que l'on s'attend logiquement à obtenir après l'atteinte d'un ou de plusieurs résultats immédiats	Nombre d'entreprises inspectées et jugées conformes au règlement x Degré de préparation en cas d'urgence (cote 1 : entièrement conforme à la norme – aucune amélioration requise; cote 2 : partiellement conforme à la norme – modifications mineures nécessaires; cote 3 : importantes améliorations requises) touchant les installations du service dans la région y Pourcentage d'entreprises inspectées et jugées conformes aux articles X, Y et Z de la loi x Pourcentage d'entreprises inspectées et jugées non conformes aux articles a, b et c de la loi x qui se sont par la suite conformées aux exigences en cours d'année
Résultats immédiats Résultats directement attribuables aux extrants d'une politique, d'un programme ou d'une initiative	Pourcentage d'utilisateurs ciblés qui ont assisté à une séance d'information Pourcentage d'utilisateurs (rapport précis) ayant déclaré avoir trouvé les renseignements fournis à tout le moins assez utiles Niveau (dépassé, atteint, pas atteint) de soutien obtenu du signataire A du PE à l'égard des modalités convenues Nombre de téléchargements de l'information de sécurité au site Web de l'organisme
Extrants Produits ou services directs découlant des activités d'un organisme, d'une politique, d'un programme ou d'une initiative et habituellement contrôlés par l'organisme lui-même.	Nombre de communications, d'événements, d'inspections, de mentions, etc.) Résultat atteint (oui/non) dans le délai prévu

Mesure et rapports

Après la sélection d'un ensemble d'indicateurs, l'étape suivante vise à mettre au point une approche permettant de mesurer continuellement le rendement et de rendre compte des résultats obtenus. Il est courant de résumer une stratégie de mesure et de rapport sous forme de tableau. Il y aurait notamment une description de l'élément mesuré (extrant ou résultat), l'indicateur en tant que tel, une description de la source de données de l'indicateur et des méthodes employées pour recueillir les données, une description de l'établissement de la base de référence (à partir des données existantes ou d'une nouvelle base établie en fonction de la première mesure), les objectifs de rendement de l'indicateur, une description de la fréquence de mesure de l'indicateur ainsi qu'une description des services ou des personnes chargés des mesures et de la collecte des données. La majeure partie de ces données devrait se retrouver dans l'analyse coûts-avantages et dans le REIR du projet de réglementation. Le tableau du PMRÉ pourrait également aborder tous les niveaux du modèle logique (p. ex., extrants ainsi que résultats immédiats, intermédiaires et finaux).

En vue de faciliter l'actualisation du CMR, le tableau suivant devrait être utilisé dans le modèle de PMRÉ. Toutefois, ce tableau pourrait aussi être étoffé en y ajoutant d'autres éléments qui vont au-delà de ce qui est nécessaire pour actualiser le CMR.

Résultat stratégique/résultat escompté/extrant	Indicateur de rendement	Source de données	Fréquence de la collecte de données	Cible	Date d'atteinte de la cible

Le choix d'une source de données ou d'une méthode de collecte des données dépend du type d'indicateurs de rendement utilisés et du but dans lequel l'information est recueillie. Le choix d'une source de données peut être aussi influencé par le fait que les données sont recueillies régulièrement (à des fins de contrôle continu) ou périodiquement (dans le cadre d'une évaluation). Les données peuvent être recueillies à diverses sources, dont les suivantes :

• Données administratives : information recueillie dans le cadre d'activités courantes, comme le traitement des demandes de permis et de licences, les vérifications, les inspections et les activités d'exécution. Les organismes de réglementation devraient également tenir compte du fardeau administratif que cette cueillette peut représenter pour les entreprises et les particuliers.
• Données primaires : information recueillie dans le cadre d'exercices spécialisés de collecte de données, comme les sondages, les groupes de réflexion, les groupes d'experts ou les études d'évaluation spécialisées.
• Données secondaires : données recueillies par d'autres organismes, telles les statistiques nationales sur la santé ou la situation économique.

Les bases de référence permettent de déterminer des points de référence en fonction desquels l'évolution ultérieure des indicateurs peut être mesurée. Si vous disposez de données chronologiques fiables sur l'indicateur de rendement, vous devriez vous en servir. Sinon, il faut recueillir un ensemble de données de référence dès que possible.

Les cibles de rendement sont des valeurs d'indicateur qui sont projetées sur des périodes données (trimestre, semestre ou année). La cible visée pour le projet de réglementation devrait être rattachée à l'analyse (p. ex., analyse coûts-avantages et évaluation du risque) sur laquelle la décision de prendre le règlement a été basée au départ. Les cibles peuvent aussi avoir été fixés en vue d'atteindre des niveaux de rendement à long terme. L'information recueillie peut également fournir des indications provisoires quant au fonctionnement d'indicateurs donnés. Elle peut aussi s'avérer utile lors de la préparation de rapports et de budgets annuels. Voici quelques lignes directrices dont vous pouvez vous inspirer pour fixer des cibles :

• les cibles peuvent être fixés en fonction du rendement antérieur (c.-à-d., le niveau auquel le rendement n'est plus considéré problématique);
• les cibles peuvent être fixés en fonction du niveau de rendement le plus élevé atteint jusqu'à maintenant;
• les cibles peuvent être fixés en fonction du niveau de rendement moyen enregistré par le passé;
• les cibles peuvent être fixés en fonction du niveau de rendement atteint par d'autres administration publiques ou par des entreprises privées menant des activités similaires;
• il faut s'assurer que les cibles retenues soient réalistes, compte tenu du budget du programme, du personnel qui y est affecté et des effets anticipés du programme;
• il convient de déterminer les facteurs – internes et externes – qui peuvent influer sur la capacité du programme d'atteindre les résultats escomptés.

Chaque année, les organismes de réglementation ont la responsabilité de rendre compte de leurs activités à la population canadienne au moyen des rapports sur les plans et les priorités (RPP) et des rapports ministériels sur le rendement (RMR). Ils ont ainsi une excellente occasion de récapituler les constatations faites dans le cadre des activités permanentes de mesure du rendement. D'autres instruments de rapport, tels les sites Web, les rapports annuels et les bulletins d'information, constituent également des moyens efficaces de tenir les Canadiens au courant des progrès d'un projet de réglementation, et ce, au moment opportun.

Stratégie d'évaluation

Les organismes de réglementation sont tenus d'évaluer leurs activités de réglementation conformément aux échéanciers et aux cycles énoncés dans la Politique d'évaluation où l'évaluation est définie comme « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats ». Le plan annuel d'évaluation du ministère devrait faire référence à l'évaluation des activités de réglementation.

La stratégie d'évaluation est un cadre de haut niveau dans lequel sont définies et sont documentées les questions clés de l'évaluation et le type de données requises pour y répondre. La stratégie d'évaluation a pour objet d'atteindre les résultats suivants :

• permettre aux gestionnaires de programmes et au chef de l'évaluation de s'assurer que les données sur le rendement générées par la stratégie de mesure du rendement (MR) seront suffisantes pour étayer l'évaluation;
• fournir aux gestionnaires de programmes et au chef de l'évaluation l'occasion de s'assurer que les données administratives nécessaires aux fins de l'évaluation, en plus de celles qui seront recueillies dans le cadre de la stratégie de mesure du rendement, seront disponibles au moment de l'évaluation;
• permettre au chef de l'évaluation de déterminer quelles données supplémentaires devront être recueillies pour appuyer l'évaluation;
• permettre aux gestionnaires de programmes de prévenir à l'avance le chef de l'évaluation des engagements en matière d'd'évaluation susceptibles d'étoffer le plan d'évaluation ministériel.

La stratégie d'évaluation devrait préciser le calendrier et les responsabilités touchant l'élaboration du cadre d'évaluation ainsi que la date d'achèvement de l'évaluation. Les organismes de réglementation ont la latitude voulue pour déterminer la méthode d'évaluation et fixer un degré d'effort d'évaluation proportionnel aux effets des activités de réglementation qui ont été cernées dans l'énoncé de triage pour autant que l'évaluation aborde les questions fondamentales énoncées dans l'annexe A de la Directive sur la fonction d'évaluation.

Il est prévu que la Stratégie d'évaluation respectera les exigences de la Politique d'évaluation et de la Directive sur la fonction d'évaluation. Le Guide pour l'élaboration de stratégies de mesure du rendement qui appuient efficacement l'évaluation (à venir) est par ailleurs une ressource précieuse pour l'élaboration de la stratégie d'évaluation. De plus, nous encourageons les organismes de réglementation à consulter leur chef de l'évaluation lors de l'élaboration de la stratégie d'évaluation.

Evaluation Strategy

Regulatory organizations are required to evaluate their regulatory activities in accordance with the time frames and cycle established in the Policy on Evaluation, which defines evaluation as "the systematic collection and analysis of evidence on the outcomes of programs to make judgments about their relevance, performance and alternative ways to deliver them or to achieve the same results." The evaluation of regulatory activities should be referenced in the annual departmental evaluation plan.

The Evaluation Strategy is a high-level framework that identifies and documents key evaluation questions and the type of data required to address the evaluation questions. The purpose of the Evaluation Strategy is as follows:

• Allows program managers and the Head of Evaluation to ensure that the performance measurement strategy generates sufficient performance data to support the evaluation;
• Allows program managers and the Head of Evaluation to ensure that needed administrative data, in addition to what will be collected through the performance measurement strategy, are available at the time of the evaluation;
• Allows the Head of Evaluation to identify what additional data will need to be collected to support the evaluation; and
• Allows program managers to give the Head of Evaluation advance notice on evaluation commitments that can inform the departmental evaluation plan.

The Evaluation Strategy should include the time frame and responsibilities for developing the evaluation framework and for completing the evaluation. Provided the evaluation addresses the core issues outlined in Annex A of the Directive on the Evaluation Function, regulatory organizations have the flexibility to determine the evaluation's approach and level of effort in accordance with the impact of the regulatory activities as identified in the Triage Statement.

It is expected that the Evaluation Strategy will comply with the requirements of the Treasury Board Policy on Evaluation and Directive on the Evaluation Function. A valuable resource when developing the Evaluation Strategy is the Guide for the Development of Performance Measurement Strategies and for Ensuring that They Effectively Support Evaluation (forthcoming). Regulatory organizations are also encouraged to consult their Head of Evaluation when developing the Evaluation Strategy.

Strategic Outcome

Linkage to the Program Activity Architecture

Briefly describe where the regulatory activities are situated in the PAA. If the regulatory activities do not yet figure in the PAA, indicate when they are expected to be integrated. An example of how regulatory activities are represented in a PAA follows.

Regulatory Affairs Sector Review

Before the PMEP is signed off by the regulatory organization's responsible Assistant Deputy Minister, a draft copy of the PMEP must be sent to the Secretariat's Regulatory Affairs Sector portfolio analyst for review to confirm that the PMEP meets CDSR requirements. When seeking confirmation from the Secretariat's Regulatory Affairs Sector, the Head of Evaluation should have provided comments on the PMEP.

Assistant Deputy Minister Sign-off

The Head of Evaluation must review the PMEP and agree that it effectively supports the conduct of an eventual evaluation. The PMEP is then signed by the Assistant Deputy Minister (or equivalent) responsible for the regulatory proposal.

Approval criteria for the Assistant Deputy Minister (or equivalent) are the following:

• The scope and detail of the PMEP are commensurate with the impact of the regulatory proposal;
• The PMEP's content is accurate and reflects the design, implementation, and evaluation of the regulatory activities;
• There is commitment to monitor, evaluate, and report on the performance of the regulatory proposal, including implementation of the PMEP, through the use of progress information to support decision making and the conduct of periodic evaluation exercises according to the departmental evaluation plan;
• Accountabilities for delivery, collection, and timely reporting of performance information and for evaluation activities are clear;
• Resources are sufficient to implement the PMEP; and
• The Head of Evaluation has reviewed the PMEP and agrees that it effectively supports the conduct of an eventual evaluation.

All sign-offs on the PMEP must be obtained before final approval of the RIAS by the Secretariat's Regulatory Affairs Sector. The regulatory organization must send two signed copies of the final PMEP to Regulatory Affairs.

Departmental Contact

Identify the contact person(s) and contact information for enquiries.

What needs to be in the Regulatory Impact Assessment Statement?

A summary (maximum 2 pages) of the PMEP is to be included in the Performance measurement and evaluation section of the RIAS, consisting of the following key elements:

• A summary of how the regulatory activities connect the inputs and activities to the outputs, target groups, and expected outcomes of the initiative (i.e., summary of the logic model);
• A description of the indicators through which changes in outputs and outcomes of the regulatory proposal will be measured;
• A description of how and when the information will be summarized, reported, and used to improve the performance of the regulatory activities;
• An outline of how (i.e., methodology) and when the regulatory activities will be evaluated; and
• Indication of the PMEP's availability upon request.

Who can provide advice and assistance and where can you get training?

Departmental performance measurement and evaluation specialists can provide guidance on the articulation of key outcomes, results logic, and intended policies, the identification and selection of indicators, and the development of strategies for ongoing monitoring and reporting as well as for evaluation. Specialists involved in the cost-benefit analysis of the regulatory proposal may also be of value to you. Information management and information technology (IM/IT) personnel can also contribute to the PMEP development process by providing expertise on data system design or redesign. They can identify what is already being collected, what would be easy to collect, what mechanisms are already in place to collect data, and what the system implications might be of choosing a certain indicator for regular monitoring.

HINT: Forming a team to develop and implement a PMEP has been found to be an effective practice. The team should include not only regulatory development officers, evaluators, and corporate officers but also cost-benefit analysis experts, risk assessors and managers, IM/IT personnel, Secretariat analysts, and compliance promotion, enforcement, and monitoring groups, among others.

It is also recommended that you engage your portfolio analyst in the Secretariat's Regulatory Affairs Sector early in the process and on an ongoing basis.

If you require additional assistance or advice on increasing internal capacity, please contact:

Centre of Regulatory Expertise (CORE), Regulatory Affairs Sector

Treasury Board of Canada Secretariat

Telephone: 613-943-5076

Email: info@regulation.gc.ca

The following course on the PMEP is available through the Canada School of Public Service and can be adapted to the specific needs of a regulatory organization:

• Regulatory Performance Measurement and Evaluation (R003)

Step-by-step summary of the Performance Measurement and Evaluation Plan process

Step 1

Regulatory organizations complete the Triage Statement, in collaboration with the Secretariat's Regulatory Affairs Sector, to determine the level of impact (Low, Medium, or High) of the regulatory proposal. Completion of a PMEP Template is only required when the answer to one or more of questions 1 through 6 in the Triage Statement is "High." For regulatory proposals of Medium impact, completing a PMEP Template is optional and left to the discretion of the regulatory organization.

Step 2

The PMEP is to be completed by the regulatory organization. Managers are encouraged to consult with key corporate groups (e.g., heads of Evaluation, program performance measurement teams or units) when developing the PMEP and completing the Template. A draft copy of the PMEP must be sent to the Secretariat's Regulatory Affairs Sector for review before it is signed by the regulatory organization's responsible Assistant Deputy Minister. Regulatory Affairs will provide the originating regulatory organization with written feedback within 10 business days following receipt of the draft PMEP. Should an alternative timeline be needed, Regulatory Affairs and the regulatory organization can discuss terms that are mutually acceptable.

Step 3

After a review of the PMEP, the Head of Evaluation agrees that it effectively supports the conduct of an eventual evaluation.

The PMEP is then signed by the Assistant Deputy Minister (or equivalent). This sign-off is required before the Secretariat's Regulatory Affairs Sector can approve the RIAS.

The regulatory organization should send two signed copies of the final PMEP to the Secretariat's Regulatory Affairs Sector. Regulatory Affairs will then sign the two PMEPs and return one copy to the regulatory organization.

Step 4

A summary of the PMEP is to be included in the Performance measurement and evaluation section of the RIAS; however, the PMEP is not part of the regulatory package that goes to Treasury Board.

Step 5

To ensure the departmental PAA and PMF reflect new regulatory activities, they should be updated at the earliest opportunity, but only after the regulation has been published in Canada Gazette, Part II.

Step 6

Regulatory organizations are required to evaluate their regulatory activities according to the time frames and cycle established in the Policy on Evaluation. Regulatory activities should be referenced in the annual departmental evaluation plan.

A regulatory review may be required if the evaluation's findings demonstrate that the regulatory activities are not achieving the intended outcome(s).

Step 7

Reporting on the performance of regulatory activities should be done on an annual basis through the evaluation reports, the RPP, and the DPR. Other reporting instruments such as websites, annual reports, and newsletters are also effective and timely means for communicating progress on regulatory activities to Canadians.

Contact information

For general public enquiries, please contact the Treasury Board of Canada Secretariat at:

Email: publicenquiries-demandesderenseignement@tbs-sct.gc.ca

Telephone: 613-957-2400

Toll free: 1-877-636-0656

TTY: 613-957-9090

Fax: 613-943-5071

Mail:

Regulatory Affairs Sector

Treasury Board of Canada Secretariat

155 Queen Street

Ottawa ON, K1A 0R5

For assistance with the PMEP or enquiries about this handbook, federal regulatory organizations should first contact their portfolio analyst in the Secretariat's Regulatory Affairs Sector or send an email to Regissues@tbs-sct.gc.ca.

Appendix A: Performance Measurement and Evaluation Template

Download

• If the following document is not accessible to you, please contact publicenquiries-demandesderenseignement@tbs-sct.gc.ca for assistance.
  • Performance Measurement and Evaluation Template (RTF version, 550 Kb) To view the RTF version, use the document conversion features available in most word processing software, or use a file viewer capable of reading RTF.

Appendix B: Developing a logic model for regulatory activities

A logic model (also known as results logic and theory of action or intervention) is a graphic (usually accompanied by text) that tells the story of a regulatory initiative. It connects the inputs (resources) and activities (internal processes) to the outputs (products or services generated from the activities), the groups reached (partners, intermediaries, and target groups), and the expected outcomes of that initiative (the sequence of changes in groups outside the control of the regulator).

Figure 2: Example of How Problems and Needs Inform the Results Logic of an Environmental Initiative

As illustrated in the following example, a logic model is commonly depicted as a graphic.

Figure 1: Logic Model Example

HINT: The key to developing a problems/needs or risk-based results logic is to define the problems or needs in terms of a hierarchy, starting with outside factors and moving inward (downward), and then to translate these into desired results.

The following chart contains a comprehensive list of questions with examples of problems or risks that serve to set up appropriate results.

Logic model component	Ask yourself about the problem	Examples	Ask yourself about the result you want	Examples
Ultimate/End outcomes Social or cultural situation	What is the social or cultural problem? What is the risk to public health, the environment, public safety, or the economy? What is the severity of the risk?	Rate of health incidents, hectares of land contaminated, rate of injuries or deaths caused by airplanes	When will the problem or risk no longer be an issue? What will the problem or risk look like when it is no longer an issue? How does the program line up with the department's Strategic Outcome(s)?	Reduced rate of health incidents, hectares of land remediated, reduced rate of injuries or deaths caused by airplanes
Intermediate outcomes Stakeholder behaviour	How do stakeholder behaviours influence the social or cultural situation? What behaviours are having a negative impact on the social or cultural situation?	Industry is not adhering to voluntary guidelines Canadians are putting toxic cleaning products down the drain	What behaviours would you like to see change? How do the behaviours need to change?	Industry compliance with new regulations Reduction in percentage of Canadians putting toxic cleaning products down the drain
Immediate outcomes Stakeholder knowledge	What gaps exist in your target population's knowledge, abilities, skills, or aspirations?	Poor industry awareness and acceptance of standards Poor Canadian knowledge of risks	How do we expect our target audience(s) to react immediately to the deliverables? How will the target audience's knowledge, abilities, skills, or aspirations change?	Industry awareness and understanding of new regulations Canadian awareness and acceptance of risks and need for new rules
Reach Stakeholder participation	Are there gaps, which are critical to achieving your objective, in the participation or engagement of groups?	Low industry participation Low engagement from Canadians	Who is this initiative intended to reach or who will be affected? Whose behaviour needs to change and among which group or population? How will the participation or engagement of important groups change as a result of your program?	Increase in participation and engagement from Canadians, industry, stakeholders, and other governments and jurisdictions
Outputs Programs or supports in place for addressing the problem	Are there gaps in the suite of supports, programs, or services that are currently in place to address the problem or risk?	Industry is under no legal obligation to comply with the voluntary standards currently in place Information bulletins to advise Canadians about certain risks are not resulting in a significant enough change in the number of incidents	What product or service will we deliver in order to fill the gaps?	Regulations, inspection reports, information campaigns
Activities Internal practices	Are there problems with the current delivery practices? Are there programs or services being offered in other jurisdictions that are demonstrating better results than our programs or services?	Inefficient delivery practices, incomplete assessment of criteria, gaps in communication	What will we do? What actions or work will be done? What services will be delivered?	Conduct research, publish documents, provide advice, draft regulations, conduct inspections, provide information to the public (possibly with a focus on particular target groups)
Inputs Internal resources	Are there gaps in the financial, human, or technical resources available? Is data availability a problem?	Lack of resources, lack of data, or lack of information	What resources do we have for this regulatory initiative? What additional information is needed to improve delivery?	Staff, funding, better access to information