L’évaluation a été menée en conformité avec la directive et les normes énoncées dans la Politique sur l’évaluation, 2009Footnote 11 du Conseil du Trésor du Canada. Elle couvre la période allant du 1er avril 2012 au 31 mars 2016, et a été réalisée entre avril 2016 et janvier 2017. L’évaluation portait sur trois programmes, soit le Programme de funérailles et d’inhumation, le Programme d’entretien des cimetières et des sépultures et le Programme de décorations et de citations.
La Directive sur la fonction d’évaluation de 2009 du Secrétariat du Conseil du Trésor du Canada énonce cinq « questions fondamentales » à prendre en compte dans toutes les évaluations des programmes fédéraux : besoin continu du programme; conformité aux priorités du gouvernement, harmonisation avec les rôles et responsabilités du gouvernement fédéral, rendement, et efficience et économie. Le tableau 2 présente la façon dont l’évaluation portait sur ces questions.
| Pertinence |
|---|
|
| Rendement |
|
| Efficience et économie |
|
Le Programme de décorations et de citations est un volet du programme global d’ACC en matière de cérémonies et d’événements; par conséquent, les résultats et l’économie associés au premier seront évalués de manière plus approfondie au cours d’une évaluation prochaine de ce dernier. De la même façon, le Programme d’entretien des cimetières et des sépultures d’ACC fait partie d’un programme plus global d’entretien des monuments commémoratifs et des cimetières d’ACC; le volet « monuments commémoratifs » de ce programme fera l’objet d’une évaluation en 2017-2018.
2.1 Sources de données multiples
La méthode de recherche visait à regrouper des renseignements de diverses provenances afin d’assurer la fiabilité de l’information recueillie et des résultats déclarés. Les sources de données utilisées pour évaluer la pertinence, le rendement, l’efficience et l’économie des programmes sont présentées dans le tableau 3 ci-dessous.
| Méthode | Source |
|---|---|
| Examens de documents non ministériels | Divers documents non ministériels ont été examinés, notamment des rapports parlementaires, des discours sur le budget et discours du Trône, de la documentation relative aux programmes d’autres pays, et des revues spécialisées portant sur les intérêts des vétérans. |
| Entrevues et/ou observation en milieu de travail | Plus de 40 entrevues ont été menées auprès de la direction d’ACC, des employés chargés de l’exécution des programmes, des gouvernements provinciaux/administrations municipales offrant des programmes similaires et d’autres experts en la matière. Des entrevues ont également été menées auprès des principaux tiers fournisseurs qui jouent un rôle dans l’exécution des programmes. |
| Examen de documents ministériels et de recherche de synthèse | Les types de documents ministériels/renseignements suivants ont été examinés pour comprendre les programmes, leurs autorisations et leurs exigences, ainsi que les principaux enjeux : mémoires au Cabinet, protocoles d’entente et leurs annexes; vérifications et évaluations précédentes; politiques; processus opérationnels; rapports sur le rendement; rapports de recherche; résultats de sondages; articles dans les médias; et plaintes. |
| Analyse statistique | Les données financières, démographiques et opérationnelles recueillies par ACC et le Fonds du Souvenir pour les exercices financiers de 2012-2013 à 2015-2016 ont été examinées. |
| Visites sur place | Des visites sur place ont été effectuées à Ottawa, à Montréal et à Halifax pour observer le personnel et les partenaires d’exécution des trois programmes et discuter avec eux. L’équipe d’évaluation a également visité 18 cimetières situés à l’Île du Prince Édouard, en Nouvelle-Écosse et au Québec. |
| Examen de dossiers | Un examen de dossiers a été effectué pour un échantillon de 103 dossiers de vétérans. De plus, l’examen d’un échantillonnage au jugéFootnote 12 de 113 dossiers associés à des décisions relatives à l’admissibilité de plein droit (Programme de funérailles et d’inhumation) et à la remise des Croix du Souvenir (Programme de décorations et de citations) a été effectué, de même que l’examen d’un autre échantillonnage au jugé (353 dossiers) d’affections spécifiques en lien avec des décisions relatives à l’admissibilité de plein droit. |
2.2 Limites et défis analytiques
L’évaluation a permis de faire ressortir les limites suivantes :
- Le changement apporté au montant de l’exemption pour le Programme de funérailles et d’inhumation dans le cadre du Budget 2016 pourrait avoir des répercussions sur les futures demandes. L’évaluation a eu recours aux prévisions existantes quant au nombre de demandes, à des entrevues et à une analyse statistique pour estimer les besoins futurs du Programme.
- L’équipe d’évaluation n’a pas parlé directement aux demandeurs du Programme. L’évaluation a eu recours à la recherche existante sur l’opinion publique, lorsqu’elle était disponible, ainsi qu’aux études internes et externes. Des entrevues ont été menées auprès de représentants qui traitent directement avec les vétérans et leur famille afin d’évaluer les besoins et les points de vue des bénéficiaires du Programme.
- Très peu de données statistiques détaillées étaient disponibles relativement au Programme de décorations et de citations pendant la période visée par l’évaluation. Ce manque de données a été partiellement atténué en examinant les données publiées et en effectuant des examens de dossiers.
- Il n’y a pas de stratégie de mesure du rendementFootnote 13 (SMR) propre au Programme de décorations et de citations; la mesure du rendement de ce programme est plutôt incluse dans la SMR pour le programme global en matière de cérémonies et d’événements. Les résultats et l’économie seront évalués de manière plus approfondie au cours d’une évaluation prochaine du programme global.
Il faudrait tenir compte des limites susmentionnées en lisant les constatations de l’évaluation.