Sélection de la langue


Recherche sur veterans.gc.ca

Annexe B - Plan de travail de l'évaluation

Programme Le Canada se souvient Sensibilisation aux activités commémoratives - Partenariats (8900-191) - Plan de travail détaillé - Le 16 août 2011

1.0 Contexte

L'activité de programme Sensibilisation aux activités commémoratives - Partenariats et collaboration du programme Le Canada se souvient comprend le Programme des contributions aux partenaires (PCP), l'initiative Engagement des entreprises et Marketing, et le nouveau Programme d'aide à l'édification de monuments commémoratifs dans les collectivités (PAEMCC).

Le financement du PCP a été approuvé le 31 juillet 2001, dans le cadre de la Participation du secteur à l'élaboration des politiques ministérielles de l'Initiative sur le secteur bénévole et communautaire. Le PCP a pour objet de fournir un cadre par lequel ACC peut accroître sa présence en remplissant son mandat à l'égard des activités commémoratives. Le programme offre des contributions non remboursables à un éventail de bénéficiaires éventuels, comme des organismes sans but lucratif, des musées, des établissements d'enseignement, de recherche et de santé, de même que des provinces, territoires et municipalités.

Depuis sa création, l'objectif du programme a été modifié afin de répondre aux besoins des bénéficiaires et d'appuyer les activités et les initiatives commémoratives de même que la restauration de cénotaphes et de monuments. Deux possibilités de financement sous forme de contributions sont offertes dans le cadre du PCP :

  1. le Fonds de partenariat d'action communautaire (FPAC);
  2. le Programme de restauration de cénotaphes et de monuments (PRCM).

Le FPAC et le PRCM ont des lignes directrices, des critères d'admissibilité, des processus de demande et des pouvoirs délégués distincts. Ils sont toutefois assujettis à la même autorisation principale par l'entremise des paramètres du PCP.

Dans le cadre du FPAC, les groupes et les organismes admissibles reçoivent une aide financière pour la tenue d'activités commémoratives à l'échelle régionale et nationale. Des modifications aux paramètres du programme ont également été approuvées afin de permettre l'octroi d'une subvention annuelle de 500 000 $ au Centre Juno Beach, en Normandie, en France. Reconnaissant l'importance du Centre, en tant qu'unique monument commémoratif canadien de la Seconde Guerre mondiale en Europe, ACC, par le truchement du PCP, fournit une aide financière à l'ACJB depuis 2002, afin de contribuer aux frais de démarrage et d'appuyer les activités du Centre. Des contributions annuelles sont également versées à l'Institut Historica-Dominion dans le cadre du FPAC, pour appuyer diverses initiatives commémoratives, auxquelles Patrimoine canadien contribue également. Dans le cadre du PRCM, les organismes et les groupes admissibles reçoivent une aide financière pour la restauration de cénotaphes et de monuments.

Au cours de la première année, les fonds du PCP se situaient à un peu moins de 38 000 $. Dix ans plus tard, soit en 2010-2011, le budget du programme s'élevait à 2,2 millions de dollars, avec près de 180 partenariats en place.

Engagement des entreprises et Marketing est une initiative récente (janvier 2009) qui a été lancée aux fins d'harmonisation avec des organismes du secteur privé ayant des objectifs semblables à ceux du Canada se souvient. L'objectif est que, en facilitant les collaborations avec les intervenants externes qui ont des bénéficiaires ou des objectifs en commun, ACC est en mesure de réaliser collaborativement le mandat et la mission du Ministère. De telles collaborations aident ACC à atteindre le résultat stratégique suivant : " Les Canadiens se souviennent et démontrent leur reconnaissance envers tous ceux qui ont contribué aux efforts du Canada en temps de guerre, de conflit militaire et de paix ". À ce jour, aucune collaboration officielle n'a été entreprise. La Direction générale subit de sérieuses contestations de la part du SCT lorsqu'elle tente d'établir des collaborations avec le secteur privé.

Le Programme d'aide à l'édification de monuments commémoratifs dans les collectivités (PAEMCC), une initiative qui date de cinq ans, est un programme de financement du Canada se souvient qui est encore plus récent; le PAEMCC a été annoncé par le ministre en novembre 2010 et a des paramètres qui lui sont propres. Ce programme prendra fin en 2015. La réponse a jusqu'à présent été positive; cependant, le programme est en place depuis moins d'un an, et les demandes n'on fait l'objet que de deux cycles d'examen.

Une chronologie des faits saillants du programme est présentée à l'annexe A, et une représentation visuelle de la structure du programme est fournie à l'annexe B.

2.0 Objectifs de l'évaluation

La Directive sur la fonction d'évaluation publiée par le gouvernement du Canada en 2009 précise que les ministères doivent veiller à ce que toutes les dépenses de programmes directes et tous les programmes permanents de subventions et de contributions soient évalués selon un cycle quinquennal.

La présente évaluation vise également à satisfaire à l'exigence d'effectuer une évaluation d'un programme de subventions ou de contributions pour demander le renouvellement des paramètres. Les paramètres du Programme des contributions aux partenaires (une initiative comprise sous la sous-activité de programme 2.1.3 de l'AAP) doivent être renouvelés en juillet 2013.

Toutes les évaluations qui sont censées être visées par les exigences liées à la portée énoncée dans la Policy on Evaluation doivent prendre en compte les questions fondamentales suivantes : pertinence, succès, coût-efficacité et efficience. Par conséquent, les objectifs de l'évaluation de l'activité Sensibilisation aux activités commémoratives - Partenariat du programme Le Canada se souvient sont les suivants :

  1. évaluer la mesure dans laquelle l'activité de programme Sensibilisation aux activités commémoratives - Partenariats continue de répondre à un besoin manifeste et satisfait aux attentes des anciens combattants et de la population canadienne;
  2. évaluer les liens entre les objectifs de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats et (i) les priorités du gouvernement fédéral et (ii) les résultats ministériels stratégiques;
  3. évaluer les rôles et les responsabilités d'ACC relativement à l'exécution de l'activité Sensibilisation aux activités commémoratives - Partenariats du programme Le Canada se souvient et évaluer les progrès réalisés vers l'atteinte des résultats escomptés de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats (y compris les résultats immédiats, le résultat intermédiaire et le résultat ultime) par rapport aux objectifs de rendement et à la portée et à la conception du programme, ce qui comprend les liens et la contribution des extrants aux résultats;
  4. évaluer l'utilisation des ressources de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats escomptés.

Le mandat de l'évaluation de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats et collaboration se trouve à l'annexe A.3.

3.0 Approche de l'étude

En élaborant le document de planification de l'évaluation, l'équipe d'évaluation a travaillé de pair avec les gestionnaires du programme afin d'établir l'approche et la portée de l'évaluation. L'équipe d'évaluation utilisera de multiples sources de données pour évaluer la pertinence, le succès, la rentabilité et l'efficience du FPAC et du PRCM.

Anciens Combattants Canada procède actuellement à une transformation de l'ensemble du programme dans le but d'améliorer la qualité, la rapidité et l'efficacité du service aux bénéficiaires. Voici les objectifs de la transformation :

  • réduire la complexité;
  • remanier la prestation des services;
  • renforcer les partenariats;
  • obtenir les réalisations attendues à l'égard de la Nouvelle Charte des anciens combattants;
  • harmoniser l'organisation avec le profil démographique de la clientèle.

Dans la mesure du possible, la présente évaluation contribuera à l'atteinte des objectifs susmentionnés.

3.1 Portée

La période visée par l'évaluation s'échelonne d'avril 2008 à mars 2011.

La Direction générale Le Canada se souvient participe à de nombreuses activités de sensibilisation afin d'offrir aux Canadiens des occasions de se souvenir et d'en apprendre davantage sur notre histoire militaire. Cette évaluation portera en particulier sur les activités de sensibilisation liées au FPAC et au PRCM.

Les activités de l'initiative sur l'engagement des entreprises et le marketing ne seront pas visées par la présente évaluation puisqu'il existe peu d'informations/données disponibles à évaluer, voir aucune.

Étant donné que le Programme d'aide à l'édification de monuments commémoratifs dans les collectivités a une limite de financement de cinq ans qui n'est pas renouvelable et que les données disponibles sur le rendement à évaluer sont restreintes, ce programme sera également exclu de la portée de cette évaluation.

3.2 Pertinence (objectifs 1, 2 et 3)

Questions d'évaluation
  1. Existe-t-il un besoin manifeste pour des fonds de partenariat et ceux ci permettent ils de répondre de façon réaliste aux besoins?
  2. Le programme est-il conforme aux priorités du gouvernement fédéral?
    1. Y a-t-il lieu que le gouvernement y participe?
    2. Quel rôle devrait jouer ACC?
    3. Le programme sert-il l'intérêt public?
  3. Un changement est-il survenu au niveau des clients, des groupes cibles et des intervenants du programme et, le cas échéant, dans quelle mesure ce changement a-t-il une incidence sur la pertinence des critères d'admissibilité au financement?

L'évaluation de l'activité Sensibilisation aux activités commémoratives - Partenariat du programme Le Canada se souvient portera sur la pertinence continue et sur la raison d'être du FPAC et du PRCM.

L'équipe d'évaluation examinera surtout les besoins des bénéficiaires au moyen de l'examen des documents et des dossiers, ainsi que dans le cadre d'entrevues menées auprès du personnel d'Anciens Combattants Canada et de bénéficiaires et non bénéficiaires de partout au pays.

L'activité Sensibilisation aux activités commémoratives - Partenariats du programme Le Canada se souvient sera également évaluée en fonction des priorités du gouvernement fédéral et des résultats stratégiques d'ACC, afin de s'assurer que le FPAC et le PRCM s'harmonisent avec les priorités et les résultats et que toutes les activités entrent dans le champ de compétence d'ACC et relèvent de son mandat. Cette évaluation sera menée à bien au moyen d'examens de documents et d'entrevues menées auprès du personnel de l'Administration centrale et des bureaux régionaux d'ACC. L'équipe examinera les priorités et les responsabilités du gouvernement du Canada et d'ACC en passant en revue des textes de loi, des politiques et des résultats; les plans, politiques et priorités du gouvernement du Canada; et des textes législatifs, des politiques et les objectifs/résultats stratégiques d'ACC; en plus de mener des entrevues auprès des principaux répondants.

3.3 Succès (objectif 4)

Questions d'évaluation
  1. Le système de mesure du rendement actuel tient il compte des principaux résultats et de leur conformité avec les objectifs du programme?
  2. Le système de mesure du rendement comprend il des indicateurs appropriés et des objectifs de rendement réalistes, conformes aux résultats attendus?
  3. Le système de mesure du rendement produit il des données et des rapports précis, fiables et ponctuels?
  4. Le système de mesure du rendement est il tenu à jour au besoin?
  5. Dans quelle mesure le programme a-t-il atteint ses objectifs?
  6. Quels résultats non prévus le programme a t il eus, le cas échéant?

L'équipe d'évaluation évaluera le succès du programme au moyen d'examens et d'analyses de documents et de données financières, administratives et budgétaires, d'un examen des dossiers, et d'entrevues menées auprès du personnel d'ACC et de bénéficiaires et non-bénéficiaires de partout au pays.

Les programmes de partenariats sont des initiatives relativement nouvelles (le FPAC existe depuis 10 ans, et le PRCM, depuis 6 ans) dont la stratégie de mesure du rendement, qui fait actuellement l'objet d'une mise à jour, n'a été élaborée que récemment. Par conséquent, l'équipe d'évaluation utilisera, dans la mesure du possible, les indicateurs du CGRR/CVAR de 2009-2010 pour déterminer si les résultats escomptés ont été atteints pendant la période évaluée. Les résultats visés/prévus cernés dans le CGRR/CVAR seront mesurés en fonction des données actuelles/disponibles sur les résultats, lesquelles seront utilisées pour évaluer les progrès réalisés par ACC vers l'atteinte des résultats escomptés. L'évaluation examinera la plus récente stratégie de mesure du rendement pour s'assurer qu'elle est conforme aux objectifs du programme et qu'elle permet d'obtenir des données fiables et exactes pour assurer la gestion des programmes.

L'équipe d'évaluation déterminera en outre si des répercussions inattendues (positives ou négatives) risquent de se produire. Voici des exemples de répercussions inattendues : des besoins des bénéficiaires qui ne sont pas satisfaits, une méthode d'évaluation ou des critères d'admissibilité qui ne sont pas adéquats, des bénéficiaires recevant un financement auquel ils pourraient ne pas être admissibles, et des fonds qui crée des dépendances inappropriées. Ces éventuelles répercussions inattendues seront déterminées et analysées à la lumière de l'information recueillie lors de l'examen des dossiers et des documents, de même que dans le cadre des entrevues auprès des principaux répondants. Dans la mesure du possible, l'équipe d'évaluation cernera des pratiques exemplaires.

3.4 Coût-efficacité et efficience (objectif 5)

Rendement (efficience et économie)
  1. Dans quelle mesure y a-t-il double emploi ou chevauchement avec d'autres programmes existants (fédéraux, provinciaux, municipaux ou secteur privé)?
  2. Le programme respecte-til son budget?
  3. Le programme fait-il la preuve d'efficiences accrues ou d'une meilleure rentabilité dans l'atteinte des buts du programme chaque année?
  4. Les contribuables canadiens en ont-ils pour leur argent?
  5. Y a-t-il d'autres modes d'exécution qui permettraient d'exécuter le programme de manière plus efficiente?
  6. Y a-t-il d'autres modes d'exécution qui permettraient d'exécuter le programme de manière plus efficace?

L'équipe d'évaluation utilisera de multiples méthodes de collecte de données pour évaluer l'utilisation des ressources par rapport à la production des extrants et à l'atteinte des résultats escomptés. Dans la mesure du possible, les coûts du programme seront évalués en fonction des extrants et des résultats du programme, afin de déterminer si le PCP fait preuve d'efficience et d'économie.

Une évaluation des rôles et des responsabilités d'ACC dans l'exécution du PCP sera effectuée afin de déterminer s'il y a des possibilités d'attribuer les fonds du programme de manière plus efficiente et plus économique.

4.0 Méthodes

De multiples méthodes de collecte de données provenant d'une combinaison de sources de données qualitatives et quantitatives seront utilisées, notamment les suivantes :

  • un échantillon aléatoire de dossiers de bénéficiaires;
  • des entrevues auprès des principaux répondants (p. ex., des membres du personnel d'ACC, des bénéficiaires et des non-bénéficiaires du programme);
  • un examen des rapports, des plans, etc., du Ministère et du gouvernement du Canada;
  • un examen des résultats des sondages internes et externes;
  • un examen des rapports statistiques internes d'ACC;
  • une comparaison avec d'autres programmes semblables;
  • un examen des documents.

5.0 Limites de l'évaluation

Une stratégie de mesure du rendement du PCP est en place; cependant, les données disponibles pour évaluer les progrès réalisés vers l'atteinte des résultats escomptés ne couvrent qu'une période de deux ans. 0

Il pourrait s'avérer difficile pour l'équipe d'évaluation de déterminer avec exactitude le coût total pour administrer les fonds (Salaires et F et E), étant donné que les rôles et les responsabilités d'ACC comprennent différents degrés de participation d'un bout à l'autre du pays.

La mesure de l'atteinte des résultats escomptés repose sur la Recherche sur l'opinion publique; cependant, il existe peu d'information spécifique à ces programmes.

6.0 CALENDRIER/ÉCHÉANCIER DU PROJET

Phase du projet Dates cibles
Phase de planification
Élaborer le plan de projet initial. Du 13 juin au 15 juillet 2011
Comprendre l'entité. Du 13 juin au 29 juillet 2011
Effectuer un examen des documents. Du 15 juin au 19 août 2011
Déterminer la portée de l'évaluation. Du 13 juin au 8 juillet 2011
Envoyer la lettre de présentation au(x) client(s) du projet. Le 15 juin 2011
Mener les entrevues préliminaires auprès des personnes interrogées à l'AC et une étude sur le terrain. Du 28 juin au 29 juillet 2011
Établir les exigences statistiques/en matière de données. Du 28 juin 28 au 12 août 2011
Établir le plan de projet, en définissant le cheminement critique, les méthodes, les limites et les contraintes. Du 15 juin au 26 août 2011
Établir le mandat, les critères et les outils de collecte/cumul de données pour l'examen des dossiers. Du 11 au 29 juillet 2011
Élaborer les questions d'évaluation et la liste des personnes interrogées à l'AC et dans les BR. Du 18 au 22 juillet 2011
Phase de la collecte et de l'analyse des données
Procéder à un examen des dossiers. Du 2 août au 9 septembre 2011
Demander des données/statistiques à la section des statistiques du Canada se souvient . Du 11 juillet au 31 août 2011
Effectuer les entrevues par téléphone auprès des personnes interrogées à l'AC et dans les BR. Du 25 juillet au 26 août 2011
Compiler, examiner et analyser les données/données statistiques. Du 25 juillet au 2 septembre 2011
Finaliser les outils, les sites, le calendrier et les guides d'entrevues pour l'étude sur le terrain. Du 6 au 9 septembre 2011
Déterminer les sites d'étude sur le terrain pour les BR (*à déterminer). Du 20 au 30 septembre 2011
Compiler, examiner et analyser les données recueillies dans le cadre de l'étude sur le terrain. Du 3 au 7 octobre 2011
Mener des recherches, suivis et entrevues supplémentaires, au besoin. Du 11 au 14 octobre 2011
Si possible, prévoir un voyage d'une journée pour assister à une activité financée par le FPAC dans les Maritimes. Du 17 octobre au 10 novembre 2011
Compléter l'analyse. Du 17 au 21 octobre 2011
Phase de préparation des rapports et des séances d'information
Rédaction d'une ébauche de rapport préliminaire. Du 24 octobre au 7 décembre 2011
Envoi de l'ébauche de rapport au directeur pour examen et commentaires. Du 8 au 12 décembre 2011
Communication des changements et de l'ébauche préliminaire au DG. Du 13 au 16 décembre 2011
Communication des commentaires du DG à l'équipe et des changements à apporter à l'ébauche de rapport. Du 16 au 20 décembre 2011
Tenue des séances d'information. Du 3 au 10 janvier 2012
Exposé-sondage envoyé au client et plans d'action de la direction à remettre. Du 10 au 24 janvier 2012
Ébauche finale envoyée au CHD. Le 27 janvier 2012
Tenue d'une séance d'information à l'intention du CHD Le 1er février 2012
Changements et rapport final envoyés au CEM À déterminer
Approbation du rapport final par le CEM À déterminer
Rapport final envoyé à la SM À déterminer
Approbation du rapport final par la SM À déterminer
Date de modification :