Sélection de la langue


Recherche sur veterans.gc.ca

2.0 Méthode d'évaluation

2.1 Portée et moment de l'évaluation

La présente évaluation porte sur la pertinence, l'efficacité/le succès et l'efficience/l'économie des fonds accordés au FPAC et au PRCM dans le cadre du PCP d'ACC pour la période allant du 1er avril 2008 jusqu'au 31 mars 2011. La Direction générale de la commémoration, qui est responsable de l'exécution du PCP, participe à diverses activités de sensibilisation qui offrent aux Canadiens des occasions de se souvenir de l'histoire militaire canadienne et d'en apprendre davantage à ce sujet. La présente évaluation porte principalement sur les activités de sensibilisation menées en partenariat qui sont liées au FPAC et au PRCM. Les recherches sur le terrain effectuées dans le cadre de l'évaluation se sont déroulées entre les mois d'août et d'octobre 2011.

Le 15 mars 2011, le Comité ministériel de l'évaluation a approuvé le mandat de l'évaluation.

2.2 Enjeux, objectifs et questions de l'évaluation

Selon le mandat de l'évaluation du PCP, cette dernière est axée sur les objectifs suivants :

  • évaluer la mesure dans laquelle l'activité de programme Sensibilisation aux activités commémoratives - Partenariats continue de répondre à un besoin manifeste et satisfait aux attentes des anciens combattants et de la population canadienne;
  • évaluer les liens entre les objectifs de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats et (i) les priorités du gouvernement fédéral et (ii) les résultats ministériels stratégiques;
  • évaluer les rôles et les responsabilités d'ACC relativement à l'exécution de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats;
  • évaluer les progrès réalisés vers l'atteinte des résultats escomptés de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats par rapport aux objectifs de rendement et à la portée et à la conception du programme, ce qui comprend les liens et la contribution des extrants aux résultats;
  • " évaluer l'utilisation des ressources de l'activité de programme Sensibilisation aux activités commémoratives - Partenariats relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats escomptés.

Après avoir examiné le mandat approuvé, l'équipe d'évaluation et le secteur de programme ont convenu d'examiner la pertinence du programme pour les Canadiens et les anciens combattants et vétérans. Le mandat de l'évaluation du Programme des contributions aux partenaires est énoncé dans le plan de travail d'évaluation, à l'annexe B.3 .

L'évaluation portait sur les questions suivantes :

Pertinence (besoin continu et conformité aux priorités du gouvernement et aux rôles et responsabilités du gouvernement fédéral)

  1. Existe-t-il un besoin manifeste pour des fonds de partenariat et ceux ci permettent ils de répondre de façon réaliste aux besoins?
  2. Le programme est-il conforme aux priorités du gouvernement fédéral?
    1. Y a-t-il lieu que le gouvernement y participe?
    2. Quel rôle devrait jouer ACC?
    3. Le programme sert-il l'intérêt public?
  3. Un changement est-il survenu au niveau des clients, des groupes cibles et des intervenants du programme et, le cas échéant, dans quelle mesure ce changement a-t-il une incidence sur la pertinence des critères d'admissibilité au financement?

Rendement (efficacité/succès)

  1. Le système de mesure du rendement actuel tient il compte des principaux résultats et de leur conformité avec les objectifs du programme?
  2. Le système de mesure du rendement comprend il des indicateurs appropriés et des objectifs de rendement réalistes, conformes aux résultats escomptés?
  3. Le système de mesure du rendement produit il des données et des rapports précis, fiables et ponctuels?
  4. Le système de mesure du rendement est il maintenu et mis à jour au besoin?
  5. Dans quelle mesure le programme a t il atteint ses objectifs?
  6. Quels résultats non prévus le programme a t il eus, le cas échéant?

Rendement (efficience et économie)

  1. Dans quelle mesure y a-t-il double emploi ou chevauchement avec d'autres programmes existants (fédéraux, provinciaux, municipaux ou secteur privé)?
  2. Le programme respecte-t-il son budget?
  3. Le programme fait-il la preuve d'efficiences accrues ou d'une meilleure rentabilité dans l'atteinte des buts du programme chaque année?
  4. Les contribuables canadiens en ont ils pour leur argent?
  5. Y a-t-il d'autres modes d'exécution qui permettraient d'exécuter le programme de manière plus efficiente?
  6. Y a-t-il d'autres modes d'exécution qui permettraient d'exécuter le programme de manière plus efficace?

2.3 Méthode d'évaluation

L'évaluation du PCP était sommative et fondée sur un modèle non expérimental.Note de bas de page 5 Une variété de facteurs a mené au choix du modèle :

  • le PCP est un programme de faible valeur financière (moins de 1 % des fonds destinés aux programmes d'ACC) qui comprend des ententes de contribution à faible valeur financière pour des activités de partenariat à faible risque;
  • il n'y a aucun renseignement de référence sur la situation avant la mise en œuvre du programme pour permettre de mesurer les incidences du programme;
  • il n'y a pas eu utilisation d'un groupe témoin ou d'un groupe de comparaison étant donné que les répercussions sur les bénéficiaires du PCP et les participants aux activités financées sont peu connues;
  • selon la conclusion d'une évaluation précédente effectuée en 2008, le programme est pertinent, et il y a possibilité d'améliorer l'efficacité, l'efficience et l'économie;
  • bon nombre des recommandations découlant de l'évaluation de 2008 ont été mises en œuvre;
  • le programme n'est pas trop complexe, et le contexte a très peu changé depuis la dernière évaluation.

Le risque lié aux modèles non expérimentaux est qu'il est difficile de mesurer les répercussions du programme sur les Canadiens.

Avec la méthode d'évaluation utilisée, on a tenté d'atténuer ce risque en demandant aux bénéficiaires quelles auraient été les répercussions s'ils n'avaient pas reçu une contribution du PCP. L'équipe d'évaluation a envisagé la possibilité de communiquer avec les demandeurs à qui on avait refusé une contribution; cependant, les demandeurs qui n'avaient jamais reçu de contribution étaient très peu nombreux. La méthode utilisée a plutôt consisté à mener des entrevues auprès des demandeurs à qui on avait à la fois accordé et refusé une contribution pour un projet.

La triangulation des données pour valider les constatations est une autre stratégie d'atténuation qui a été utilisée. L'évaluation a utilisé des sources de données multiples pour chaque point évalué et pour chaque question. Même si d'autres méthodes d'évaluation ont été envisagées (comme des entrevues auprès des participants aux activités, des études de cas, etc.), il n'a pas été possible de les mettre en œuvre dans le cadre des paramètres du plan d'évaluation.

2.3.1 Sources de données

Les constatations et les conclusions de l'évaluation sont fondées à la fois sur des sources de données qualitatives et quantitatives. Les sources de données multiples qui ont été utilisées sont les suivantes :Note de bas de page 6Note de bas de page 7

  • Examen des documents internes

    Les principaux documents examinés comprennent les documents stratégiques d'ACC comme le Rapport sur les plans et les priorités du Ministère, le Rapport ministériel sur le rendement, les documents relatifs à la délégation de pouvoirs en matière de commémoration, les politiques relatives à la commémoration, la stratégie relative aux activités de commémoration, l'évaluation du PCP de 2008 et le rapport du sondage national d'ACC mené auprès des clients. Des documents du gouvernement du Canada, comme le discours du Trône, ont aussi été examinés.

    L'équipe d'évaluation a examiné les documents relatifs au programme afin d'en acquérir une connaissance approfondie. Les documents examinés comprennent les paramètres du PCP, les lignes directrices et les processus relatifs au programme, les manuels et les formulaires utilisés dans le cadre du programme, la stratégie de mesure du rendement (SMR), le CVAR, le CGRR et le modèle logique du programme.
  • Examen des documents externes

    Un examen des sites Internet d'autres ministères du gouvernement fédéral a été effectué afin de déterminer s'il y avait des chevauchements avec le programme ainsi que d'autres pratiques exemplaires ou alternatives possibles. Un examen sur Internet a également été effectué afin d'obtenir des renseignements de référence concernant des programmes comparables dans d'autres pays.

    Les résultats de l'examen des sites d'autres ministères du gouvernement fédéral ont mené à un examen plus approfondi des programmes offerts par Patrimoine canadien, en particulier, le programme Développement des communautés par le biais des arts et du patrimoine. Ce programme est semblable au PCP pour ce qui est de son modèle et de son exécution.

    Les résultats des trois sondages nationaux ont quant à eux été examinés afin d'évaluer la pertinence et le succès.
  • Analyse des données

    Les données administratives conservées et fournies par le secteur de programme ont été examinées pour évaluer la pertinence et le succès (par exemple, le nombre d'initiatives de partenariats, les dépenses et les délais d'exécution). Les résultats du sondage de suivi mené auprès des bénéficiaires ont été analysés afin d'obtenir des commentaires.

    Un échantillon de dossiers de projet du PCP correspondant à la période visée de l'évaluation ont été choisis au hasard et ont été examinés afin d'évaluer l'efficacité et l'efficience de l'exécution du programme ainsi que les progrès réalisés par rapport aux résultats escomptés. Veuillez vous référer au plan d'échantillonnage qui figure à l'annexe B.4 pour obtenir les détails concernant l'échantillon utilisé.
  • Entrevues auprès des principaux répondants :

    Les entrevues auprès des principaux répondants ont fourni des données qualitatives fondées sur les perceptions et les opinions des personnes qui ont joué un rôle important dans le cadre du programme ou dans son exécution. L'équipe d'évaluation a mené au total 45 entrevues (en personne ou par téléphone) : des représentants d'ACC (23), des bénéficiaires du programme (16), et d'autres représentants du gouvernement fédéral (6). Parmi les 16 bénéficiaires interrogés, 14 ont reçu un financement du FPAC et les deux bénéficiaires restants ont eu accès au PRCM. Trois bureaux régionaux ont été choisis pour les visites effectuées par l'équipe d'évaluation : Ottawa, Toronto et Halifax. Pour obtenir plus de détails sur les entrevues, veuillez vous référer à l'annexe E - Entrevues d'évaluation
  • Observation:

    Afin de mieux comprendre le processus d'évaluation des demandes, l'équipe d'évaluation a assisté à une réunion du Comité d'examen de l'Administration centrale du FPAC et à une réunion du Comité d'examen externe du PRCM.
  • Examen des documents

    Un examen des mesures rentables (c. à d. les ratios des frais administratifs) a été effectué afin de déterminer s'il existait déjà des normes pour des programmes comparables au Canada.

2.3.2 Facteurs à considérer, points forts et limites

La principale limite de la présente évaluation est l'utilisation d'un modèle non expérimental qui restreint la capacité de mesurer les répercussions finales du programme sur les participants et les Canadiens. L'évaluation est également limitée par le fait que, malgré les progrès du programme en ce qui concerne la collecte de données sur le rendement, il y a toujours un manque d'information sur les répercussions, étant donné que les données du programme qui ont été recueillies pour évaluer le rendement continuent d'être principalement des extrants (par exemple, le nombre d'initiatives de partenariats approuvées par rapport au nombre de demandes).

Par ailleurs, d'après les constatations présentées dans le présent rapport, les limites qui suivent ont été observées :

  • Les données sur le rendement disponibles pour évaluer les progrès réalisés par rapport aux résultats escomptés ne couvraient qu'une période de deux ans.
  • Les résultats du programme ont évolué depuis 2008, ce qui rend difficile de comparer de façon cohérente les données de mesure au fil des années.
  • Les bénéficiaires d'un financement sont généralement des organismes sans but lucratif qui ont des ressources limitées et qui manquent d'expertise pour mesurer le rendement.
  • L'absence d'un système de collecte de données efficace limite la production de données probantes pour la surveillance et l'évaluation :
    • le Programme de gestion des subventions et des contributions est utilisé pour recueillir les données relatives au PRCM. Malheureusement, ce système ne s'est pas révélé fiable et ne répond pas aux besoins du programme.
  • La collecte des données relatives au FPAC est effectuée au moyen d'un système manuel dépassé.
  • La mesure du succès prend la forme d'une auto évaluation. Par exemple, les rapports de projet finaux du FPAC ne contiennent que des données empiriques et recèlent souvent peu d'information sur les répercussions des projets.
  • Les documents de la recherche sur l'opinion publique concernant les activités de la Direction générale de la commémoration contiennent peu d'information portant expressément sur le financement du PCP.
  • Le sondage mené auprès des bénéficiaires pour recueillir leurs commentaires a récemment été introduit dans le cadre de la SMR, et l'équipe d'évaluation a pu inclure plusieurs questions propres aux exigences d'évaluation. Le sondage n'était pas terminé au moment de l'analyse; toutefois, le taux de réponses a été suffisant pour permettre de tirer des conclusions.
  • Le degré de reconnaissance et de sensibilisation des Canadiens à l'égard des réalisations et des sacrifices des anciens combattants et vétérans est difficile à mesurer.
  • Étant donné que le PRCM est offert uniquement par l'Administration centrale, les employés régionaux participent à l'exécution du FPAC; des approches et des mécanismes de programme variés sont donc appliqués.
  • " Comme les entrevues auprès des intervenants clés n'ont pas mis à contribution des répondants indépendants, il y avait biais possible des répondants à l'entrevue.

Les stratégies énoncées ci après ont été appliquées pour remédier aux limites de l'évaluation susmentionnées :

  • des sources de données multiples pour tous les points d'évaluation et toutes les questions;
  • des entrevues réalisées avec tous les directeurs régionaux de la Direction générale de la commémoration afin de déterminer dans quelle mesure l'approche et l'exécution du FPAC varient;
  • l'examen des dossiers (fondé sur un échantillonnage représentatif de toutes les régions);
  • des entrevues réalisées avec des demandeurs à qui on avait refusé un financement.

Autres considérations

Anciens Combattants Canada procède actuellement à la transformation de l'ensemble de ses programmes en vue d'améliorer la qualité, la rapidité et l'efficacité de la prestation des services aux bénéficiaires. Le programme de transformation vise principalement à :

  • réduire la complexité;
  • remanier la prestation des services;
  • renforcer les partenariats;
  • obtenir les réalisations attendues à l'égard de la Nouvelle Charte des anciens combattants; et
  • harmoniser l'organisation avec le profil démographique de la clientèle.

Dans la mesure du possible, la présente évaluation contribuera à l'atteinte des objectifs susmentionnés.

L'évaluation précédente du PCP (2008) servira de référence tout au long de ce document. Le présent rapport d'évaluation vise les secteurs communs pour lesquels les recommandations n'ont pas été mises au point ou ne sont plus pertinentes aux fins de cette analyse.

2.3.3 Rôles, responsabilités et assurance de la qualité

La Direction générale de la vérification et de l'évaluation d'ACC a agi à titre de chargée de projet pour cette évaluation.

Avant que commencent les travaux d'évaluation sur le terrain, le plan d'évaluation a été distribué aux responsables du secteur de programme aux fins d'examen et de commentaires.

Parmi les autres mesures d'assurance de la qualité qui ont été appliquées à la présente évaluation, on retrouve notamment la validation auprès du secteur de programme et de la Direction de la statistique, ainsi qu'un examen interne par les pairs.

Le rapport a été examiné par le directeur général de la Vérification et de l'Évaluation ainsi que par le Comité ministériel de l'évaluation.

Date de modification :