2.0 APPROCHE DE L'ÉTUDE

2.1 Contexte de l'évaluation

Ce document se veut une première évaluation de la NCAC, dont les résultats aideront les gestionnaires de programmes d'Anciens Combattants Canada (ACC) à améliorer la conception et la prestation des programmes de la NCAC. Le projet a aussi pour but d'évaluer l'atteinte des résultats escomptés en plus de concrétiser l'engagement du Ministère relativement à une évaluation exhaustive de la NCAC avant décembre 2010.

Avant d'entreprendre l'évaluation, il a fallu dresser un cadre d'évaluation et un plan détaillé. Devant la tâche colossale et complexe que nous réserve l'évaluation, nous avons prévu effectuer le travail en trois phases et diffuser un rapport au terme de chacune d'elles. Le rapport de la phase I, achevé en décembre 2009, était axé sur la pertinence et le bien-fondé de la NCAC et de ses programmes. Le présent rapport, soit la phase II, sera axé sur l'efficacité et l'efficience des activités de sensibilisation que mène ACC, du processus de présentation des demandes et du cadre de prestation des services. Le rapport final de la phase III aura pour objet les répercussions inattendues et l'atteinte des résultats attendus.

Bien qu'il s'agisse de la première évaluation de la NCAC, mentionnons que d'autres travaux connexes ont déjà été réalisés ou sont en voie d'exécution. La Direction générale de la vérification et de l'évaluation a récemment effectué un examen des processus de recours prévus aux termes de la NCAC et une analyse comparative du Programme de pension d'invalidité et du Programme des indemnités d'invalidité. De plus, ACC a effectué un examen interne de la gestion de cas et prévoit entreprendre l'évaluation de celle-ci en 2011-2012. Par conséquent, les secteurs susmentionnés ne sont pas visés dans la portée de cette évaluation.

2.2 Portée des travaux

Le tableau suivant fait état des principales questions et des questions particulières prévues au projet d'évaluation.

Tableau 2.1 – Questions d'évaluation sur la NCAC

Principales questions d'évaluation

Besoin continu à l'égard du Programme

Phase I

Quelle est la raison d'être de chacun des programmes de la NCAC?

Harmonisation avec les priorités du gouvernement

Phase I

Dans quelle mesure la NCAC s'inscrit-elle dans les priorités du gouvernement?

Harmonisation avec les rôles et les responsabilités fédérales

Phase I

Dans quelle mesure la NCAC s'inscrit-elle dans les priorités du gouvernement?
Y a-t-il chevauchement ou double emploi avec d'autres programmes ou services?

Atteinte des résultats escomptés

Phase I

Y a-t-il des besoins non comblés auxquels devrait répondre la NCAC?
Comment les programmes de la NCAC se comparent-ils aux programmes du même type offerts dans d'autres pays?
Comment se mesure le rendement du Programme?

Phase II

Le personnel affecté à la prestation des programmes de la NCAC dispose-t-il du soutien approprié?
La définition des rôles et des responsabilités est-elle claire et appropriée?
Dans quelle mesure le processus de demande est-il efficace et efficient?

Phase III

Dans quelle mesure ACC se révèle-t-il efficace et efficient dans l'aide qu'il apporte aux clients qui effectuent la transition du service militaire à la vie civile?
Les programmes de la NCAC aident-ils de manière adéquate les clients qui y sont inscrits?
Quel est le taux de satisfaction des clients à l'égard des programmes de la NCAC?
Comment se compare l'efficacité des programmes de la NCAC d'ACC à celle d'autres programmes du même type?
Quels effets non prévus sont survenus?

Démonstration d'efficience et d'économie

Phase II

Dans quelle mesure les activités de sensibilisation menées par ACC se révèlent-elles efficaces et efficientes?
Dans quelle mesure le processus de demande se révèle-t-il efficace et efficient?

Phase III

Dans quelle mesure ACC se révèle-t-il efficace et efficient dans l'aide qu'il apporte aux clients qui effectuent la transition de la vie militaire vers la vie civile?
Quels sont les intrants et les extrants?

2.3 Méthode

Pour renforcer la gouvernance de ce projet, un comité directeur composé de membres de la haute direction d'ACC a été formé pour surveiller l'avancement des travaux et offrir une orientation stratégique aux activités d'évaluation. De plus, on a créé un comité consultatif auquel prennent part des directeurs de l'Administration centrale, des bureaux régionaux et des bureaux de district des quatre coins du pays. Le rôle de ce comité est d'appuyer les travaux en cours et d'offrir une rétroaction sur l'élaboration des outils de collecte des données et sur les conclusions de l'évaluation. Les deux comités seront à l'œuvre durant les trois phases du projet d'évaluation.

La seconde phase du projet porte sur la période allant du 1^er avril 2006 au 31 mars 2010. Les méthodes de collecte des données comprennent des entrevues réalisées auprès des répondants clés, des discussions avec les groupes consultatifs de clients et des groupes de clients, l'examen des documents et l'analyse des données. L'utilisation des renseignements de diverses provenances permet d'assurer la fiabilité de l'information et des résultats. Aux fins de ce rapport, les travaux ont été réalisés entre novembre 2009 et avril 2010.

Au cours de la phase II, les renseignements ont principalement été recueillis par le biais des entrevues réalisées auprès des répondants clés. Ces entrevues ont permis d'obtenir des données qualitatives auprès du personnel affecté à la prestation des programmes de la NCAC à l'échelle du pays, tout en permettant de situer l'examen des documents et l'analyse des données. Dans le cas de la NCAC, les fonctions liées aux activités de sensibilisation, au traitement des demandes relatives aux programmes et à la prestation des services sont principalement exécutées dans 27 bureaux de district, y compris les centres intégrés de soutien du personnel (CISP), ce qui signifie que les résultats peuvent varier d'un bureau à l'autre en raison des caractéristiques propres à chaque emplacement. Par conséquent, des données ont été recueillies auprès d'un vaste échantillon représentatif de membres du personnel à la grandeur du pays. En tout, 165 entrevues ont été réalisées auprès de membres du personnel de l'Administration centrale, de tous les bureaux régionaux, de douze bureaux de district, de quatre CISP, ainsi qu'auprès du personnel du programme de Soutien social aux victimes de stress opérationnel, et des Forces canadiennes. Les critères de sélection des emplacements de même que les bureaux visés sont présentés à l'annexe C.

Les groupes consultatifs de clients étaient la principale source d'information pour obtenir le point de vue des clients. Avant d'entreprendre cette évaluation, ACC avait déjà mis sur pied un groupe consultatif sur les besoins spéciaux et un groupe consultatif sur la NCAC qui avaient pour rôle d'examiner les programmes et de donner des avis. Ces deux groupes étaient constitués de représentants d'organismes d'anciens combattants, d'universitaires, de chercheurs, de fournisseurs de services et de clients. Dans ce contexte, ces groupes ont rédigé plusieurs rapports qui résument leurs conclusions et leurs recommandations. Ces rapports ont été examinés dans le cadre de l'analyse des programmes de la NCAC effectuée par l'équipe d'évaluation. De plus, après avoir examiné ces rapports, des discussions de groupe ont été tenues séparément avec ces deux groupes consultatifs en vue de recueillir leurs commentaires au sujet de l'évaluation de la NCAC.

Des discussions menées auprès de groupes cibles ont également été utilisées comme principale source d'information pour obtenir les commentaires des clients. Les services d'un consultant externe ont été retenus pour garantir la confidentialité des commentaires recueillis auprès des clients. Douze séances de discussion ont eu lieu dans quatre villes. Quatre rencontres ont eu lieu à Halifax et à Québec (en français), et deux rencontres ont eu lieu à Cold Lake et à Mississauga. Les groupes cibles comprenaient des militaires des FC qui ont récemment participé à l'entrevue de transition, des vétérans de la Force régulière libérés avant la mise en œuvre de la NCAC, des vétérans de la Force régulière libérés après la mise en œuvre de la NCAC, des vétérans de la Force de réserve, des conjoints ou des survivants, et des participants au programme d'aide au placement (maintenant nommé Programme des services de transition de carrière). Le rapport du consultant externe, y compris un compte rendu détaillé de la méthode utilisée, est présenté à l'annexe G. Les discussions avec ces groupes cibles ont permis de recueillir des commentaires fort utiles des clients en ce qui concerne les activités de sensibilisation, le processus de demande et le cadre de prestation des services. Le résumé des constatations est présenté aux sections 4.1 à 4.3. Les discussions avec les groupes cibles ont permis d'obtenir le point de vue des clients sur la reconnaissance, l'intégration à la vie communautaire et la satisfaction à l'égard des services offerts. Ces renseignements sont également présentés dans le rapport et serviront à l'analyse sur l'atteinte des résultats, qui sera réalisée au cours de la phase III.

Un examen des documents a été effectué pour situer les processus actuels et en favoriser la compréhension. Les principales sources utilisées pour l'examen des documents comprenaient le cadre législatif de la NCAC, les politiques et les processus opérationnels d'ACC, les cadres élaborés ou documents provisoires, ainsi que les résultats d'examens pertinents effectués à l'interne et les processus relatifs aux programmes sous forme d'organigramme. Une analyse des données a permis de quantifier les résultats obtenus et d'obtenir des renseignements supplémentaires pour étayer les commentaires qualitatifs formulés dans le cadre des entrevues et des discussions avec les groupes cibles. Ces renseignements ont été obtenus grâce au soutien de la Direction des statistiques d'ACC.

Date de modification :: 2015-01-01