Sélection de la langue


Recherche sur veterans.gc.ca

3.0 DÉMARCHE

3.1 Contexte de l’évaluation

Ce document se veut une première évaluation de la NCAC, dont les résultats serviront à aider les gestionnaires de programmes d’ACC à améliorer l’élaboration et la prestation des programmes de la NCAC. L’évaluation remplit également un engagement pris par le Ministère de mener une évaluation approfondie de la NCAC avant décembre 2010.

Avant d’entreprendre l’évaluation, il a fallu dresser un cadre d’évaluation et un plan détaillé. Devant la tâche colossale et complexe que nous réservait l’évaluation, nous avons décidé d’effectuer le travail en trois phases et de diffuser un rapport au terme de chacune d’elles. La phase I, achevée en décembre 2009, était axée sur la pertinence et le bien-fondé de la NCAC et de ses programmes. La phase II, achevée en septembre 2010, portait sur l’efficacité et l’efficience des activités de sensibilisation d'ACC, du processus de présentation des demandes et du cadre de prestation des services. Le présent rapport final de la phase III a pour objet l’atteinte des résultats attendus.

Une évaluation du programme des pensions d’invalidité et du programme des indemnités d’invalidité a été menée en parallèle avec l’évaluation de la NCAC et a été achevée en août 2010. Le présent rapport porte également sur l’allocation pour perte de revenus et l’allocation pour déficience permanente. Ces deux allocations sont des prestations versées aux bénéficiaires admissibles qui participent au Programme de réadaptation. L’évaluation de ces deux prestations visait à déterminer les ressemblances et les différences en matière de conception, de prestation, d’activités, de produits et de résultats. L’évaluation a également porté sur des composantes pertinentes d’autres programmes de la NCAC dans le cadre de la comparaison, s’il y avait lieu. L’Évaluation du programme des pensions d’invalidité et du programme des indemnités d’invalidité doit être lue en parallèle avec les rapports sur l’évaluation de la NCAC. D’autres informations sur les conclusions et les recommandations tirées de ces rapports se trouvent aux annexes B, C et D.

Bien qu’il s’agisse de la première évaluation de la NCAC, mentionnons que d’autres travaux connexes ont déjà été réalisés ou sont en voie d’exécution. La Direction générale de la vérification et de l’évaluation a récemment effectué un examen des processus de recours prévus aux termes de la NCAC. De plus, ACC a effectué un examen interne de la gestion de cas, et l’évaluation de la gestion de cas est prévue pour 2011-2012. En raison des travaux continus ou de ceux qui sont envisagés, les domaines susmentionnés ne sont pas visés par la présente évaluation.

3.2 Portée des travaux

La phase III porte sur la période allant du 1er avril 2006 au 31 mars 2010. En plus des méthodes de cueillette des données qui ont servi lors des phases précédentes, d’autres méthodes ont été utilisées pour la phase III.

Les principaux enjeux liés à l’évaluation et les questions précises posées dans le cadre de l’évaluation de la NCAC et de l’évaluation des indemnités d’invalidité et des pensions d’invalidité sont présentés à l’Annexe E.

3.3 Méthode

Pour renforcer la gouvernance de ce projet, un comité directeur composé de membres de la haute direction d’ACC a été formé pour surveiller l’avancement des travaux et offrir une orientation stratégique aux activités d’évaluation. De plus, un comité consultatif a été constitué auquel ont pris part des directeurs de l’Administration centrale, des bureaux régionaux et des bureaux de district des quatre coins du pays. Le rôle du comité consultatif est d’appuyer les travaux en cours et d’offrir une rétroaction sur l’élaboration des outils de collecte des données et les conclusions de l’évaluation. Les deux comités ont été à l’œuvre durant les trois phases du projet d’évaluation.

Une analyse détaillée des données a été menée en collaboration avec la Direction de la statistique d’ACC. Une vaste quantité de données a été obtenue sur tous les programmes de la NCAC, ce qui a obligé la Direction de la statistique à examiner les données disponibles et, dans certains cas, à effectuer des manipulations additionnelles en fonction des exigences propres à l’évaluation.

Un examen des dossiers réalisé par un ergothérapeute externe a permis d’évaluer globalement les progrès des participants au Programme de réadaptation. L’échantillon de l’examen des dossiers portait sur les personnes qui ont commencé le programme de réadaptation entre le 1er avril 2006 et le 31 octobre 2009 et qui ont participé au programme pendant au moins six mois. Un échantillon aléatoire stratifié de 350 participants a été tiré. Cet échantillon descriptif a permis l’analyse des caractéristiques de l’échantillon et la comparaison entre divers groupes, mais n’a pas permis de généraliser les résultats sur la population entière des participants. Les résultats de l’examen des dossiers constituent toutefois une image assez fidèle des résultats et des pourcentages obtenus par l’examen de la population entière au moyen des informations statistiques du Ministère.

Comme ni l’information de référence sur les participants, ni les données sur le groupe n’étaient disponibles, la Direction générale de la vérification et de l’évaluation s’est associée à la Direction de la recherche d’ACC, au MDN et à Statistique Canada pour mener une étude pluriannuelle en quatre volets intitulée La vie après le service militaire. Les constatations tirées de l’étude appuieront l’exécution du mandat d’ACC en matière de soins, de traitement et de réinsertion des vétérans à la vie civile et combleront les lacunes dans la connaissance de la transition de la vie militaire à la vie civile au Canada.

L’Étude sur la vie après le service militaire comprend quatre volets. Le premier volet porte sur l’examen des revenus des militaires des FC qui ont été libérés au cours d’une période de dix ans allant de 1998 à 2007. L’étude sur le revenu, une étude longitudinale, a permis de recueillir des données sur le revenu des vétérans l’année précédant leur libération et toutes les années suivant leur libération jusqu’en 2007. Les données ont été obtenues en associant les données de la population à l’étude aux informations générales sur la famille fournies aux fins d’impôt (T1FF) en utilisant les numéros d’assurance-sociale inscrits dans les deux bases de données. La confidentialité des renseignements personnels a été maintenue par Statistique Canada, et seuls les résultats sommaires ont été divulgués à ACC. La Direction de la recherche d’ACC a mené l’élaboration de l’étude et a rédigé le rapport sommaire nécessaire à l’évaluation de la NCAC.

Le deuxième volet de l’Étude sur la vie après le service militaire est un sondage sur la transition à la vie civile. Les données ont été tirées d’un échantillon représentatif à l’échelle du pays comprenant 4 721 des 32 015 vétérans de la Force régulière qui ont été libérés de 1997 à 2008 avec qui Statistique Canada a communiqué de février à mars 2010. La majorité des personnes appelées ont répondu au sondage (71 p. 100), et la grande majorité de ceux-ci (94 p. 100) ont accepté que leurs réponses soient communiquées à ACC et au MDN. L’étude incluait des vétérans participant dans le cadre de la Loi sur les pensions et également les premiers de ceux qui participaient dans le cadre de Loi sur les mesures de réinsertion et d’indemnisation des militaires et vétérans des Forces canadiennes (LMRIMVFC) de 2006. L’échantillon a été stratifié en trois groupes : les bénéficiaires des programmes de la Nouvelle Charte des anciens combattants (participants à la NCAC); les vétérans et les époux bénéficiaires d’une pension d’invalidité, mais qui ne participent pas aux programmes de la NCAC (bénéficiaires d’une PI); et les vétérans qui ne participent à aucun programme d’ACC. L’information tirée du sondage a été utilisée dans la section sur la réinsertion du présent rapport.

Les volets trois et quatre (mortalité et cancer) feront l’objet d’un autre rapport portant sur l’étude sur le cancer et la mortalité des FC et ne sont pas inclus dans la présente analyse.

En outre, des groupes de consultation ont fourni de la rétroaction pour l’évaluation de la NCAC. Un expert-conseil a été embauché pour garantir la confidentialité des observations formulées par les clients. Douze groupes de consultation ont participé dans quatre villes du pays. Voir le rapport de la phase II pour obtenir plus de détails.

Enfin, l’évaluation a donné lieu à des entrevues auprès de principaux informateurs et à des examens de la documentation qui ont fourni un important contexte à l’information tirée de l’analyse des données et d’autres méthodes. Certaines entrevues ont été menées auprès du personnel à divers échelons de l’organisation. Parmi les principales sources de l’examen de la documentation, on compte : les textes de loi associés à la NCAC, les politiques et les processus opérationnels d’ACC, les cadres de travail établis ou les documents provisoires et aussi les résultats des examens internes pertinents.

3.4 Limites

3.4.1 Mesure des résultats et information sur les résultats

Comme il a été mentionné lors de l’évaluation de la phase I, ACC était encore à élaborer le modèle logique de programmes précis et les plans de mesure des résultats des programmes de la NCAC. Au cours de l’évaluation, la Direction générale de la vérification et de l’évaluation a contribué à l’élaboration des modèles logiques et des plans de mesure des résultats qui sont maintenant au point et ont été mis en œuvre. (Pour de l’information sur les données qui n’ont pas été incluses dans le rapport, consulter l’Annexe F.) Toutefois, très peu d’information a été recueillie sur les résultats passés et a donc pu servir dans le cadre de l’analyse.

Le « Sondage sur la réinsertion » est un des principaux outils élaborés pour la cueillette d’information sur les résultats. L’outil en question comprend le questionnaire SF-12 (un outil qui mesure la qualité de la vie en matière de santé) et a été sélectionné comme le meilleur outil pour les besoins du Ministère. Outre le questionnaire SF-12, le Sondage sur la réinsertion comprend d’autres questions établies en collaboration avec diverses sections d’ACC. Ces questions supplémentaires permettent de recueillir de l’information sur la sécurité économique, l’intégration dans la collectivité et la famille, l’état d’emploi et la reconnaissance perçue. Les données du Sondage sur la réinsertion sont déclarées volontairement. ACC ne recueille pas des constatations cliniques sur les résultats.

Comme il a été mentionné dans le rapport de la phase I, le taux de réponse au Sondage sur la réinsertion se chiffrait à 44 p. 100 en 2007-2008, ce qui réduisait l’utilité des données. Pour cette raison, il a été recommandé de trouver des façons d’accroître le taux de réponse. La Gestion des programmes a mis en œuvre la recommandation en modifiant le sondage et en mettant en place une nouvelle démarche pour améliorer le taux de réponse. Il a tout de même été possible d’utiliser une partie de l’information obtenue du Sondage sur la réinsertion mené en 2008-2009 dans la présente évaluation.

Enfin, la portée et les caractéristiques des mesures des résultats peuvent être définies de façon limitée seulement en raison des contraintes imposées par l’Architecture des activités de programmes actuelle d’ACC.

3.4.2 Absence d’un groupe de référence ou d’un groupe témoin

Le plan d’évaluation précise qu’il s’agit de la première évaluation de la NCAC, et un groupe de référence n’a pas été établi en prévision de la mise en œuvre. De plus, comme il est mentionné dans l’Évaluation des pensions d’invalidité et des indemnités d’invalidité, aucun éventail comparable de programmes n’existait au Canada, et un groupe témoin n’a pu être établi étant donné que toutes les personnes qui présentent une demande aux programmes et aux services de la NCAC et y sont admissibles voient leur demande approuvée. De plus, ACC offre des services à un groupe de personnes dont les besoins sont très complexes et, parmi eux, certains ne réussiront pas la réinsertion. Lorsque l’équipe chargée de l’évaluation disposait de preuves suffisantes pour tirer une conclusion sur l’efficacité et l’efficience, elle l’a fait. Cependant, certaines conclusions générales sur l’efficacité globale étaient limitées étant donné le manque de groupe de référence ou groupe témoin.

3.4.3 Disponibilité des données

L’équipe chargée de l’évaluation a collaboré étroitement avec la Direction de la statistique pour recueillir et analyser toutes les données disponibles sur les résultats de la NCAC. Malgré cela, il manquait certaines données. Une lacune importante, décrite à la section 4.2, était l’incapacité d’établir les coûts exacts des traitements offerts dans le cadre du Programme de réadaptation. Ce manque a réduit la capacité de l’équipe d’évaluer l’efficacité du Programme puisque certains coûts précis ne pouvaient être déterminés au moyen d’hypothèses.

Une autre lacune cernée concerne l’absence d’obstacle chez les vétérans libérés pour des raisons médicales qui présentent une demande au Programme de réadaptation dans les 120 jours suivant la libération. Au total, 1 285 vétérans ont participé au Programme de réadaptation grâce à leur admissibilité liée à une libération pour raisons médicales, et les obstacles à leur réinsertion ne sont pas rapportés. Il est donc difficile d’évaluer les progrès en matière de santé pour environ 30 p. 100 des participants à la réadaptation. En avril 2010, le Registre de décision de réadaptation (RDR) a été modifié pour qu’on puisse y inscrire les obstacles à la réinsertion des vétérans libérés pour raisons médicales.

Anciens Combattants Canada a établi l’allocation pour perte de revenus afin d’accorder temporairement un revenu de remplacement aux participants du Programme de réadaptation et le Ministère offre également des services d’orientation professionnelle ou des services de transition de carrière pour améliorer les possibilités d’emploi. Pour la période à l’étude, ACC ne disposait pas de données suffisantes sur les revenus après la libération pour déterminer si l’emploi fournit un niveau de revenus jugé suffisant pour satisfaire aux besoins essentiels. De récents changements annoncés par le ministre des Anciens Combattants ont permis de corriger les lacunes touchant les personnes qui souffrent d’invalidités graves.

L’examen des dossiers révèle que dans les évaluations initiales (et celles qui suivent) effectuées par les gestionnaires de cas (GC), le niveau d’information obtenu sur l’importance de la participation dans la collectivité est souvent limité. La personne peut participer, mais il est difficile de déterminer le niveau de participation puisque l’information n’est pas toujours enregistrée, et l’information pertinente n’est pas inscrite de façon concise dans un seul système.

3.4.4 Durée

Nombre de militaires des FC blessés ont besoin de plusieurs années de soutien de la part d’ACC pour réussir la transition et la réinsertion à la vie civile. La NCAC est entrée en vigueur en avril 2006, ce qui ne donne que quatre ans de données, et seulement un nombre limité de vétérans a eu le temps de compléter les programmes. Cela restreint l’évaluation de l’efficacité globale du programme à long terme. Les prochaines évaluations comprendront des données additionnelles pour l’analyse des divers résultats sur une période de temps plus longue après le programme.

Date de modification :