2.0 Méthodologie et Portée

L'évaluation visait l'exécution des programmes d'avril à décembre 2012. Elle n'a pas porté sur certains aspects des soins en établissement, comme les soins offerts au seul hôpital appartenant à ACC (Hôpital Sainte-Anne).

Conformément à la Directive sur la fonction d'évaluation du Conseil du Trésor, l'équipe d'évaluation a examiné cinq questions liées à la pertinence et au rendement des programmes, notamment :

Pertinence

1. le besoin continu des programmes;
2. la conformité aux priorités du gouvernement;
3. l'harmonisation avec les rôles et les responsabilités du gouvernement;

Rendement

1. l'atteinte des résultats escomptés;
2. la démonstration d'efficience et d'économie.

2.1 Sources de données multiples

Voici les sources de données utilisées pour évaluer la pertinence et le rendement des programmes :

• Analyse statistique
  • Données fournies par la Direction générale des finances et l'Unité du rendement des programmes d'ACC.
  • Examen et analyse des données afin de comprendre les programmes et d'en tirer des conclusions à leur sujet.
• Examen des dossiers
  • Échantillon statistiquement valide établi à partir d'un ensemble de 71 501 transactions au titre du PAAC et des Autres services de santé achetés (ASSA), effectuées au plus tard le 31 mars 2012.
  • Sélection aléatoire de 426 transactions – coefficient de confiance de 95 p. 100 et marge d'erreur de 5 p. 100.
  • Stratification au moyen des deux systèmes de paiement utilisés par ACC, soit le Système fédéral de traitement des demandes de soins de santé et FreeBalance.
• Entrevues
  Au total, 72 entrevues ont été menées :
  • Parties prenantes internes – personnel d'ACC aux bureaux d'Halifax, de Saint John, d'Ottawa, de London, de Regina et de Winnipeg ainsi que de l'Administration centrale (48 entrevues).
  • Parties prenantes externes – représentants d'établissements et d'autorités provinciales (24 entrevues).
• Examen de la documentation
  • Sources internes (travaux de recherches, sondages, rapports et politiques).
  • Sources externes (analyse médiatique, études et recherche sur le Web).

2.2 Contraintes et défis analytiques

L'évaluation a permis de faire ressortir les contraintes suivantes :

• Certaines données sur le rendement (p. ex. le nombre de personnes ayant présenté une demande aux programmes et le nombre de décisions défavorables) n'étant pas disponibles, on a employé d'autres méthodes pour obtenir l'information voulue, comme un examen des dossiers, un examen de la documentation disponible et des calculs statistiques.
• L'équipe d'évaluation n'a pas parlé directement avec les bénéficiaires des programmes. Elle s'est plutôt fondée sur les questionnaires sur la satisfaction des bénéficiaires, sur les résultats d'études internes et externes ainsi que sur des entrevues avec les représentants d'ACC et des autorités provinciales qui font affaire directement avec les vétérans et leur famille, afin d'évaluer les besoins et les opinions des bénéficiaires des programmes.
• La qualité des soins en établissement et son impact sur les vétérans n'ayant pas été évalués (par exemple, l'impact des soins avancés et des soins infirmiers additionnels), l'équipe d'évaluation a fait un examen de la documentation pour évaluer l'atteinte du résultat final.

Il faudrait donc tenir compte de ces contraintes en lisant les constatations de l'évaluation.