L’évaluation a été menée conformément au Plan de vérification et d’évaluation axé sur les risques de 2017-2022 d’ACC, et dans le respect de la directive et des normes précisées dans la Politique sur les résultats 2016 du Conseil du Trésor.
L’évaluation se concentrait sur l’évaluation de l’efficacité opérationnelle de la fonction de gestion du Programme d’avantages médicaux (comme décrit à la section 3.2). Il est à noter que la gestion du cannabis à des fins médicales était considérée comme hors de portée puisqu’elle est gérée par une unité distincte. De plus, l’évaluation n’a pas permis d’évaluer l’exécution du Programme en tant que telle ou le contrat du SFTDSS.
La période couverte par l’évaluation s’échelonnait du 1er avril 2014 au 30 septembre 2017. L’annexe C énonce les questions/enjeux de l’évaluation ayant été évalués.
Pour appuyer l’élaboration de la portée de l’évaluation, une évaluation de calibration/fondée sur le risque a été menée à bien; elle a été étayée par des entrevues préliminaires, un examen de la documentation et une analyse des données. En se fondant sur les résultats de l’évaluation des risques, ainsi que sur le besoin identifié par le secteur de programme, il a été convenu que l’évaluation se concentrerait sur une évaluation de l’efficacité opérationnelle de la fonction de gestion de programme.
2.1 Multiples sources de données
L’évaluation était de nature formativeNote de bas de page 15; il s’agissait d’une évaluation fondée sur les processus et sur l’utilisationNote de bas de page 16.
La méthode de recherche intégrait de multiples sources de données, en assurant la fiabilité des renseignements recueillis et des résultats signalés. Les sources de données utilisées pour évaluer l’efficacité opérationnelle de la fonction de gestion du programme sont indiquées au tableau 2.
| Méthode | Source |
|---|---|
| Examen de la documentation ministérielle et des recherches secondaires | Les renseignements/documents ministériels suivants ont été examinés afin de comprendre l’intention/les objectifs du Programme, leurs autorisations et exigences, la complexité, le contexte et tous les principaux secteurs d’intérêt : documents de planification, vérifications et évaluations antérieures, documents stratégiques, rapports sur le rendement, travaux de recherche et résultats de sondage.
Divers documents de l’Unité de gestion du Programme ont été examinés pour comprendre la structure de gouvernance, la charge de travail et les questions clés : politiques, processus opérationnels, organigramme, comptes rendus des décisions/procès-verbaux de réunions et rapports sur le rendement. |
| Examens de la documentation non ministérielle | Divers documents non ministériels, notamment de la documentation de programme provenant d’autres ministères fédéraux et d’autres pays, et des revues publiées et/ou articles se rapportant aux évaluations de processus et à la gestion de programme ont été examinés. On a également examiné des rapports au Parlement, des discours du Budget et des discours du Trône à titre contextuel. |
| Entrevues | On a mené plus de 70 entrevues auprès de la haute direction d’ACC, du personnel d’ACC prenant part à la gestion et aux activités des programmes (y compris le personnel sur le terrain) et d’autres experts en la matière. Des entrevues ont également été menées auprès du personnel de la tierce partie responsable du traitement des demandes de soins de santé, qui joue un rôle dans l’exécution du programme. Des entrevues avec d’autres unités de gestion de programme de ministères provinciaux et fédéraux ont été menées pour comprendre les modèles de ressources et les pratiques exemplaires possibles. |
| Analyse des données | Les données financières et opérationnelles recueillies pour les exercices 2014-2015 à 2017-2018 ont été analysées, le cas échéant. |
| Visites sur place/ observation du travail | Des visites sur place et d’observation du travail chez la tierce partie responsable du traitement des demandes de soins de santé ont été réalisées pour observer les processus et les pratiques en place concernant le Programme d’avantages médicaux depuis l’adoption du nouveau contrat du SFTDSS. |
| Modèle logique | Un modèle logique, indiquant les extrants, les activités et les intrants de gestion de programme, a été créé pour faciliter la compréhension de la charge de travail, des priorités et des rôles et responsabilités de l’Unité de gestion du Programme d’avantages médicaux et du personnel de l’Unité. |
| Examen des dossiers | Un petit examen de 37 demandes de renseignements reçues par l’Unité de gestion du Programme d’avantages médicaux a été réalisé pour mieux comprendre les types de demandes de renseignements reçues et le temps requis pour y répondre et pour savoir s’il y avait des tendances ou enjeux principaux. |
| Schéma de processus | Un schéma du processus de renvoi des demandes de renseignements aux niveaux supérieurs a été créé pour aider à comprendre les étapes du déroulement du processus et les principales parties qui participent à ce processus. |
2.2 Limites et considérations
Il faut tenir compte des limites et des considérations ci-dessous lors de l’examen des résultats d’évaluation.
- On a recueilli et surveillé des données limitées sur la mesure du rendement du programme au cours des deux dernières années. Le Programme (de même que tous les autres programmes à ACC) fait actuellement l’objet d’un processus de révision de toutes les stratégies de mesure du rendement afin de se conformer aux exigences de la Politique sur les résultats de 2016 visant les Profils d’information sur le rendementNote de bas de page 17.
- Les données de gestion étaient limitées concernant les extrants et les activités réalisées par l’Unité de gestion du Programme d’avantages médicaux. Afin d’atténuer ce risque, les responsables de l’évaluation ont collaboré étroitement avec le personnel du programme pour comprendre et consigner les intrants, les activités et les extrants de l’Unité. Durant la phase de l’examen de l’évaluation, il a été précisé que le nouvel outil de suivi mesurait les demandes reçues (contrairement aux demandes menées à bien) par l’Unité de gestion du Programme d’avantages médicaux et que ce ne sont pas toutes les activités/extrants qui ont fait l’objet d’un suivi. De plus, les renseignements étaient autodéclarés et avaient fait l’objet d’un suivi manuel; il y a donc un risque d’erreurs. L’équipe d’évaluation a envisagé d’entreprendre une évaluation axée sur les activités; toutefois, compte tenu de la nature variée des demandes reçues, il était difficile d’obtenir un portrait représentatif de la charge de travail dans les limites de temps fixées pour l’évaluation.
- Un important roulement de personnel au sein de l’Unité de gestion du Programme d’avantages médicaux a eu lieu pendant la période visée de l’évaluation, ce qui a eu une incidence sur la charge de travail puisque les employés apprenaient de nouveaux rôles et responsabilités et étaient formés par des employés plus expérimentés.
- Les perceptions individuelles de la charge de travail peuvent influencer les opinions du personnel sur l’efficacité. Afin d’atténuer la partialité personnelle, l’équipe d’évaluation a mené des entrevues auprès de divers membres du personnel, y compris le gestionnaire, et a examiné un échantillon de dossiers de demandes.