Mission combinée d'audit interne et d'évaluation du Programme d'infrastructure Investir dans le Canada (PIIC)
Rapport final – 19 avril 2024
Avis concernant les droits d'auteur
© Sa Majesté le Roi du chef du Canada, représenté par le Ministre du Bureau de l'infrastructure du Canada, 2024.
No de catalogue T94-73/2024F-PDF
ISBN 978-0-660-73201-5
Table des matières
- Sommaire
- Aperçu du programme
- Objectifs et portée
- Conclusions et principales constatations
- Recommandations
- Annexe A : Audit – Constatations et conclusions détaillées
- Annexe B : Évaluation – Constatations et conclusions détaillées
- Annexe C : Plan d'action de la gestion
- Annexe D : Méthodologie et limites
- Annexe E : Liste des acronymes
Sommaire
Contexte du programme
Le Programme d'infrastructure Investir dans le Canada (PIIC) est un vaste programme de financement fédéral qui a connu une évolution importante depuis son lancement en 2018.
- En 2019, le PIIC a subi un certain nombre de modifications pour rationaliser les autorisations de programme et en introduire de nouvelles.
- Au milieu de 2020, dans le cadre de la réponse du gouvernement du Canada à la pandémie de COVID-19, le PIIC a de nouveau été modifié avec l'ajout d'un nouveau volet. Les provinces et les territoires se voyaient ainsi donner la possibilité de transférer jusqu'à 10 % de leur allocation initiale au nouveau volet Résilience à la COVID-19 (VRCV) pour le financement des projets admissibles qui devaient initialement être achevés avant la fin de 2021 (ou de 2022 dans les territoires et les collectivités éloignées).
La date limite de présentation des projets dans le cadre du PIIC pour les provinces a été avancée de deux ans au 31 mars 2023 (initialement la date était le 31 mars 2025), comme annoncé dans le budget 2022. Les territoires ont jusqu'au 31 mars 2025 pour engager tous les fonds alloués aux projets. INFC élabore actuellement la prochaine génération de programmes.
Une mission combinée d'audit interne et d'évaluation formative
La composante d'audit interne avait pour objectif de fournir une assurance raisonnable que le PIIC avait établi des processus efficaces de surveillance et de contrôle continu. L'audit interne a porté sur les quatre volets initiaux (excluant le volet Résilience à la COVID-19Note de bas de page 1) pour la période du 1er avril 2019 au 30 juin 2022.
La composante d'évaluation formative avait pour objectif d'appuyer le renouvellement du programme en procédant à un examen des options de conception et d'exécution du programme, en s'intéressant tout particulièrement aux pratiques prometteuses et aux leçons retenues. Elle visait également à déterminer dans quelle mesure le programme recueille des données permettant d'évaluer les progrès réalisés vers l'atteinte des résultats et l'analyse comparative entre les sexes Plus (ACS Plus). L'évaluation formative a porté sur les quatre volets initiaux (excluant le volet Résilience à la COVID-19) pour la période du 1er avril 2017 au 31 mars 2022.
Principales constatations
L'évaluation a permis de constater ce qui suit :
- Le PIIC a répondu aux besoins globaux des Canadiens en matière d'infrastructures essentielles, et demeure pertinent pour donner suite aux priorités et aux objectifs du gouvernement du Canada.
- La conception du PIIC a permis aux collectivités ciblées et à des populations diversifiées de recevoir le financement du programme.
- Le PIIC a réalisé des progrès en vue de bien mesurer le rendement pour rendre compte des résultats immédiats, et aura l'occasion d'améliorer la stratégie de mesure du rendement actuelle pour rendre compte des résultats à long terme.
L'audit interne a révélé ce qui suit :
- Des processus de surveillance et de contrôle sont en place et fonctionnent comme prévu, mais il serait possible d'améliorer leur efficacité.
- Les leçons retenues du PIIC devraient orienter les efforts d'harmonisation des programmes du Ministère et y contribuer. De plus, les contrôles reposant sur des systèmes établis dans le cadre du PIIC devraient être mis à profit lors des améliorations futures de système.
Conclusions
- L'évaluation a permis de conclure que, pour rendre compte des progrès réalisés vers l'atteinte des résultats à long terme et évaluer pleinement l'incidence du PIIC sur les collectivités ciblées et les populations diversifiées, INFC devra apporter les améliorations prévues à la stratégie de mesure du rendement du PIIC.
- L'audit interne a permis de conclure, avec une assurance raisonnable, que INFC a établi des processus efficaces de surveillance et de contrôle continu pour gérer le PIIC. Certains points à améliorer ont été cernés en ce qui concerne l'efficience de certains processus, notamment pour la gestion des risques.
Recommandations
La soumission des projets du PIIC étant maintenant terminée pour les provinces, la Direction générale de l'audit et de l'évaluation recommande ce qui suit :
- Mettre à jour les processus de surveillance du PIIC dans le but d'en améliorer l'efficacité. Notamment :
- Compte tenu du fait que le programme se concentrera de plus en plus sur les enjeux liés à la mise en œuvre des projets, une possibilité d'examiner et de recalibrer la composition des comités de surveillance afin d'assurer que les membres sont les mieux placés pour discuter des questions qui devraient être soumises au comité à l'avenir; et
- Continuer de réviser les processus de surveillance pour s'assurer que les exigences en matière de rapports correspondent aux risques connexes.
- La soumission des projets du PIIC étant maintenant terminée pour les provinces, la stratégie de mesure du rendement devrait être mise à jour afin de préciser les objectifs et les exigences en matière de résultats à moyen et à long termes, de manière à assurer la disponibilité des données et la possibilité de rendre compte des progrès réalisés dans l'atteinte des résultats pertinents escomptés.
Tirer parti du PIIC pour les programmes futurs
Le PIIC est le plus important programme de l'histoire de INFC. Il finance diverses catégories d'actifs et englobe une vaste gamme de projets. Cela fait du PIIC un programme idéal pour tirer des leçons de la mise en œuvre du programme, ainsi que les efforts d'harmonisation à l'échelle du département.
- Parmi les réussites notables du PIIC par rapport aux programmes précédents, mentionnons la disponibilité de données sur le rendement et l'intégration aux processus de certains contrôles reposant sur des systèmes, grâce à un recours accru à la saisie automatisée des données et à l'utilisation de systèmes interreliés.
- Des leçons sont également tirées de la conception, de l'ACS Plus et des stratégies de mesure du rendement du programme, et pourront être mises à profit pour les programmes futurs, notamment :
- Concevoir les futures stratégies de mesure du rendement de manière à inclure l'information et les données sur le rendement nécessaires pour aider INFC à rendre compte des résultats, de l'ACS Plus, des objectifs nationaux et de toute considération horizontale à venir à l'échelle du gouvernement, y compris les objectifs de développement durable, le Cadre de qualité de vie, etc.
- Établir des objectifs et des données de référence pour tous les résultats attendus, ainsi que des sources de données et des méthodologies dans le cadre de la conception d'un programme.
Programme d'infrastructure Investir dans le Canada
Aperçu du programme
Dans le cadre du plan Investir dans le Canada, le gouvernement du Canada s'est engagé à verser plus de 180 milliards de dollars dans le transport en commun, les infrastructures vertes, les infrastructures sociales, le commerce et le transport, ainsi que dans les infrastructures des collectivités rurales et nordiques.
Le budget de 2017 fournissait des détails sur des initiatives de financement s'élevant à 33 milliards de dollars dans le cadre du Programme d'infrastructure Investir dans le Canada (PIIC), des initiatives menées par Logement, Infrastructures et Collectivités Canada (INFC).
Le PIIC offre un financement et un soutien prévisibles à long terme pour les priorités provinciales, territoriales, municipales et autochtones, tout en demeurant axé sur les objectifs du gouvernement du Canada de créer une croissance à long terme, d'accroître la résilience des collectivités, de faire la transition vers une économie axée sur la croissance propre, ainsi que d'améliorer l'inclusion sociale et les résultats économiques pour les Canadiens.
Ce programme de financement est mis en œuvre par l'entremise d'ententes bilatérales intégrées (EBI) conclues avec les provinces et les territoires (PT). Les négociations avec chaque province et territoire ont commencé en 2017 et ont mené à la signature d'EBI avec chaque administration tout au long de 2018.
Volets de financement du PIIC
Le PIIC s'articule autour des cinq volets de financement suivants :
- Infrastructures de transport en commun, pour appuyer l'établissement de nouveaux réseaux de transport en commun, des prolongements du service et une infrastructure de transport actif qui transformeront la façon dont les Canadiens vivent, se déplacent et travaillent.
- Infrastructures vertes, pour favoriser la réduction des émissions de gaz à effets de serre (GES) et une meilleure adaptation ainsi qu'une plus forte résilience en ce qui concerne les changements climatiques, et pour appuyer l'atténuation des catastrophes liées au climat et s'assurer qu'un plus grand nombre de collectivités seront en mesure de procurer à leurs citoyens de l'air pur et de l'eau potable saine. Ce volet comprend trois sous-volets : Atténuation des changements climatiques; Adaptation, résilience et atténuation des catastrophes; Qualité de l'environnement.
- Infrastructures communautaires, culturelles et récréatives, pour soutenir les infrastructures communautaires, culturelles et récréatives, bâtir des collectivités plus fortes et améliorer l'inclusion sociale.
- Infrastructures des collectivités rurales et nordiques, pour appuyer des projets qui améliorent la qualité de vie dans les collectivités rurales et nordiques en répondant aux besoins particuliers de ces collectivités. Ce volet comprend également le Fonds pour l'énergie dans l'Arctique, d'une valeur de 400 millions de dollars, destiné à assurer la sécurité énergétique dans les territoires.
- Résilience à la COVID-19, offrant la possibilité de transférer jusqu'à 10 % des allocations initiales des volets susmentionnés – pour appuyer la réponse à la pandémie et les efforts de reprise économique, et fournit un complément monétaire fédéral pour appuyer l'amélioration des systèmes de ventilation des immeubles publics.
Évolution du programme
Le PIIC est un programme vaste et complexe qui a connu une évolution importante depuis son lancement en 2018.
Au milieu de 2020, dans le cadre de la réponse du gouvernement du Canada à la pandémie de COVID-19, le PIIC a été modifié avec l'ajout d'un nouveau volet. Les provinces et les territoires se voyaient ainsi donner la possibilité de transférer jusqu'à 10 % de leurs allocations initiales vers le volet Résilience à la COVID-19 (VRCV) pour le financement des projets admissibles qui devaient initialement être achevés avant la fin de 2021 (ou 2022 dans les territoires et les collectivités éloignées).
Vers la fin de 2020, l'accent a été mis sur les négociations et la signature de modifications s'appliquant à chaque entente bilatérale intégrée (EBI) afin de mettre en œuvre les modifications liées au VRCV.
- En 2019, le PIIC a subi un certain nombre de modifications pour rationaliser les autorisations de programme et en introduire de nouvelles, en réponse aux demandes des provinces et des territoires.
- Août 2020 : Le nouveau volet Résilience à la COVID-19 a été annoncé pour répondre aux pressions et aux préoccupations immédiates découlant de la pandémie.
- Le budget de 2021 prévoyait 120 millions de dollars en nouveaux fonds, particulièrement pour les projets d'amélioration de la ventilation des immeubles, qui seraient exécutés dans le cadre du volet Résilience à la COVID-19.
- Au milieu de 2021, la date d'achèvement requise des projets du VRCV a été reportée au 31 mars 2023 pour les provinces, et à 2024 pour les territoires et les collectivités éloignées. S'appuyant sur les 150 millions de dollars destinés à améliorer la ventilation dans les bâtiments publics et communautaires annoncés dans l'Énoncé économique de l'automne 2020, le gouvernement a également prévu 70 millions de dollars sur trois ans, à partir de 2022- 23, pour soutenir des projets de ventilation par l'intermédiaire du VRCV.
- Dans le budget de 2022, le gouvernement du Canada a annoncé qu'il comptait avancer au 31 mars 2023 la date limite avant laquelle les provinces devaient soumettre les projets du PIIC aux fins d'approbation (initialement établie au 31 mars 2025). La date limite du 31 mars 2025 demeurait toutefois inchangée pour les territoires.
Processus de demande
Chaque province et territoire a établi son propre processus pour gérer le processus de réception des demandes des bénéficiaires finaux.
Une fois tous les projets reçus, chaque province/territoire a effectué son propre exercice d'établissement des priorités. Cela a permis à chaque province/territoire de concevoir un processus de réception des demandes qui répondait à ses besoins, en fonction de ses propres priorités et capacités.
À la suite du processus de réception des demandes, d'évaluation et de recommandation dirigé par les PT, les projets potentiels ont été soumis à l'examen de INFC par l'entremise du Système d'information sur les bénéficiaires des infrastructures (SIBI).
Le SIBI est une application Web qui sert à gérer le processus fédéral de réception des demandes et de saisir l'information dont a besoin INFC pour évaluer l'admissibilité et la conformité aux exigences fédérales du PIIC, notamment :
- les données de base du projet;
- une brève description du projet;
- un résumé des données financières du projet;
- les résultats et les indicateurs applicables au projet;
- les rapports d'étape;
- des informations à l'appui des obligations fédérales, comme les exigences en matière de consultation des Autochtones ou d'évaluation environnementale.
Le Ministère examine l'admissibilité, les finances, les risques, les considérations environnementales et autochtones ainsi que les résultats attendus du projet une fois qu'il est soumis.
Pour être admissibles, les projets doivent démontrer qu'ils correspondent à au moins un résultat immédiat. Les projets doivent également fournir des indicateurs de données à l'appui des rapports sur les résultats attendus.
État du PIIC
Au 31 décembre 2023: Au total, 88.5 % des allocations du programme ont été consacréesNote de bas de page 2 à plus de 6 000 projets approuvés.
Les provinces ont soumis des projets pour les allocations restantes.
Approche axée sur les résultats
Un programme axé sur les résultats s'inscrit dans une approche où le financement est accordé en fonction du rendement des programmes ou des projets, c'est-à-dire selon l'atteinte de résultats prédéterminés, plutôt que selon les extrants généraux qui découleraient du financement. Pour mieux comprendre si les programmes produisent les résultats escomptés, le financement se rattache à des résultats ou à des objectifs pertinents et mesurables.
Alors que la plupart des programmes de INFC sont financés en fonction des catégories d'actifs admissibles, le PIIC a été le tout premier programme axé sur les résultats du Ministère, où l'admissibilité d'un projet est déterminée en fonction de la capacité d'atteindre des résultats précis, comme le précisent les ententes bilatérales intégrées qui ont été conclues avec chaque province et territoire.
Pour ce qui est de la conception du PIIC dans le cadre d'une approche axée sur les résultats, les PT devaient, au moment de la soumission d'un projet, présenter des indicateurs de rendement précis pour chaque résultat immédiat. Ces indicateurs feraient ensuite l'objet d'un suivi au moyen de rapports d'étape, ainsi qu'à la fin des projets. Les PT devaient également présenter des données propres au projet afin d'étayer la preuve des progrès réalisés vers l'atteinte des résultats immédiats.
Une telle approche axée sur les résultats repose sur une série d'indicateurs conçus pour permettre de déceler clairement les progrès réalisés et d'en faire rapport en vue d'atteindre les résultats clés en matière d'infrastructure. Les PT ont rendu compte des indicateurs liés aux résultats immédiats. Les résultats à long terme seront quant à eux recueillis au moyen de diverses sources de données, comme Statistique Canada et l'équipe des données externes de INFC, afin de mesurer les résultats intermédiaires et finaux.
Résultats du programme
Résultats immédiats : Il s'agit des résultats directement attribuables aux extrants d'une organisation, d'une politique, d'un programme ou d'une initiative. Ces résultats à court terme se manifestent généralement par un renforcement de la capacité ou l'amélioration de la qualité ou de l'accès un actif d'infrastructure.
Résultats intermédiaires : Il s'agit des résultats auxquels on s'attend logiquement une fois que l'on a atteint un ou plusieurs résultats immédiats. Ces résultats à moyen terme sont habituellement atteints à la fin d'un projet/programme et prennent généralement la forme d'un changement de comportement ou de pratiques chez les bénéficiaires.
Résultats finaux : Il s'agit du plus haut niveau de résultat pouvant raisonnablement être attribué à une politique, un programme ou une initiative selon un lien causal, ces résultats étant la conséquence d'un ou de plusieurs résultats intermédiaires. Le résultat final représente généralement la raison d'être d'une politique, d'un programme ou d'une initiative et prend la forme d'un changement d'état durable chez les bénéficiaires.
Infrastructure Canada
La Direction générale des programmes des collectivités et des infrastructures (DGPCI) de INFC est responsable de l'administration du PIIC. Au sein de la DGPCI, le PIIC est géré par deux groupes principaux :
- La Direction de la mobilisation et des opérations pour les programmes régionaux, qui est le premier point de contact entre INFC et les provinces/territoires (PT), s'occupe de la mobilisation des intervenants, de la réalisation d'examens et d'approbations de projets et de la prestation d'un contrôle et d'une surveillance à l'échelle des projets pour vérifier la conformité aux EBI conclues avec chaque province/territoire. Cette direction est divisée par région et compte des membres responsables de chaque province et territoire.
- La Direction de l'intégration des programmes appuie les opérations régionales en élaborant des outils de contrôle, des cadres et des directives, en offrant de la formation et des conseils et en veillant à l'intégrité des programmes. Cette direction comprend également la Division de l'évaluation environnementale et de la consultation autochtone, qui est responsable de l'examen et de l'approbation des exigences en ce qui a trait à l'évaluation environnementale et aux obligations en matière de consultation avec les Autochtones pour l'ensemble des projets des programmes de financement.
De plus, des groupes à l'échelle du Ministère offrent un soutien dans divers domaines, comme les communications, les finances, la production de rapports et la gestion du rendement.
Gestion des ententes
L'administration du PIIC est régie par les modalités établies dans l'entente bilatérale intégrée (EBI) qui a été conclue avec chaque province et territoire. Depuis la création du programme, les EBI ont été modifiées à plusieurs reprises pour tenir compte de divers changements, y compris la création du volet Résilience à la COVID-19.
Comme chaque EBI sous-tend le fonctionnement du PIIC, toute modification des modalités exige la ratification d'un amendement avant de pouvoir entrer en vigueur.
La surveillance des EBI est assurée par des comités de surveillance, lesquels sont coprésidés par un représentant du Canada et un représentant de la province ou du territoire en question. Des réunions officielles ont lieu au moins une fois par année pour surveiller la conformité aux modalités de l'EBI, servir de tribune pour résoudre les problèmes ou répondre aux préoccupations, ainsi que pour examiner et recommander des modifications à l'entente (au besoin).
Objectifs et portée
Objectif et portée de l'audit interne
Objectif
L'objectif de la composante d'audit interne de cette mission était de fournir une assurance raisonnable que le PIIC avait établi des processus efficaces de surveillance et de contrôle continu.
Portée
La portée de la composante d'audit interne de cette mission comprenait les quatre volets initiaux (excluant le volet Résilience à la COVID-19) pour la période du 1er avril 2019 au 30 juin 2022.
Énoncé de conformité
La composante d'audit interne de cette mission combinée est conforme aux Normes internationales pour la pratique professionnelle de l'audit interne de l'Institut des auditeurs internes, comme le confirment les plus récents résultats du Programme d'assurance et d'amélioration de la qualité.
La méthodologie et l'approche sont décrites plus en détail à l'annexe D.
Critères de l'audit
- Le PIIC s'appuie sur des processus efficaces de gouvernance et de surveillance.
- Des processus efficaces sont en place pour gérer les risques liés au programme et aux projets qui pourraient empêcher l'atteinte des résultats attendus du PIIC.
- Les contrôles internes du PIIC, y compris les processus de surveillance et de production de rapports, ont été établis et fonctionnent comme prévu pour appuyer efficacement l'exécution du programme.
Objectifs et portée de l'évaluation
Objectif
La composante d'évaluation de la mission avait les objectifs suivants :
- Appuyer le renouvellement du programme en examinant a) les options de conception et d'exécution du programme, en s'intéressant tout particulièrement aux pratiques prometteuses et aux leçons retenues, et b) la façon dont le programme est en mesure de recueillir des données permettant d'évaluer les progrès réalisés vers l'atteinte des résultats et à l'égard de l'analyse comparative entre les sexes Plus (ACS Plus).
- Être conforme aux exigences de la Loi sur la gestion des finances publiques (LGFP), qui exige qu'une évaluation de la pertinence et de l'efficacité de tous les programmes de contribution d'INFC soit effectuée tous les cinq ans.
Portée
L'évaluation du PIIC couvrait la période du 1er avril 2017 au 31 mars 2022 et portait sur les quatre volets initiaux, soit Infrastructures de transport en commun, Infrastructures vertes, Infrastructures communautaires, culturelles et récréatives, et Infrastructures des collectivités rurales et nordiques. Le plus récent volet du PIIC, le volet Résilience à la COVID-19, a été exclu de cette évaluation, car il sera évalué séparément au cours des cinq prochaines années, comme l'indique le plan intégré d'audit et d'évaluation 2021- 2022 à 2024-2025 de INFC.
Méthodologie
L'évaluation a utilisé de multiples sources de données pour recueillir de l'information à l'appui des constatations. Il s'agissait notamment d'un examen des documents et des données du programme, d'une revue de la littérature, d'un examen des données externes, d'un sondage auprès des bénéficiaires finaux et d'entrevues avec des informateurs clés.
Questions de l'évaluation
Les questions de l'évaluation, élaborées au terme de nos discussions avec le personnel du programme, visaient à aider le Ministère à orienter la conception et l'exécution futures des programmes et à satisfaire aux exigences législatives.
- Le PIIC était-il réceptif à l'évolution des besoins et des priorités?
- Quels progrès ont été réalisés à l'égard des résultats immédiats du PIIC, tels qu'ils sont énoncés dans le modèle logique et la stratégie de mesure du rendement du programme?
- Le PIIC est-il en voie d'avoir les données nécessaires pour rendre compte des progrès réalisés vers ses résultats intermédiaires et finaux?
- Les objectifs nationaux énoncés dans les ententes bilatérales intégrées avec chaque province et territoire sont-ils réalistes et réalisables?
- L'approche axée sur les résultats du PIIC a-t-elle été efficace?
Conclusions et principales constatations
Conclusion de l’audit interne et résumé des principales constatations
L'audit a permis de conclure, avec une assurance raisonnable, que le PIIC a établi des processus efficaces de surveillance et de contrôle continu, mais qu'il serait possible d'améliorer l'efficacité de ces processus.
Principales constatations |
Pourquoi est-ce important? |
---|---|
|
|
|
|
Conclusion de l’évaluation et résumé des principales constatations
L'évaluation a permis de conclure que la conception et la prestation du PIIC répondaient aux besoins en infrastructures essentielles des provinces/territoires et cadraient avec les priorités du gouvernement du Canada. Il sera nécessaire d'apporter des améliorations continues au cadre de mesure du rendement du PIIC et aux programmes futurs.
Principales constatations |
Pourquoi est-ce important? |
---|---|
|
|
|
|
|
|
Recommandations et considérations
Recommandations
- Nous recommandons que les processus de surveillance du PIIC soient mis à jour dans le but d'en améliorer l'efficacité.
- Le programme mettra de plus en plus l'accent sur les enjeux liés à la mise en œuvre des projets, offrant l'occasion d'examiner et de recalibrer la composition des comités de surveillance pour s'assurer que les membres seront les mieux placés pour discuter des questions que les comités devront examiner à l'avenir.
- Continuer de réviser les processus de surveillance pour s'assurer que les exigences en matière de rapports correspondent au(x) risque(s) connexe(s).
- Étant donné que la soumission des projets du PIIC est maintenant terminée pour les provinces, la stratégie de mesure du rendement devrait être mise à jour afin de préciser les objectifs et les exigences qui se rapportent aux résultats à moyen et à long termes, en vue de s'assurer de la disponibilité des données et pour pouvoir rendre compte des progrès réalisés vers l'atteinte des résultats pertinents attendus.
Considérations relatives aux programmes futurs
À l'avenir, INFC devrait veiller à ce que les leçons retenues du PIIC soient appliquées aux programmes futurs, notamment :
- Conception et prestation : S'assurer que les programmes futurs recueillent les données sur le rendement dont INFC aura besoin pour rendre compte des résultats, de l'ACS Plus, des objectifs nationaux et de toute considération horizontale à venir à l'échelle du gouvernement, y compris les objectifs de développement durable, le Cadre de qualité de vie, etc.
- Évaluation du rendement : Établir des objectifs et des données de référence pour tous les résultats attendus, ainsi que des sources de données et des méthodologies dans le cadre de la conception d'un programme.
- Contrôles de système et harmonisation des processus : S'assurer que les leçons retenues sont mises à profit et éclairent l'initiative d'harmonisation de la gestion des programmes à l'échelle de la gamme de programmes de INFC. Plus précisément, l'extension des contrôles des systèmes informatiques existants favorisera l'efficacité, réduira les erreurs potentielles et fournira un cadre pour orienter les améliorations (ou le remplacement) des systèmes.
Annexe A : Audit interne – Constatations et conclusions détaillées
Principale constatation no 1 : Possibilité d'améliorer l'efficacité des processus
Critères d'audit |
|
---|---|
|
|
Qu'est-ce qui est en place et qui fonctionne bien? |
|
|
|
Qu'est-ce qui manque et pourquoi est-ce important? |
|
|
|
Comment devrait-on plutôt procéder? |
|
|
|
Gouvernance et surveillance
Les comités de surveillance ont pour rôle officiel de surveiller la mise en œuvre de l'EBI de chaque province ou territoire, en plus de servir de tribune officielle aux fonctionnaires fédéraux et provinciaux pour discuter des enjeux liés au PIIC et les résoudre.
Chaque comité de surveillance a un mandat qui établit sa composition et ses procédures. Chaque comité de surveillance est coprésidé par deux hauts fonctionnaires – un représentant fédéral et un représentant de la province ou du territoire – et doit se réunir au moins une fois par année. Les travaux de chaque comité de surveillance s'appuient sur des discussions opérationnelles qui ont lieu tout au long de l'année.
À l'heure actuelle, le coprésident fédéral est un SMA, et le coprésident provincial/territorial est aussi un SMA (ou l'équivalent). Lors des réunions, les coprésidents fédéraux sont habituellement accompagnés du directeur général régional, du directeur/gestionnaire régional ou des équipes régionales, qui fournissent un soutien supplémentaire sur des sujets plus précis dont il pourrait être question.
L'audit a révélé que les réunions des comités de surveillance avaient lieu au besoin, que les membres (ou leurs délégués) avaient discuté des questions selon les exigences de l'EBI et le mandat du comité, et qu'il y avait certaines preuves que les mesures de suivi découlant des réunions des comités avaient été prises.
Cycle de vie du programme
La participation des hauts fonctionnaires était logique au début du PIIC, où les discussions pouvaient nécessiter que les décisionnaires s'entendent sur une compréhension commune des questions fondamentales et sur la façon dont chaque partie interprétait l'EBI.
Une fois les règles de base fondamentales dûment établies et acceptées, les réunions ont de plus en plus porté sur des questions opérationnelles et propres au projet, relevant généralement d'un niveau trop granulaire pour que l'on s'attende à ce que les coprésidents en aient une compréhension approfondie, et nécessitant donc la participation de plusieurs intervenants à divers niveaux.
Maintenant que la soumission des projets est terminée pour les provinces, les prochaines réunions seront probablement de plus en plus axées sur les enjeux propres aux projets.
Les représentants de INFC et des PT ont souligné la communication solide (informelle) et régulière entre les parties, et indiqué qu'il existe une voie claire pour soulever des enjeux en dehors des réunions officielles des comités de surveillance.
Possibilité d'améliorer l'efficacité
Les représentants de INFC et des PT ont indiqué qu'étant donné que les réunions des comités de surveillance mettront de plus en plus l'accent sur les discussions propres aux divers projets, il faudra beaucoup de temps et d'efforts pour préparer des documents d'information à l'intention des coprésidents sur les détails précis des projets pouvant faire l'objet de discussions.
Dans la plupart des cas, le personnel à l'échelon opérationnel discute fréquemment (parfois chaque semaine) pour régler des questions particulières propres aux projets.
Recommandation no 1a)
Nous recommandons que la composition des comités de surveillance soit recalibrée en fonction de l'évolution du programme, ce qui permettra aux intervenants du niveau approprié de discuter des questions qui seront soumises au comité à l'avenir.
Contrôles internes – Rapports d'étape
Les rapports d'étape constituent une importante mesure de contrôle interne pour veiller à l'utilisation des fonds aux fins prévues et pour confirmer qu'un projet s'harmonise aux résultats du programme. La majorité des bénéficiaires finaux doivent soumettre ces rapports d'étape semestriels, ou une fois par année dans le cas de bénéficiaires finaux qui sont des municipalités, des gouvernements régionaux ou des collectivités autochtones dont la population est inférieure à 5 000 habitants.
Les rapports d'étape doivent fournir certains renseignements précis, notamment :
- le flux de trésorerie à jour;
- la confirmation que le projet est en bonne voie d'atteindre les résultats attendus;
- les risques et les stratégies d'atténuation, le cas échéant; et
- le début prévu et réel des travaux de construction.
Dans le cadre du PIIC, les exigences en matière de rapports d'étape s'inscrivent dans une approche normalisée (sauf pour l'exception susmentionnée liée aux petites collectivités). Tous les projets doivent rendre compte des mêmes paramètres, dans le même niveau de détail et selon la même fréquence, quels que soient les risques et l'importance relative du projet.
Une telle approche a une incidence sur la charge de travail des analystes des programmes régionaux, qui doivent consacrer beaucoup de temps à la surveillance d'un nombre élevé de projets à faible risque ou à faible importance relative.
Le graphique ci-dessous illustre la ventilation des projets approuvés du PIIC (au 1er avril 2023) selon la contribution fédérale.
La plupart des projets approuvés reçoivent une contribution fédérale inférieure à 3 M$ et représentent au total 9 % des fonds du programme. Cela contraste avec les projets dont la contribution fédérale est supérieure à 3 M$, qui représentent plus de 90 % des fonds du programme.
Avec plus de 5 000 projets actifs à surveiller dans le cadre du PIIC, INFC s'est efforcé de simplifier le processus de production de rapports d'étape, notamment en apportant les changements suivants :
- Améliorations du système pour simplifier une partie de la saisie et du traitement des données entre les systèmes;
- Simplification du processus d'examen pour les projets qui satisfont à certaines conditions (p. ex., faible importance relative);
- Processus d'approbation par paliers, où les analystes/gestionnaires de programme peuvent, dans certains cas, approuver les rapports d'étape.
Surveillance accrue
Certains projets, notamment de très grands projets de transport en commun, ont fait l'objet d'un contrôle accru qui va au-delà des exigences de production de rapports semestriels de la plupart des projets. En plus de soumettre de plus nombreux rapports d'étape, ces projets font aussi l'objet d'une surveillance par des comités ou sous-comités de surveillance spécialisés, qui se réunissent selon diverses fréquences et se concentrent sur un seul projet ou un sous-ensemble de projets.
Possibilité d'améliorer l'efficacité
La surveillance des projets est un processus très manuel. Compte tenu du nombre important de projets, le niveau de surveillance doit être adapté au niveau de risque de chaque projet.
Une certaine rationalisation du processus de surveillance a déjà eu lieu, et les intervenants reconnaissent que les modalités du PIIC et des EBI imposent des contraintes à la capacité d'adapter les processus de contrôle et de surveillance. Cela dit, dans la mesure du possible, les processus doivent concentrer leurs efforts sur les projets de plus grande envergure, plus complexes ou présentant une cote de risque élevé.
Recommandation no 1b)
Nous recommandons que les processus de contrôle des projets soient revus pour veiller à ce que les exigences en matière de rapports correspondent au niveau de risque des projets.
Principale constatation no 2 : Les efforts d'harmonisation et les contrôles reposant sur des systèmes devraient être mis à profit.
Critères d'audit |
|
---|---|
|
|
Qu'est-ce qui est en place et qui fonctionne bien? |
|
|
|
Qu'est-ce qui manque et pourquoi est-ce important? |
|
|
|
Comment devrait-on plutôt procéder? |
|
|
|
Gestion du risque
La gestion du risque est un important processus pour l'atteinte des objectifs du programme et des projets.
Risques liés au programme
Un profil de risque complet du PIIC a été élaboré en 2019. Ce document a permis de cerner les risques liés au programme, ainsi que les stratégies d'atténuation connexes pour assurer la mise en œuvre réussie du PIIC. Au moment de cet audit, le profil de risque du programme était en cours de mise à jour pour tenir compte du cycle de vie du programme et a été finalisé en septembre 2023.
En conformité avec la Politique sur les paiements de transfert du Conseil du Trésor, un cadre de contrôle de gestion (CCG) exhaustif a été élaboré pour le PIIC. Le CCG initial du PIIC avait été approuvé en 2019, dans l'intention d'y apporter des révisions tout au long de la durée du PIIC. La dernière mise à jour du CCG du PIIC remonte à juillet 2021 et, au moment de cet audit, le CCG était en cours de mise à jour.
Risques liés aux projets
Dans le cadre des quatre volets initiaux du PIIC, tous les projets font l'objet d'une évaluation exhaustive des risques dans le cadre de la diligence raisonnable de INFC. Il existe des documents d'orientation qui décrivent en détail la façon d'effectuer l'évaluation ou la réévaluation des risques d'un projet, les facteurs à prendre en compte, ainsi que des rappels ou des exemples pour favoriser l'uniformité de l'application.
Cet audit a permis de constater une amélioration de l'uniformité du processus d'évaluation des risques liés aux projets du PIIC par rapport à ce qui avait été constaté lors de l'audit de programmes précédents.
L'audit a confirmé que les évaluations et réévaluations des risques liés aux projets ont été effectuées conformément aux documents d'orientation.
Considérations relatives aux points à améliorer
Un processus de gestion du risque plus mature permettrait l'ajustement des mesures d'atténuation des risques (p. ex., le détail et la fréquence du régime de contrôle) à mesure que les risques liés au programme ou aux projets évoluent.
Bien que INFC ait peaufiné ses processus de gestion du risque, ces processus demeurent très manuels. Il y a aussi un manque d'uniformité entre les programmes de INFC, ce qui ajoute de la complexité.
Les projets d'intégration entre les programmes et les systèmes, de même que l'automatisation éventuelle des processus, exigent d'importants efforts qui nécessitent beaucoup de ressources pour la conception et la mise en œuvre.
Dans la mesure du possible, INFC devrait envisager d'intégrer une certaine automatisation au processus de gestion du risque, tout en continuant d'explorer des améliorations aux systèmes existants ou leur remplacement.
Principaux contrôles internes du programme
Modifications de projet
INFC a élaboré une politique de modification de projets dans le cadre du PIIC, y compris un tableau d'évaluation des modifications de portée des projets ainsi que des modèles de communication qui guident les analystes du programme lorsqu'ils évaluent les modifications de projet. Ces documents d'orientation facilitent un traitement uniforme des différents projets dans l'ensemble des provinces et territoires.
L'audit a révélé que la politique de modification de projet a été respectée dans tous les cas où d'importantes modifications ont été apportées à un échantillon de projets sélectionnés aux fins d'une analyse plus approfondie.
Contrôles de système
Par le passé, les programmes de INFC ont été fortement tributaires de processus de contrôle manuels pour assurer la conformité avec divers points de contrôle, tels que des listes de contrôle qui sont examinées et approuvées à différents stades.
Dans le cadre du PIIC, certains contrôles reposant sur des systèmes ont été mis en œuvre pour signaler les conditions qui pourraient nuire à la capacité de traiter les demandes de paiement d'un projet.
Ces signalements portent notamment sur :
- une modification de projet en suspens;
- des rapports d'étape en suspens; ou bien
- des conditions en suspens liées à l'évaluation environnementale ou à la consultation auprès des Autochtones.
Une fois ces signalements déclenchés, le système ne permettra pas le traitement d'un paiement jusqu'à ce qu'ils soient résolus.
Il était possible de déroger à ces signalements du système, mais cela exigeait une action intentionnelle des analystes régionaux, et certaines conditions (comme celles liées à l'évaluation environnementale ou aux conditions de consultation auprès des Autochtones) pouvaient uniquement être supprimées par des utilisateurs exerçant un rôle précis et ayant l'expertise requise.
Les dérogations aux contrôles étaient consignées et, dans certains cas, des notes au dossier ont été conservées pour en expliquer la raison; toutefois, le système ne conserve pas une piste d'audit complète et documentée des dérogations aux contrôles et de leur justification.
Processus de traitement des demandes de paiement
Des lignes directrices et des procédures du PIIC liées au traitement des demandes de paiement ont été élaborées, ainsi que des outils et des modèles connexes. Cette orientation précise et appuie les principaux intervenants qui sont responsables du traitement des demandes.
L'audit a révélé que toutes les demandes de paiement ont été traitées conformément aux procédures établies, y compris la tenue de documents à l'appui des approbations requises, conformément à la Loi sur la gestion des finances publiques.
Améliorations possibles
INFC continue de peaufiner ses contrôles internes, et le PIIC a intégré d'importants contrôles reposant sur des systèmes pour prévenir le versement de paiements à un projet dans certaines circonstances.
Dans la mesure du possible, INFC devrait envisager d'étendre ces contrôles à d'autres programmes et envisager d'élargir la capacité et la fonctionnalité de ces contrôles dans le cadre de l'amélioration ou du remplacement de systèmes.
Harmonisation des programmes
À mesure que le mandat de INFC et que son ensemble de programmes continuent de croître, il est de plus en plus nécessaire de normaliser les processus pour en améliorer la qualité et l'efficacité. La normalisation des processus facilite également l'intégration et l'automatisation des systèmes, car il n'est alors plus nécessaire de personnaliser les règles opérationnelles pour chaque programme.
Vérification des bénéficiaires
La Politique sur les paiements de transfert exige que les ministères mettent en place des systèmes de surveillance et de contrôle interne rentables. La surveillance comprend le contrôle des bénéficiaires, y compris les vérifications des bénéficiaires.
La vérification du bénéficiaire est une évaluation indépendante qui vise à fournir une assurance de la conformité d'un bénéficiaire à une entente de financement. La portée d'une vérification du bénéficiaire peut porter sur l'ensemble ou une partie des aspects financiers et non financiers de l'entente de financement. Ces vérifications permettent aussi de s'assurer que les projets individuels et le programme dans son ensemble sont gérés de façon efficace.
Dans le cadre du PIIC, il existe des exigences minimales obligatoires selon lesquelles des vérifications des bénéficiaires doivent être effectuées dans chaque province/territoire pendant la durée du programme. Le présent audit a révélé que ces exigences minimales en matière de vérification des bénéficiaires étaient mises en œuvre ou planifiées dans chaque administration.Toutefois, l'audit a également révélé que ces vérifications étaient, en grande partie, planifiées et menées indépendamment des autres programmes. Des tentatives ont été faites pour regrouper les vérifications des bénéficiaires du PIIC avec d'autres programmes afin de tirer parti des gains d'efficience. Toutefois, compte tenu de la nature et de l'ampleur du PIIC, une telle approche n'est souvent pas réalisable sur le plan opérationnel.
La coordination et la mise en œuvre des vérifications des bénéficiaires à l'échelle de l'organisation peuvent en accroître les avantages. Grâce à une telle vision organisationnelle, les leçons tirées d'une vérification particulière pourront aussi être mises à profit par d'autres programmes. Par exemple, une vérification qui porte sur la gestion de projet et les processus de demande de paiement d'un bénéficiaire pourra s'avérer utile à un autre programme qui traite avec le même bénéficiaire.
Harmonisation
La vérification des bénéficiaires est un exemple concret d'une tentative d'harmonisation des processus d'exécution de programmes à l'échelle de INFC.
Les plans de vérification des bénéficiaires ont généralement été mis en suspens au début de la pandémie de COVID-19, et INFC a profité de l'automne 2020 pour mettre sur pied un groupe de travail sur la vérification des bénéficiaires afin d'appuyer l'élaboration d'un cadre à l'échelle du Ministère. Ces travaux ont donné lieu à l'approbation du cadre de vérification des bénéficiaires de INFC à l'automne 2021.
Depuis l'élaboration du cadre initial, un nombre croissant de programmes sont maintenant gérés à l'extérieur de la Direction générale des programmes des collectivités et des infrastructures. Au moment de cet audit, la responsabilité de la mise en œuvre du cadre de vérification des bénéficiaires était en cours de transfert à une équipe de la Direction générale des services ministériels afin que celle-ci s'inscrive dans une approche intégrée.
Conseils, outils, harmonisation et soutien relatifs aux programmes
Au sein de la Direction générale des programmes des collectivités et des infrastructures, une équipe a été créée pour veiller à la normalisation et à l'harmonisation des processus entre les programmes.
Cette équipe joue un rôle intégré dans la gouvernance des programmes afin de favoriser une plus grande uniformité et une harmonisation à l'échelle de la Direction générale et du Ministère, et pour accroître l'efficacité et la capacité en matière de conception et d'exécution des programmes grâce aux priorités suivantes :
- Harmonisation et normalisation des outils, des exigences et des processus de programmes.
- Élaboration et offre de formations et de conseils concernant les exigences des programmes.
- Orientation pour appuyer les analystes dans le processus auprès du Conseil du Trésor pour les projets.
- Capacité d'intensification à l'appui de la prestation des dossiers prioritaires à l'échelle de la Direction générale.
- Analytique des programmes à l'appui d'une conception et d'une mise en œuvre efficaces des programmes.
Afin de réduire la complexité de la gestion des programmes, ainsi que le fardeau administratif, et pour améliorer la surveillance, INFC adopte une approche délibérée et systématique de normalisation de ses pratiques de gestion des programmes, tout en conservant la souplesse nécessaire pour atteindre les résultats propres à chaque programme.
Améliorations possibles
Puisque le PIIC est l'un des plus importants programmes de INFC, tant sur le plan de la valeur que du nombre de projets, les leçons tirées de la mise en œuvre du PIIC pourront être mises à profit pour améliorer les processus des programmes existants et éclairer la conception des programmes futurs.
INFC devrait continuer d'accorder la priorité aux efforts d'harmonisation entre les régions, les processus et les programmes.
Conclusion de l'audit interne
L'audit a permis de conclure, avec une assurance raisonnable, que le PIIC a établi des processus efficaces de surveillance et de contrôle continu.
Les possibilités d'amélioration suivantes ont été cernées en vue d'améliorer l'efficacité des processus de surveillance et de contrôle existants du PIIC :
- examiner la composition des comités de surveillance pour s'assurer que les coprésidents et les membres désignés seront les mieux placés pour discuter des questions qui seront soumises aux comités à l'avenir; et
- revoir les processus de contrôle des projets pour veiller à ce que les exigences en matière de rapports correspondent au niveau de risque des projets.
En outre, les possibilités d'amélioration suivantes ont été cernées afin qu'elles soient prises en considération :
- S'assurer que les leçons retenues sont mises à profit et éclairent l'initiative d'harmonisation de la gestion des programmes à l'échelle de la gamme de programmes de INFC. Plus précisément, ces travaux favoriseront l'efficacité, réduiront les erreurs et fourniront un cadre pour éclairer les améliorations (ou le remplacement) des systèmes afin de mettre en œuvre des contrôles reposant sur des systèmes communs.
Annexe B : Évaluation – Constatations et conclusions détaillées
Principale constatation no 1 : Le PIIC a répondu aux besoins globaux des Canadiens en matière d'infrastructures essentielles et demeure pertinent pour donner suite aux priorités du gouvernement du Canada.
Le PIIC a répondu aux besoins globaux des Canadiens en matière d'infrastructures essentielles, car les fonds ont été en ciblant les catégories d'actifs nécessitant des investissements.
Les multiples volets du PIIC et les composantes de son approche de conception axée sur les résultats ont harmonisé les projets aux domaines prioritaires du gouvernement fédéral tout en répondant à certaines priorités des provinces et territoires.
Description des besoins en infrastructures essentielles au Canada
Source: Canadian Infrastructure Report Card 2019
Très mauvais : l'actif n'est pas adapté à un service prolongé; il approche la fin de sa durée de service prévue ou l'a dépassée; il présente des signes très répandus de détérioration avancée; certains actifs peuvent être inutilisables.
Mauvais : potentiel croissant de problèmes pouvant se répercuter sur le service; il approche de la fin de durée de service; présente un état inférieur aux normes; une grande portion du système présente des signes importants de détérioration.
Passable : nécessite d'y porter attention; l'actif présente des signes de détérioration et certains éléments présentent des défaillances.
Selon le Bulletin de rendement des infrastructures canadiennes de 2019, environ 27 % des infrastructures publiques essentielles du Canada, c.-à-d. les routes et les ponts, les installations culturelles, récréatives et sportives, l'eau potable, les eaux usées, les eaux pluviales, le transport en commun et les déchets solides, sont dans un état qui est mauvais, très mauvais ou passable, et nécessitent donc des investissements, comme le montre la figure 3.
De plus, l'Étude sur les façons de répondre aux besoins en infrastructure dans les collectivités autochtones nordiques (2014) a montré que les personnes qui vivent dans le Nord du Canada, y compris les collectivités autochtones, font face à un important déficit d'infrastructure exacerbé par un certain nombre de facteurs environnementaux, dont l'éloignement, une courte saison de construction et des coûts plus élevés de construction et d'entretien des infrastructures.
Les besoins en infrastructures essentielles dans les collectivités du Nord comprennent les routes locales et régionales, les infrastructures de transport aérien et maritime, les infrastructures énergétiques, les télécommunications, l'eau, les eaux usées et la gestion des déchets solides.
Le PIIC a répondu aux besoins des Canadiens en infrastructures essentielles
Source : Tiré du Rapport sur le financement des infrastructures d'Infrastructure Canada
L'évaluation a révélé que le financement du PIIC était aligné sur les secteurs de l'infrastructure essentielle dont l'état a été désigné comme étant très mauvais, mauvais ou passable et qui nécessitaient un investissement selon le Bulletin de rendement des infrastructures canadiennes de 2019 (figure 4).
Par ailleurs, c'est le secteur du transport en commun qui a reçu le plus de financement (environ 13 milliards de dollars) dans le cadre du PIIC, étant donné qu'il a été désigné comme étant une priorité fédérale et que le ratio coût/projet dans ce secteur est habituellement plus élevé (environ 13 milliards de dollars pour 315 projets) que pour d'autres actifs, par exemple les installations récréatives (moins de 1 milliard de dollars pour 608 projets).
L'analyse des projets financés a montré que d'autres catégories d'actifs ayant reçu un financement important (environ 1 milliard de dollars) comprenaient l'énergie verte, l'eau potable, les eaux usées et les loisirs, tous des secteurs dans lesquels les infrastructures ont été désignées comme nécessitant des investissements.
Le financement du PIIC a été alloué aux secteurs prioritaires du gouvernement fédéral
Volet |
Sous-volet |
Objectifs |
---|---|---|
Infrastructures de transport en commun |
|
|
Infrastructures vertes |
Atténuation des changements climatiques |
|
Adaptation, résilience et atténuation des catastrophes |
|
|
Qualité de l'environnement |
|
|
Infrastructures communautaires, culturelles et récréatives |
|
|
Infrastructures des collectivités rurales et nordiques |
Infrastructures des collectivités rurales et nordiques |
|
Fonds pour l'énergie dans l'Arctique |
|
Source : Programme d'infrastructure Investir dans le Canada
L'examen des données du programme, les entrevues avec les intervenants clés des provinces et des territoires, ainsi que les résultats du sondage auprès des bénéficiaires finaux ont montré que les fonds du PIIC ont été alloués à des projets liés aux secteurs prioritaires du gouvernement fédéral.
De plus, l'analyse de l'ensemble des plansd'infrastructure provinciaux et territoriaux (à l'exception du Nunavut, où aucun plan n'était disponible) a montré que leurs priorités étaient harmonisées avec les volets du PIIC.
Les entrevues avec les provinces et les territoires ont révélé que l'élargissement des critèresd'admissibilité et les modifications aux ententes bilatérales ont permis aux PT de mieux harmoniser leurs priorités.
Toutefois, plus de 50 % des provinces et territoires ont souligné que leurs priorités ne correspondaient pas toujours aux résultats souhaités par le gouvernement fédéral pour les projets admissibles dans le cadre du programme.
Le PIIC a permis au gouvernement du Canada de faire progresser ses objectifs
Source : Tiré du Rapport sur le financement des infrastructures – PIIC d'Infrastructure Canada
L'analyse du nombre de projets approuvés et des contributions fédérales dans le cadre des quatre différents volets du PIIC a montré que les projets étaient financés dans des domaines qui font progresser les objectifs du gouvernement du Canada.
Au cours de la période d'évaluation (avril 2018 - mars 2022), les données ont montré que le volet infrastructure verte (GIS) avait le plus grand nombre de projets approuvés (1 175) et le deuxième financement approuvé le plus élevé (5,4 milliards de dollars).
Le volet Infrastructures de transport en commun obtient le financement le plus élevé (11,4 milliards de dollars), avec 437 projets approuvés (figure 5).
Principale constatation no 2 : La conception du PIIC a permis aux collectivités ciblées et à des populations diversifiées de recevoir le financement du programme.
La Directive sur les résultats (2016) du Conseil du Trésor exige que les évaluations tiennent compte des engagements stratégiques pangouvernementaux, y compris l'ACS Plus. La présente évaluation a examiné les résultats du programme dans une optique d'inclusivité afin de cerner les domaines qui pourraient être pris en compte dans l'élaboration de futurs programmes d'infrastructure.
Les volets Infrastructures des collectivités rurales et nordiques et Infrastructures communautaires, culturelles et récréatives du PIIC ont été conçus pour le financement de projets visant les collectivités nordiques et rurales et des populations diversifiées, y compris les peuples autochtones, les populations vulnérables et les membres d'une minorité de langue officielle. Par exemple, en se fondant sur une comparaison des emplacements des projets du PIIC avec les données du Recensement de 2021 de Statistique Canada, l'évaluation a révélé que la population rurale dans les collectivités financées par le PIIC était supérieure à sa proportion au sein de la population canadienne, alors que la population autochtone dans les collectivités financées par le PIIC n'était qu'1 % moins élevée que dans sa proportion au sein de la population canadienne.
L'évaluation a révélé que les consultations auprès de divers groupes de la population n'étaient pas une exigence dans le cadre de la conception du programme. À l'avenir, les programmes devraient inclure la capacité d'intégrer les considérations liées à l'ACS Plus afin d'aller au-delà du simple fait de savoir quelles collectivités ont reçu du financement, et plutôt chercher à comprendre l'incidence des programmes d'infrastructure sur les divers groupes.
Les données sur l'emplacement des projets montrent certains résultats positifs pour les collectivités ciblées et les populations diversifiées.
Groupe |
Part des projets du PIIC (%) |
Part dans l'ensemble du Canada (%) |
---|---|---|
Population autochtone (identité autochtone)Note de bas de page 6 |
4 % |
5 % |
Collectivités éloignées (indice d'éloignement) |
2,2 % |
7,3 % |
Collectivités nordiques (au nord du 60e parallèle nord) |
1,2 % |
2,2 % |
Collectivités rurales (1 000 habitants ou moins) |
35 % |
18 % |
Populations vulnérables (taux de pauvreté fondé sur la Mesure du panier de consommation) |
5,9 % |
8,1 % |
Population par première langue officielle parléeNote de bas de page 7 |
Part des projets du PIIC (%) |
Part dans l'ensemble du Canada (%) |
Population ne parlant que l'anglais au Québec |
12,8 % |
13 % |
Population ne parlant que le français partout au Canada, sauf au Québec |
12,7 % |
13,5 % |
Sources : Les données proviennent du Recensement de 2021 et des données du programme sur les projets réalisés entre 2018 et le 31 mars 2022 pour tous les volets, à l'exception du VRCV.
L'analyse des données sur l'emplacement des projets du programme montre certains résultats positifs pour les groupes diversifiés, en particulier là où la part des projets du PIIC visant ces groupes est supérieure ou presque égale à la part globale canadienne. Cette observation porte à croire que le financement du PIIC a atteint un pourcentage élevé de ces populations. Par exemple, les collectivités rurales et nordiques ont largement bénéficié d'investissements provenant du volet Infrastructures des collectivités rurales et nordiques, et les populations autochtones ont largement bénéficié d'investissements provenant du volet Infrastructures communautaires, culturelles et récréatives.
Principale constatation no 3 : Le PIIC a réalisé des progrès en vue de bien mesurer le rendement pour rendre compte des résultats immédiats, et aura l'occasion d'améliorer la stratégie de mesure du rendement (SMR) actuelle afin d'être plus en mesure de rendre compte des résultats à long terme.
INFC a conçu la stratégie de mesure du rendement (SMR) au moment du lancement du PIIC. Comme il est d'usage, le SMR reste un document évolutif et est continuellement mis à jour pour combler les lacunes et identifier les sources de données, les objectifs et les données de référence, en particulier pour les résultats à moyen et à long termes.
Dans le cadre de cette évaluation, la SMR a été examiné pour s'assurer que le PIIC avait fixé des indicateurs de performance des données de référence et des objectifs réalisables, et que le programme disposerait des données nécessaires pour rendre compte des progrès accomplis dans la réalisation de ses résultats immédiats, intermédiaires et finaux. L'évaluation a permis de confirmer que le PIIC dispose de données préliminaires, tirées des demandes, pour rendre compte des progrès réalisés vers l'obtention de résultats immédiats.
L'évaluation a confirmé que le programme dispose aussi de données pour rendre compte de certains des résultats à plus long terme, soit des résultats intermédiaires et finaux. Elle a aussi révélé la nécessité de mettre à jour la SMR, car aucune source de données n'a été établie pour certains des résultats à long terme.
INFC a intégré aux indicateurs du PIIC des objectifs nationaux harmonisés avec les objectifs fédéraux. L'évaluation a révélé que certains objectifs nationaux n'étaient plus pertinents ou ne disposaient pas de données. En outre, la plupart des résultats n'ont pas de données de référence ou d'objectifs.
Il est important d'établir des données de référenceNote de bas de page 8 et des objectifs réalisables pour bien mesurer si un programme atteint ses résultats, permettant ainsi d'apporter les ajustements requis, le cas échéant, et au fur et à mesure de la mise en œuvre du programme.
Il est recommandé que INFC procède aux améliorations prévues à la SMR afin de combler les lacunes, y compris la pertinence des indicateurs, données de références et objectifs, ainsi que la faisabilité de la collecte de données.
État actuel des données sur le rendement du PIIC
Objectifs nationauxNote de bas de page 9
- Part modale : Augmentation de 20 % pour le transport en commun et le transport actif
- Transport en commun : Maintenir à 96 % la proportion de personnes d'une municipalité qui vivent dans la zone de service de leur système de transport en commun
- Émissions de GES : Contribuer à la réduction des émissions de GES de 10 mégatonnes
- Avis concernant la qualité de l'eau potable : Réduire de 40 % le nombre d'avis de longue durée concernant la qualité de l'eau potable dans les collectivités hors réserve
- Eaux usées : Accroître le nombre de systèmes de traitement des eaux usées conformes au Règlement fédéral sur les effluents : de 95 % à 100 % pour les systèmes de traitement à risque élevé; de 85 % à 100 % pour les systèmes d'eaux usées à risque moyen
- Accessibilité : S'assurer que 100 % des infrastructures publiques financées par le gouvernement fédéral respecteront, dans leur administration respective, les normes d'accessibilité applicables les plus élevées ayant été publiées
- Large bande : Augmenter de 3 % (pour atteindre 93 %) le nombre de ménages en milieu rural ayant accès à la gamme à large bande la plus élevée accessible dans leur administration selon les données de 2015 du CRTC.
- Efficacité énergétique : Accroître l'efficacité de la production d'électricité de 4 % (kilowattheure par litre/m3 de combustible utilisé) dans les collectivités qui dépendent des combustibles fossiles pour la production d'électricité
La SMR décrit 83 indicateurs pour mesurer les résultats immédiats des projets. Les PT devaient sélectionner les indicateurs qui s'appliquaient à leurs projets, puis soumettre des données sur le rendement dans le cadre de leur demande initiale.
- La présente évaluation a révélé que les données initiales sont disponibles. Une fois que les PT auront soumis tous les rapports finaux sur les projetsNote de bas de page 10, il sera possible de faire état du rendement en ce qui concerne les résultats immédiats.
Le PIIC compte 12 indicateurs pour les résultats intermédiaires et 15 indicateurs pour les résultats finaux, et INFC doit s'appuyer sur ces indicateurs pour recueillir les données, établir les données de référence et fixer les objectifs.
- Au moment de l'évaluation, le cadre de mesure du rendement s'appuyait sur les données existantes de Statistique Canada et d'autres ministères fédéraux. L'évaluation a révélé que les résultats à long terme ne comportaient pas tous des données permettant de mesurer les progrès réalisés, et que très peu étaient accompagnés des données de référence et d'objectifs.
Le programme a également établi 8 objectifs nationaux pour mesurer les progrès réalisés vers l'atteinte des résultats.
- L'évaluation a examiné un échantillon d'indicateurs, y compris ceux liés aux 8 objectifs nationaux, pour déterminer le nombre de résultats assortis de données de référence et d'objectifs. Malgré que ceci soit habituel pour ce stade de la mise en œuvre de la SMR, l'évaluation a révélé que les résultats ne sont pas tous assortis de données de référence ou d'objectifs. De plus, certains objectifs nationaux n'étaient plus pertinents ou ne disposaient pas de données.
Conclusion de l'évaluation
L'évaluation a permis de conclure que la conception et la prestation du PIIC répondaient aux besoins en infrastructures essentielles des provinces/territoires et cadraient avec les priorités du gouvernement du Canada. Il sera nécessaire d'apporter des améliorations continues au cadre de mesure du rendement du PIIC et aux programmes futurs.
Le PIIC a été le tout premier programme axé sur les résultats de INFC, jetant les bases des programmes futurs.
Les leçons retenues du PIIC pourront être mises à profit pour établir des indicateurs et des objectifs améliorés et pertinents lors de la conception des futurs programmes, permettant d'améliorer la prise de décisions et la sélection des projets à financer.
Puisque la présente évaluation a été réalisée à la fin de la période de réception des projets du programme, il sera possible d'appliquer les leçons tirées de cette évaluation pour concevoir les futurs programmes :
- Adopter une approche équilibrée en matière de conception des programmes, p. ex., des critères d'admissibilité suffisamment larges pour répondre aux vastes besoins en infrastructure des provinces et territoires, mais suffisamment étroits pour atteindre les objectifs voulus et en rendre compte;
- Lors de la conception d'un programme – élaborer des objectifs de rendement et des données de référence, et déterminer les sources de données et une méthodologie clairement définie, permettant de rendre compte des progrès réalisés vers l'atteinte de tous les résultats du programme;
- Mener des consultations auprès de divers groupes, y compris les Autochtones, aux fins de la conception du programme, y compris la stratégie de mesure du rendement;
- Recueillir les données sur l'ACS Plus pour bien cibler les groupes diversifiés pour du financement du programme, de façon à pouvoir décrire les avantages des allocations du PIIC pour les populations en question.
Annexe C : Plan d'action de la gestion
Recommandation |
Plan d'action de la gestion |
Principaux livrables |
Bureau de première responsabilité (BPR) et date d'échéance |
---|---|---|---|
|
|
|
|
|
Nous sommes d'accord. La Direction générale des programmes des collectivités et des infrastructures continue de maintenir la stratégie de mesure du rendement évolutive et procédera à la mise à jour prévue en incorporant les changements qui préciseront les données et les processus qui aideront à rendre compte des résultats du PIIC à moyen et long termes. |
Stratégie de mesure du rendement du PIIC mis à jour |
DGPCI Septembre 2024 |
Annexe D : Méthodologie et limites
Méthodologie de l'audit interne
Conformément au plan intégré d'audit et d'évaluation 2021-2022 à 2025-2026 de INFC, la Direction de l'audit interne a entrepris une mission combinée d'audit interne et d'évaluation du Programme d'infrastructure Investir dans le Canada.
Évaluation des risques
Une approche fondée sur les risques a été utilisée pour établir l'objectif, la portée et la méthodologie de cette mission d'audit interne.
Compte tenu de ces risques, des critères et des sous-critères d'audit détaillés ont été élaborés pour orienter les travaux d'audit sur le terrain et constituent la base à la conclusion générale de la mission. Les critères d'audit ont également été tirés du cadre de gestion du risque d'entreprise du Committee of Sponsoring Organizations of the Treadway Commission (« COSO »). Le « COSO » est un organisme international voué à l'amélioration du rendement de la gestion grâce à l'élaboration et à l'échange de pratiques exemplaires en matière de contrôle interne, de gestion des risques, de gouvernance et de dissuasion de la fraude.
Examen des documents, entrevues et survol
La mission d'audit interne comprenait divers essais, selon ce qui était jugé nécessaire, pour fournir une assurance raisonnable relative à la conclusion générale de la mission. Ces essais comprenaient, sans s'y limiter, des entrevues, des survols, l'examen des documents justificatifs et d'autres procédures d'audit.
Tous les dossiers de projet ont été examinés dans le cadre des procédures d'essai. Les travaux sur le terrain ont été achevés en grande partie le 28 avril 2023.
Les constatations de l'audit interne ont d'abord été communiquées au Bureau de première responsabilité (BPR) afin de valider des faits et de confirmer la clarté, l'exactitude et l'exhaustivité de l'information transmise.
Stratégie d'échantillonnage démographique
Les données démographiques ont été extraites le 24 août 2022 d'un rapport contenant une liste complète des projets financés par le PIIC ayant été approuvés entre le 1er avril 2019 et le 30 juin 2022.
Ce rapport comprenait un total de 2 910 projets approuvés dans les quatre volets initiaux du PIIC.
Un échantillon discrétionnaire de 52 projets a été sélectionné.
Les principaux critères de sélection étaient :
- les projets dont la cote de risque est moyenne- élevée ou supérieure;
- les projets pour lesquels des réclamations avaient été payées.
Les critères de sélection secondaires étaient :
- les volets de financement;
- la région;
- la contribution du programme;
- le financement versé;
- le niveau de risque du projet.
Limitation de la portée
Le système de gestion des projets détecte seulement les projets qui comportent actuellement une condition devant être signalée (p. ex., modification de projet en attente, rapports d'étape en suspens, évaluation environnementale ou consultation auprès des Autochtones en suspens, etc.). Le système ne fournit pas de rapports sur les projets qui avaient antérieurement fait l'objet de signalements dans le système.
La présente mission s'est tout particulièrement intéressée à la mise à l'essai des contrôles liés aux projets pour lesquels des modifications de projet étaient en attente.
Nous nous sommes appuyés sur notre propre échantillon discrétionnaire de 52 projets afin d'effectuer une recherche manuelle qui nous a permis de relever 22 projets ayant déjà fait l'objet d'une modification.
La méthode de sélection des projets ne permet pas d'extrapoler les résultats ayant trait au processus de modification de projet.
Méthodologie de l'évaluation
Sources de données
L'évaluation a utilisé de multiples sources de données pour recueillir de l'information à l'appui des constatations. Les méthodes d'analyse utilisées pour réaliser la présente évaluation ont été adaptées à la nature des données disponibles. La conception de l'évaluation et le niveau d'effort ont été ajustés en fonction des ressources disponibles de INFC.
Examen des documents
L'examen des documents a permis de mettre en contexte les changements apportés au programme entre 2016 et 2022, d'évaluer l'adéquation entre la théorie du changement/le modèle logique du programme (tel qu'il est décrit dans la SMR) et les données disponibles, puis d'examiner différents modèles de conception de programme. Ces documents comprennent, entre autres:
- la présentation au CT;
- les modalités du programme;
- la stratégie de mesure du rendement;
- les ententes bilatérales avec les provinces et les territoires; et
- les rapports externes comme les rapports du Bureau du vérificateur général de 2021 et de 2022.
Ces documents ont permis d'évaluer les rôles et les responsabilités de INFC, des signataires et des bénéficiaires finaux, ainsi que les progrès réalisés vers l'atteinte des résultats attendus. L'examen des documents a également porté sur les documents d'autres programmes de INFC et les rapports d'évaluation et les documents d'autres programmes du plan Investir dans le Canada, afin de recueillir de l'information sur d'autres modèles de conception et de prestation des programmes, ainsi que sur les stratégies de mesure du rendement, pour orienter l'élaboration des futurs programmes.
Revue de la littérature
La revue de la littérature s'est penchée sur des publications universitaires portant sur la conception du rendement, la conception et la prestation des programmes et la collecte de données, afin d'évaluer l'adéquation entre la théorie du changement et les résultats et indicateurs de rendement du PIIC. Elle a également cerné les leçons retenues et les pratiques prometteuses liées à différentes résultats, et à la collecte de données, particulièrement en ce qui concerne les programmes visant des groupes diversifiés (ACS Plus).
Entrevues
Au total, 58 entrevues ont été menées auprès d'informateurs clés pour recueillir des expériences vécues et des points de vue sur la capacité du PIIC à s'adapter et à faire preuve de souplesse pour répondre à l'évolution des besoins et des priorités, ainsi que sur la pertinence continue des objectifs nationaux existants et l'efficacité de l'approche axée sur les résultats pour la mise en œuvre du PIIC. Il a aussi été question des facteurs qui ont facilité ou entravé l'approche, des résultats imprévus, et des points de vue sur d'autres modèles de conception et d'exécution. Les personnes interrogées comprenaient des fonctionnaires de INFC (27), des représentants d'autres ministères, organismes et sociétés d'État (9) et des représentants provinciaux et territoriaux (22).
Examen des données du programme et des données externes
L'examen des données du programme et des données externes a permis d'examiner les données internes du programme de INFC disponibles dans le Système d'information pour les bénéficiaires d'infrastructure (SIBI) et dans le Système de gestion de l'information sur les programmes (SGIP), afin d'évaluer les progrès réalisés vers l'atteinte des résultats et des objectifs. Les données externes de Statistique Canada, de l'Association canadienne du transport urbain et de Ressources naturelles Canada ont été examinées pour déterminer si le Ministère est en bonne voie de disposer des données nécessaires pour rendre compte des résultats intermédiaires et finaux ainsi que des objectifs connexes. De plus, les deux types de données ont été utilisés pour évaluer s'il était nécessaire d'ajuster les huit objectifs actuels ou d'en établir de nouveaux.
Sondage
Un sondage a été mené pour recueillir les points de vue des bénéficiaires finaux (p. ex., les administrations locales, les organismes privés à but lucratif ou sans but lucratif, les autorités de transport et les entités autochtones) en ce qui concerne :
- la mesure dans laquelle le PIIC a fait preuve de souplesse et d'adaptabilité pour répondre à l'évolution des besoins et des priorités;
- les progrès réalisés en vue d'offrir des programmes à divers groupes (p. ex. les Autochtones, les communautés de langue officielle en situation minoritaire, les personnes vivant dans des régions rurales et éloignées et les populations vulnérables);
- l'efficacité de la mise en œuvre des programmes, y compris les facteurs qui ont facilité ou entravé l'approche; et
- les résultats imprévus.
Sur la liste des 1 517 bénéficiaires finaux, 439 bénéficiaires finaux ont répondu au sondage, ce qui donne un taux de réponse de 29 % et un taux d'erreur de ± 3,9 % (selon un intervalle de confiance de 95 %). La représentation par volet était plutôt uniforme entre l'échantillon et les sondages remplis. La représentation par province était uniforme, sauf pour Terre-Neuve-et-Labrador, où les bénéficiaires finaux étaient sous- représentés, et en Saskatchewan, où les bénéficiaires finaux étaient surreprésentés.
Limites de l'évaluation et stratégies d'atténuation
- L'examen des documents n'a révélé que peu d'information sur les points de vue des intervenants. Des entrevues et des sondages ont été menés pour chercher à combler les lacunes en matière d'information et recueillir les points de vue du personnel des provinces, des territoires et de INFC (entrevues) ainsi que des bénéficiaires finaux (sondages).
- Les données probantes issues de notre revue de la littérature sont relativement limitées par le manque d'accès à une base de données exhaustive de la recherche universitaire. Au terme de la revue de la littérature et de l'analyse documentaire, nous avons effectué une analyse des lacunes pour cerner les domaines pour lesquels les données recueillies étaient insuffisantes, puis avons mené des entrevues en vue de recueillir de l'information permettant de combler ces lacunes, tout particulièrement au sujet de l'approche axée sur les résultats et des différentes approches de conception et d'exécution de programme.
- Lors d'entrevues, il est possible que les réponses des personnes interrogées soient subjectives ou biaisées. Pour nous assurer d'avoir bien saisi les points de vue des personnes interrogées, l'information recueillie dans le cadre des entrevues a ensuite été validée par les personnes interrogées, puis équilibrée avec les données des autres sources de données.
- En ce qui concerne les données, compte tenu du fait que les projets d'infrastructure prennent du temps et que leurs retombées sont observées quelques années après la fin de la construction, la présente évaluation s'est penchée sur la question de savoir si le PIIC est en bonne voie de recueillir les données nécessaires pour rendre compte des progrès réalisés vers l'atteinte de ses résultats intermédiaires et finaux, au lieu de seulement souligner l'absence de données pour des résultats attendus à long terme. Les données issues de l'Enquête sur les infrastructures publiques essentielles du Canada (IPEC) n'étaient, en grande partie, pas disponibles, car le calendrier de diffusion des données n'était pas coordonné avec la présente évaluation ou avait été retardé, de sorte que ces données n'ont pas pu être incluses dans cette évaluation.
- L'équipe de l'évaluation a travaillé avec un entrepreneur afin de concevoir un sondage qui tenait compte de l'accessibilité, des capacités technologiques et des sensibilités culturelles en vue de maximiser le taux de réponse au sondage. En général, les bénéficiaires finaux qui ont répondu au sondage sont représentatifs de l'ensemble des bénéficiaires finaux. Toutefois, les bénéficiaires finaux de Terre-Neuve-et-Labrador étaient légèrement sous-représentés, tandis que ceux de la Saskatchewan étaient légèrement surreprésentés parmi l'ensemble des répondants au sondage. La représentativité par volet était assez uniforme entre l'échantillon initial et les répondants au sondage.
- Les résultats du sondage n'incluent pas les bénéficiaires finaux du Québec ou des territoires, car ni l'un ni l'autre n'a choisi de participer au sondage. Compte tenu de la population de ces régions, il est probable que les retombées du programme sur les groupes clés (p. ex. les personnes vivant dans des collectivités nordiques ou éloignées, les personnes vivant dans des communautés de langue officielle en situation minoritaire) soient sous-estimées dans le présent rapport. Des questions additionnelles ont été posées lors des entrevues avec les représentants des territoires et du Québec afin de combler ce manque d'information.
- Les bénéficiaires finaux ayant plus d'un projet financé par le PIIC (dont certains relevaient de différents volets) ont été invités à tenir compte de leurs expériences globales dans leurs réponses au sondage. Il existe un risque d'erreur lors de l'évaluation des résultats par volet si les bénéficiaires ont eu des expériences différentes entre leurs différents projets. Toutefois, étant donné que ces bénéficiaires représentaient environ 10 % de l'échantillon, leur impact demeure probablement minime.
Annexe E : Liste des acronymes
- ACS Plus
- Analyse comparative entre les sexes Plus
- ACTU
- Association canadienne du transport urbain
- BPR
- Bureau de première responsabilité
- CANCEA
- Canadian Centre for Economic Analysis
- CCG
- Cadre de contrôle de gestion
- CMV
- Comité ministériel de vérification
- CS
- Comité de surveillance
- CT
- Conseil du Trésor
- DAI
- Direction de l'audit interne
- DGPCI
- Direction générale des programmes des collectivités et des infrastructures
- DIP
- Direction de l'intégration des programmes
- ETP
- Employé à temps plein
- INFC
- Infrastructure Canada
- MOPR
- Mobilisation et opérations pour les programmes régionaux
- NI
- Notes d'information
- OR
- Optimisation des ressources
- RASCI
- Responsabilité, Approbation, Soutien, Consultation, Information
- SMA
- Sous-ministre adjointe
- TI
- Technologies de l'information
- VB
- Vérification du bénéficiaire
Signaler un problème sur cette page
- Date de modification :