R4 Final: Atelier EPP

Fecha de publicación: 02-ago-2018 7:26:09

Les activités M4.3.1 (atelier d'étude de cas des EPP) et M4.2.3 (troisième formation sur des outils des EPP) ont terminé tous les travaux prévus pour le Résultat 4 ("L’IGF a amélioré sa capacité d’évaluer les politiques publiques.")

L'atelier a été organisé en deux parties. Lors de la première partie, de quatre jours, les experts M. Wendling et M. Tamarit ont analysé en détail quatre politiques publiques européennes :

• EPP sur la péréquation tarifaire de l’électricité avec les zones non interconnectées (ZNI). IGF France.
• EPP Education. Cour des Comptes EU ("Éducation: les programmes sont alignés sur les objectifs de l'UE mais la mesure de la performance est insuffisante")
• EPP sur la Biologie médicale. IGF France.
• EPP Transport. Cour des Comptes EU ("Infrastructures aéroportuaires financés pour l'UE: Des investissements peu rentables").

L'objectif de l'atelier était de provoquer un échange de vues intensif entre les experts européens et ceux de l'IGF. L'objectif a été atteint.

La deuxième partie de l'atelier était d'organiser un séminaire avec la participation des responsables de l'IGF, d'un grand nombre d'inspecteurs des finances de l'IGF, d'experts européens et surtout des inspecteurs de l'IGF qui ont participé à la première partie de l'atelier.

L'objectif était, une fois de plus, d'échanger des opinions et des expériences afin de promouvoir la compréhension du rôle que l'IGF devrait jouer dans le domaine de l'évaluation des politiques publiques en Algérie.

Voici le procès-verbal préparé par M. Wendling et détaillant ce qui s'est passé pendant la présentation:

Annexe 5 : compte rendu de la réunion de restitution, jeudi 26 juillet 2018 / 09.45-11.45

La réunion de restitution s’est tenue en présence de la hiérarchie de l’IGF (Chef de l’IGF, Contrôleur Général de la 1^ère division M. Ouzaid, Contrôleur Général de la 3^ème division M. Saidi, et autres), des participants à l’atelier de partage d’expérience et d’une soixantaine de membres de l’IGF. Pour l’assistance technique, participaient le Conseiller résident du jumelage (M Ortega) et les deux experts (M Tamarit et M Wendling).

La réunion a débuté par une présentation du CRJ. Il a rappelé qu’il s’agissait aujourd’hui de finaliser la dernière activité au titre du résultat 4, et même de la dernière activité du projet dans son ensemble, sous réserve de l’amendement en cours de signature.

M Ortega explique qu’en parallèle à cette réunion, l’équipe en charge de l’audit informatique, « coachée » par Pedro Garcia-Repetto, présente son rapport d’audit provisoire à l’ONS. Il souligne la qualité du travail effectué et présente les principales conclusions du rapport (qui relève du résultat R.2): qualité des données satisfaisante, sécurité informatique très perfectible.

M Ortega rappelle ensuite les activités conduites au titre du résultat R.3 sur l’évaluation des grands projets. Il note l’apport important que représente le guide sur le contrôle interne des grands projets, et le caractère très fructueux du travail effectué avec les experts espagnols, en lien avec la CNED et la DGB.

M Ortega, en s’appuyant sur le site Internet du projet, rappelle ensuite brièvement les différentes étapes ayant concouru au résultat R4 :

• première mission en mars ayant permis d’élaborer une matrice SWOT du rôle de l’IGF sur les EPP en Algérie ;
• mission d’avril 2018 sur trois exemplesd’évaluation en Espagne ;
• mission de l’expert brésilien, M. Gilson Liborio, venu de l’unité en charge de « l’Intelligence Financière », qui a souligné l’importance de l’accès aux données et de leur traitement ;
• mission sur la politique publique pour le développement de la société de l’information (eGouvernement), dans lequel l’Espagne se place dans le top5 européen et au premier rang des grands pays de l’Europe (notamment depuis une refonte en 2015 pour accélérer le tournant vers une administration électronique), suivie d’une présentation sur la politique du tourisme et la « vision stratégique » de l’Etat espagnol pour ce secteur ;
• diverses missions de MM. Miranda et Garde relatives à l’élaboration du guide d’évaluation des politiques publiques, qui doit servir non seulement en interne à l’IGF algérienne mais aussi / surtout pour les gestionnaires (cf. exemple du Royaume-Uni). Une mission voici trois semaines a servi à la présentation de ce guide méthodologique ;
• séminaire fin juin sur la pratique del’évaluation des politiques publiques en Algérie, avec l’IGF et d’autres participants (CNES qui était très présente dans l’EPP pendant les années 90 mais s’en est retirée, Cour des Comptes qui veut démarrer en 2018 sa première mission d’EPP, PNUD, institution universitaire et académique d’évaluation CREAD, association dédiée à la dynamisation de l’EPP en Algérie EVAL.dz…) ;
• trois formations relatives aux outils méthodologiques pour l’EPP (plus de 100 participants) assurées par Ignacio Garcia-Moral ;
• visite d’étude en Espagne (5^ème du projet et 1^ère intégrant une dimension EPP), intégrant des visites à l’Institut des Etudes Fiscales, à des services territoriaux, à l’Inspection générale du ministère en charge des Transports publics, aux responsables del’IGAE, de l’IG Défense, de l’IG Sécurité Sociale; M Ortega souligne les spécificités du contrôle des marchés de défense, et les progrès réalisés par l’IGSS en termes d’automatisation des contrôles. ;
• enfin, atelier de partage d’expériences de cette semaine (activité A.4.3.1.), avec deux experts (CTC et CW) présentant de manière très pratique et interactive quatre évaluations de politique publique.

Le CRJ conclut en rappelant que plus d’une trentaine de livrables ont été réalisés dans le cadre du jumelage et sont tous disponibles sur le site Internet du projet.

Le CRJ passe ensuite la parole à Mme. Louiza OULEBSIR, pour une présentation des enseignements retirés de l’activité A.4.3.1.

Mme. OULEBSIR remercie tout d’abord les deux experts pour la qualité de leurs interventions. Elle souligne qu’en matière d’EPP les caractéristiques traditionnelles des missions de l’IGF (recherche d’objectivité, transparence, exhaustivité des contrats) doivent trouver à s’appliquer.

Elle relève toutefois certaines singularités ou points d’attention, à l’issue de la confrontation de la pratique de l’IGF algérienne avec les pratiques présentées par les experts :

1/ Relations avec les commanditaires des missions : les pratiques de l’IGF française (lettre de mission signée par le ou les ministres en charge des politiques publiques) diffèrent de la pratique algérienne (absence de lettre de mission ou de commande systématique et précise des ministères) ;

2/ EPP conduites avec d’autres inspections : ce modèle peut permettre un meilleur partage et une meilleure capitalisation des connaissances. Il diffère du modèle algérien (pas d’inspections conjointes mais un accès très formalisé aux travaux des inspections des autres ministères) ;

3/ Difficulté dans la collecte de l’information et des données : les objectifs ne sont pas clairement fixés, les indicateurs non renseignés ou non disponibles. Il y a un défaut de sensibilisation des gestionnaires à la question de l’EPP. C’est pourquoi Mme OULEBSIR reprend à son compte la remarque de CTC, selon laquelle le guide méthodologique sur l’EPP, plus qu’un outil pour l’IGF, devrait être avant tout un outil pour les gestionnaires afin de les sensibiliser et de les amener à entrer dans une démarche d’évaluation ;

4/ Intérêt du recours aux études comparatives et aux expériences étrangères : l’IGF algérienne le fait déjà parfois dans ses EPP, mais cela peut être renforcé en allant au-delà de la seule recherche Internet ;

5/ Utilité / nécessité des contacts avec les acteurs privés de politiques publiques : dans de nombreux cas, un contact direct avec des acteurs privés bénéficiaires ou associés à l’exécution de certaines politiques publiques peut être nécessaire pour réaliser une évaluation de bonne qualité (collecte de l’information ; identification des problématiques ; acceptabilité des propositions) ;

6/ L’opportunité d’une validation des constats et des propositions en externe et en interne avant la finalisation de la mission. Mme OULEBSIR remarque que le travail de collaboration avec des inspections plus spécialisées peut déjà permettre une première validation du diagnostic et des propositions de l’EPP

7/ L’absence en France de procédure contradictoire sur les EPP réalisées par l’IGF française : cette absence « matérialise » la différence de nature entre les EPP et les missions « classiques » de l’IGF française. L’IGF algérienne pour sa part maintient une forme de contradictoire même pour les rapports d’EPP.

8/ L’importance de la communication autour de l’EPP : cela passe par une présentation souvent très succincte du rapport, avec renvoi à des annexes des parties plus descriptives, et recours à des titres « signifiants » permettant de rendre le constat et les propositions plus accessibles au lecteur pressé.

Le Chef de l’IGF présente ses remerciement pour la rétrospective faite par JOr et pour les conclusions de l’atelier telles que présentées par Mme OULEBSIR, et déclare le débat ouvert.

Le Contrôleur Général M. SAIDI relève l’importance des échanges et relations avec les associations qui s’occupent d’EPP (association des évaluateurs en Algérie). M Ortega souligne la pertinence de cette remarque, et note que l’IGF lui paraît la mieux placée pour prendre le « lead » sur l’EPP en Algérie.

S’agissant du point 1/ (relation avec les commanditaires), le Chef de l’IGF note qu’avant l’établissement du programme triennal de l’IGF, tous les départements ministériels sont contactés par l’IGF pour anticiper sur les saisines des ministères et pour sensibiliser sur ce que pourrait faire l’IGF. Il note que l’IGF à l’avenir pourra elle-même proposer des axes de réflexion, des projets de lettre de mission pour aller au-devant des attentes des départements ministériels.

S’agissant du point 7/ (procédure contradictoire), il relève que l’IGF, devant la difficulté de mener une procédure contradictoire « classique » sur certains sujets complexes (plusieurs organismes concernés), a déjà mis en place dans certains cas une procédure contradictoire sui generis (demande de réactions auprès de plusieurs organismes), différente de celle suivie dans le cadre d’un audit / contrôle.

Mme Souad KADRI intervient et note que l’évaluation au niveau de l’IGF évolue dans un environnement « hostile ». Certains prérequis ne sont pas encore réunis : faiblesse du système d’information, non formalisation des objectifs et indicateurs de politiques publiques, absence de référentiel normatif sur les actions à mettre en œuvre par les acteurs de politiques publiques. La démarche d’EPP par des entretiens et des canevas peut permettre de répondre partiellement à l’absence de ces prérequis.

Le Chef de l’IGF souligne qu’aucune EPP ne ressemble à une autre. Le contexte est très important; les difficultés rencontrées sur l’accès aux données ou la définition des objectifs peuvent être surmontées, voire constituer en elles-mêmes une partie intégrante du diagnostic et conduire à des propositions d’amélioration spécifiques.

Le Contrôleur Général M. SAIDI note que l’IGF, sur les « grandes » missions d’EPP, organise déjà des séminaires auxquels sont invités les acteurs concernés par l’EPP, permettant ainsi d’ouvrir une discussion et de souligner le caractère collaboratif de la démarche d’EPP, en décalage par rapport aux missions de contrôle classique de l’IGF.

Le Chef de l’IGF interroge les experts sur les principales leçons de leur point de vue de l’expérience algérienne. M Tamarit insiste sur trois points (accès aux données, dialogue avec les ministères et les gestionnaires, transparence et communication avec les acteurs des politiques publiques) alors que M Wendling souligne la nécessité de travailler en lien avec la DG Budget pour faire évoluer la procédure budgétaire et créer ainsi des bases solides qui faciliteront le travail d’EPP. Il partage aussi le diagnostic du chef de l’IGF sur la singularité de chaque EPP, et la nécessité de compter sur le jugement des inspecteurs, au-delà des qualités de rigueur développées dans le cadre de leur exercice du métier de contrôle.

Un des inspecteurs ayant participé à la formation note le décalage entre les inspecteurs ayant déjà réalisé des EPP et les autres, et suggère de créer un cadre de partage entre les inspecteurs avant même le lancement de l’évaluation. Il note que les préalables sur l’environnement budgétaire (objectifs et indicateurs de performance) et que le projet de Modernisation des Systèmes Budgétaires (MSB) est encore loin d’être finalisé.

Le Chef de l’IGF répond que le partage d’expérience est effectivement indispensable avant, pendant et après l’évaluation, et permet de valoriser l’investissement méthodologique réalisé par l’IGF. Il note qu’il est difficile d’éviter, sur le plan culturel, des réactions liées à la méconnaissance de la démarche d’EPP chez les gestionnaires, qui peuvent réagir comme s’ils étaient confrontés à l’IGF en situation de contrôle.

M KADRI remarque à cet égard les liens entre évaluation et contrôle, et que souvent une série de contrôles réalisés par l’IGF débouche sur une EPP.

Un des inspecteurs estime que compte tenu des contraintes qui pèsent sur l’IGF, l’EPP est la « tâche la plus pénible et la plus difficile de l’IGF ». Il s’interroge (à la lumière d’un travail sur la résorption de l’habitat précaire) sur la responsabilité des inspecteurs. Il note que pour l’EPP sur l’habitat précaire des données statistiques étaient accessibles sur la réalisation d’un certain nombre d’habitats, mais qu’il n’y avait aucune clarté sur l’objectif à atteindre.

Le Chef de l’IGF relève qu’un inspecteur est formé sur des aspects financiers, et, pour le reste, peut s’appuyer sur des techniciens. S’agissant de la responsabilité de l’inspecteur, il note le mandat explicite sur « évaluation des conditions de mise en œuvre des politiques publiques ». L’accent est mis sur l’utilisation des moyens. Une réflexion sur la pertinence des objectifs peut conduire à une remise en cause indirecte de décisions prises à un plus haut niveau.

A une intervention d’un inspecteur demandant si dans ces conditions l’IGF n’est habilitée à évaluer que l’angle de l’efficience des politiques publiques, et soulignant que les rapports de la Cour des Comptes européenne se réfèrent explicitement à des documents présentant les objectifs de politique publique évalués, le chef de l’IGF répond que tous les critères de l’EPP peuvent être évalués, sauf peut-être la pertinence des objectifs.

M Wendling note que la question du cadrage de l’EPP est, pour l’IGF française, largement déterminée par le contenu de la lettre de mission (ce qui n’interdit pas à l’évaluateur – exemple des objectifs sur le développement des énergies renouvelables dans le cadre de l’EPP étudiée le 1^er jour de l’atelier – de relever que les objectifs peuvent conduire à des effets pervers ou sont irréalistes).

Le Contrôleur Général M SAIDI note qu’en l’absence de lettre de mission, l’évaluateur de l’IGF algérienne a davantage de marge de manœuvre pour mettre en place sa propre démarche. Il relève l’utilité d’une stratégie visant à mettre en place au sein du programme triennal de l’IGF une série de contrôles qui peuvent ensuite déboucher sur une EPP. Cette stratégie sera par exemple utilisée sur la politique d’encouragement des exportations hors hydrocarbures (une série de contrôles classiques prévus dans le cadre de l’élaboration du programme triennal 2018-2020 sur un certain nombre d’organismes actifs dans ce secteur, puis on passe au stade de l’EPP). Il estime qu’une telle approche stratégique est importante car la Cour des Comptes est maintenant un nouveau « concurrent » sur le terrain de l’EPP ; il faut donc valoriser les spécificités de l’IGF.

M Wendling relève qu’effectivement cette articulation entre contrôles et EPP peut s’avérer fructueuse. Comme expliqué pendant la formation, des outils utilisés lors des contrôles (examen sur dossiers, échantillonnage) peuvent s’avérer nécessaires et pertinents dans des EPP.

Le Chef de l’IGF approuve cette analyse. La capacité à capitaliser sur des contrôles est fondamentale, et il est dès lors nécessaire d’intégrer une stratégie d’EPP dans la programmation des contrôles (y compris en mobilisant les inspections régionales).

Un inspecteur s’interroge sur la terminologie même de l’EPP et l’absence d’instructions claires sur la méthodologie, contrairement aux procédures bien établies de l’IGF en matière de contrôles.

Le Chef de l’IGF souligne que des propositions d’évolution du cadre juridique sont sur la table, en vue de donner explicitement à l’IGF la capacité de faire des EPP. Dans ce cadre général, c’est à l’IGF de fixer les limites de son travail, pas au gestionnaire. En particulier, on ne peut parler d’EPP sans parler d’atteinte des résultats.

Le Chef de l’IGF insiste sur le fait que l’EPP n’est pas un effet de mode, mais un champ naturel pour le développement et le rayonnement de l’IGF. Il faut que l’IGF aille au-delà des missions classiques, répétitives. Un rapport de contrôle a un impact très limité dans le champ et dans l’espace. Pour un corps d’inspection fort désormais de 500 personnes, ce serait dommage que ne faire que ce genre de missions. Il faut passer à une autre vision, et rechercher des impacts et des effets plus importants pour les constats et préconisations de l’IGF.

Le Chef de l’IGF termine en soulignant sa satisfaction à l’égard du travail accompli dans le cadre du jumelage et de l’expertise fournie. Il relève que les représentants du P3A considèrent ce jumelage comme un exemple réussi. Il souligne que la demande d’amendement actuellement en cours de signature vise à étendre de quelques mois le projet pour traiter des demandes d’assistance formulées par l’IGF elle-même et apporter des compléments utiles sur certains points traités dans le jumelage.