Lévaluation des politiques publiques dans les
administrations dEtat,
éléments pour un diagnostic
Par Bernard Perret
Premier congrès de la Société française dévaluation, Marseille, 4 et 5 juin 1999
Page personnelle de Bernard Perret et accès à d'autres textes sur l'évaluation
Porter un diagnostic sur le développement de lévaluation nest pas chose aisée. Le champ des pratiques à prendre en compte se présente en effet comme un champ morcelé dont les limites floues défient toute tentative de bornage. Il existe certes des définitions de lévaluation, mais elles ont un caractère plus normatif que descriptif. La situation est , de ce point de vue, encore plus confuse au niveau national quau niveau régional. En région, le champ de lévaluation est en effet unifié et structuré par les comités régionaux dévaluation et par deux grandes procédures : lévaluation des contrats de plan et lévaluation des Fonds structurels. Rien de tel au niveau national, la procédure interministérielle (décret de 90 révisé 98) ne concernant quun petit nombre dopérations parmi les multiples formules de contrôle, daudit, détude ou de recherche appliquée se réclamant peu ou prou de lévaluation. Par chance, lhistoire officielle de lévaluation est jalonnée par un certain nombre de bilans bien documentés sur lesquels il est possible de sappuyer.
I- Le constat récurrent dun déficit didentité
I-1) Les hésitations de la " politique de lévaluation "
En France plus quailleurs, le développement de lévaluation publique est indissociable de la " politique de lévaluation ". Celle-ci sest traduite au cours des trente dernières années par une succession dinitiatives institutionnelles aux fortunes diverses. Lhistoire de cette politique a été marquée par deux moments forts, deux tentatives plus poussées pour inscrire lévaluation dans le fonctionnement de lEtat :
Ces deux accès de volontarisme ont été suivis de longues phases de désintérêt de la part des pouvoirs publics. La période actuelle témoigne t-elle dun regain dintérêt du gouvernement pour lévaluation ? La relance du dispositif interministériel constitue indéniablement un signe positif, mais la preuve dune implication effective du Premier ministre dans son fonctionnement reste à apporter. Au sein de la plupart des ministères, la volonté politique de développer lévaluation semble faire défaut. A cet égard, le changement du directeur et de la dénomination de la Direction de lEvaluation et de la Prospective du Ministère de léducation constitue un symptôme préoccupant.
Dans ce diagnostic sur la politique de lévaluation, une mention particulière doit être faite de lattitude du Parlement. Le désintérêt du Parlement français pour lévaluation est un fait avéré (en dépit de la création, en 1982, de lOffice parlementaire dévaluation des choix scientifiques et techniques). Depuis quelques années, cependant, les hommes qui se succèdent à la Présidence de lAssemblée nationale manifestent une volonté certaine de renforcer son rôle de contrôle de laction gouvernementale et de lusage des fonds publics. La présidence de Philippe Seguin a été marquée par le vote de deux lois (en juin 1996) créant un Office parlementaire dévaluation des lois et un Office parlementaire dévaluation des politiques publiques. Ces lois étant pratiquement restées lettre morte, il est inutile de commenter leur contenu. Laurent Fabius a récemment signifié quasi officiellement leur mise en sommeil, au profit dun dispositif danalyse de lefficacité économique de la dépense publique, dambition plus modeste, relevant uniquement lAssemblée nationale. Quelle que soit par ailleurs son intérêt, cette nouvelle initiative na quun rapport marginal à lévaluation des politiques publique.
I-2) Retour sur quelques diagnostics passés
Depuis quinze ans, les débats sur lévaluation ont été ponctués de plusieurs états des lieux qui fournissent des références utiles pour analyser lévolution récente.
a) Le bilan effectué par Nioche et Poinsard en 1983
Le premier bilan du développement de lévaluation en France est celui quont réalisé Jean-Pierre Nioche et Robert Poinsard en 1983 à loccasion du colloque organisé par le ministère de finances et le ministère de la fonction publique(1). Colloque qui marque la fin de lexpérience de RCB (Poinsard, le principal organisateur, est responsable de la cellule RCB du Ministère des finances) et le lancement officiel de la réflexion sur lévaluation dans ladministration.
Lune des leçons majeures de ce bilan est que l'évaluation ex-post sest développée parallèlement à la RCB depuis le début des années 70. Sans prétention à lexhaustivité, Nioche et Poinsard ont recensé près de trois cents études ayant pour objet lévaluation a posteriori des effets des politiques publiques, réalisées pour la plupart au cours des cinq années précédent leur enquête. Dès le début des années 80, on ne manquait donc pas d'études à caractère évaluatif. Pour autant, la situation était jugée globalement peu satisfaisante par les auteurs, et il vaut la peine de reprendre ici les différents points de leur diagnostic :
Ce diagnostic fournit une bon point de départ pour analyser les évolutions survenues depuis 15 ans. En dépit de certains progrès, nous verrons que les principaux problèmes soulevés par Nioche et Poinsard ont conservé toute leur actualité : L'évaluation demeure une activité faiblement identifiée, insuffisamment systématisée, et dont les résultats sont sous utilisés.
b) Le bilan effectué par le CSE en 1991
Un nouveau bilan a été effectué par Sylvie Trosa et moi-même en 1990, à loccasion du premier rapport du CSE (Note :Lévaluation de lexpertise à la responsabilité, La Documentation française 1991). Pour réaliser ce bilan, nous avions interrogé une bonne partie des responsables des services et organismes ayant des compétences en matière dévaluation - au niveau national exclusivement -, et réalisé pas moins de 24 fiches, reproduites dans le rapport, sur lactivité de ces unités.
La première conclusion de ce travail est que les administrations manifestent un intérêt croissant pour lévaluation : " Dans la quasi-totalité des administrations, la fonction évaluative est désormais identifiée en tant que telle", sous la forme dunités administratives spécialisées, isolées ou rattachées à des services détudes aux attributions plus vastes. De plus, comme je lai indiqué plus haut, plusieurs commissions ou comités dévaluation indépendants venaient tout juste dêtre crées (CNE, CNER, Commission dévaluation du RMI, Comité national dévaluation de la politique de la ville, Agence nationale dévaluation des pratiques médicales, Comité dévaluation des nouvelles qualifications). Lun des apports de notre enquête fut de faire apparaître lhétérogénéité du développement de lévaluation selon les domaines de laction publique. La politique de lemploi, la lutte contre lexclusion, la politique de la ville, le système éducatif, la recherche scientifique, laide au développement, les aides au secteur productif, les actions de modernisation administrative nous sont apparus comme des thèmes de prédilection pour lévaluation, tandis que dautres aspects de laction publique demeuraient complètement à lécart (prévention sanitaire, politiques de régulation, politique macro-économique).
En ce qui concerne la nature des pratiques évaluatives, nos observations rejoignaient largement celles de Nioche et Poinsard : éclatement du champ, hétérogénéité des finalités et des objets de lévaluation, absence de références méthodologiques communes, absence de transfert dexpérience dun secteur à un autre, etc. Lun des points quil nous avait semblé important de souligner était le caractère trop peu formalisé des démarches dévaluation : "La cohérence des différents éléments structurels qui caractérisent un projet dévaluation (finalités, questionnement, dispositif, méthodes) est en général peu explicite". Ce flou dans la démarche fait en effet disparaître la spécificité de lévaluation : "Pratiquée dans le contexte du contrôle, lévaluation désigne parfois un simple recueil de constats et dobservations assortis de jugements à caractère intuitif sur les résultats et les objectifs de la politique. Dans le contexte des études-recherche, lévaluation se réduit trop souvent à une recherche sur certains aspects dune politique à partir dun questionnement sans rapport direct avec les préoccupations des acteurs et des décideurs " (pp. 31-32).
En positif, cependant, nous avions observé la volonté affichée par les corps dinspection et la Cour des comptes de mieux identifier lévaluation comme une pratique distincte du contrôle, nécessitant des procédures et des méthodes spécifiques : " Les corps dinspection et de contrôle ont compris lintérêt de mettre en uvre, directement ou en sous-traitance, des méthodes (enquêtes, statistiques, monographies, ) qui ne relèvent normalement pas de leur métier ". Avec le recul du temps, je ne suis pas sûr que ces bonnes intentions aient été suivies deffet, sauf peut-être dans le cas de lIGAS.
En 1995, un rapport du Plan sur le fonctionnement du dispositif interministériel, rédigé par Nicolas Tenzer, brosse un rapide tableau de la situation de lévaluation dans ladministration. Quelques-uns des problèmes relevés dans les bilans précédents sont de nouveau pointés : diversité des acceptions de lévaluation, hétérogénéité méthodologique et faible impact sur la décision publique. " Lévaluation étant souvent considérée à tort comme une forme particulière détude, les effets sur la décision publique sont souvent indirects. Rares sont les cas où une évaluation est décidée et menée à bien parce quon envisage de modifier une politique publique " (37). Le rapport contient toutefois une notation plus optimiste sur les progrès de la culture de lévaluation " On note aujourdhui une réelle appropriation des concepts de base de lévaluation et une meilleure compréhension de la place relative des différents types de démarche et de méthode ".
I-3) Le bilan de la procédure interministérielle
Je me limiterai sur ce point à quelques éléments factuels. Le comité interministériel de l'évaluation s'est réuni à trois reprises (juillet 1990, mars 1991, mars 1993). Après cette date, les évaluations qui ont été lancées l'ont été selon une procédure allégée (décision du cabinet du Premier ministre). Lune des dispositions essentielles du décret de 90, la délibération du Comité interministériel sur les suites à donner aux évaluations, est tout simplement restée lettre morte.
Sur les vingt-trois projets d'évaluation lancés dans le cadre de la procédure de 1990, seize sont actuellement terminés ou en voie de lêtre. Parmi les opérations terminées, on trouve douze évaluations décidées par le Comité interministériel de l'évaluation :
Et quatre évaluations décidées par le Conseil économique et social :
I-4) Le Club de lévaluation, un observatoire des pratiques
Le Club de lévaluation animé par le Ministère de la Fonction Publique a été créé en 1990 pour favoriser les échanges entre fonctionnaires (principalement parisiens) impliqués dans lévaluation. Les réunions du Club sont principalement consacrées à la présentation dévaluations terminées, dont les méthodes et les résultats sont soumis à la discussion des membres. Le Club a tenu 42 séances depuis sa création, ce qui ouvre une fenêtre intéressante sur lévolution des pratiques au cours de cette période.
Le nombre de participants au réunion du Club sest plutôt accru au cours de la période, mais il reste modeste (entre 10 et 40, pour un fichier de quelques centaines de personnes). Plus préoccupant, le flux des évaluations nationales arrivées à leur terme et susceptibles dêtre présentées au cours dune réunion du Club, après avoir augmenté au début de la décennie, a tendance à stagner depuis trois ans, ce qui transparaît dans laccroissement du nombre des séances consacrées à des évaluations régionales ou à des expériences étrangères. Cette impression de stagnation est certainement liée à lassoupissement du dispositif du interministériel jusquà sa récente relance, mais elle concerne également lactivité des unités dévaluation implantées dans les ministères. En revanche, il semble que lon assiste à un développement récent de lévaluation dans un certain nombre dorganismes publics autonomes (Ademe, Cnaf...).
I-5) La multiplication des textes méthodologiques
Au titre des indices positifs, il convient de mentionner la multiplication des guides et autres textes méthodologiques, vecteurs dune homogénéisation des conceptions de lévaluation :
La lecture de ces guides suggère lémergence dun corpus relativement cohérent de concepts et de standards méthodologiques.
II- Synthèse et Hypothèses
II-1) Impression générale
Résumons : après une amorce de développement au début des années 90, lévaluation marque le pas au niveau national, tout particulièrement dans les administrations centrales. On assiste, certes, à la constitution dun milieu (ce dont témoignent la rédaction de textes méthodologiques, les activités du Club de lévaluation et la création de la SFE), mais la dynamique de ce milieu est actuellement tirée par le développement de lévaluation aux niveaux régional et européen.
II-2) Hypothèses interprétatives
Les causes de la résistance de lEtat à lévaluation sont bien connues :
II-3) Une expertise sur l'action publique fragmentée et corporatiste
Pour expliquer le faible développement de l'évaluation en France, on évoque rituellement le manque de spécialistes biens formés. A y regarder de près, une telle affirmation est sans fondement. L'examen d'un nombre conséquent de travaux détude et dévaluation me conduisent personnellement à la conclusion que les déficiences de l'offre d'expertise ne constituent pas un réel facteur de blocage (2).
Les compétences techniques et méthodologiques nécessaires à l'évaluation existent donc, mais elles sont peu valorisées et mal identifiées en tant que compétences spécifiques. Paradoxalement, cet état de fait résulte moins d'un vide que d'un "trop plein". L'évaluation a d'autant plus de mal à exister que son domaine est déjà investi par des groupes puissants et reconnus qui incarnent d'autres conceptions de l'expertise sur l'action publique.
Il est arrivé que lon accuse les corps d'inspection et la Cour des comptes de vouloir monopoliser l'évaluation. La vérité est que, dans lensemble, ils s'en désintéressent. On pourrait en dire autant d'autres centres dexpertise bien implantés au coeur de lEtat comme les statisticiens économistes de l'INSEE ou le Conseil d'Etat. En réalité, cet évitement n'est pas innocent : il permet de tenir sa position dexpert sans avoir à sexpliquer sur son questionnement et ses méthodes. Via une conception floue et extensive de leurs missions, les organismes de contrôle occupent, de fait, une partie du terrain qui, dans d'autres pays, est occupé par l'évaluation. Ils possèdent une expertise de fait, difficilement contournable, sur les mécanismes de l'action publique (non sans lien avec le fait qu'une proportion non négligeable de leurs membres a exercé des responsabilités politiques), ainsi qu'une tradition d'indépendance d'esprit qui leur permet d'exercer un quasi-monopole de la critique légitime du fonctionnement de l'Etat.
Le rôle des corps de contrôle s'inscrit dans le contexte plus général d'une tradition française qui fait de lexpertise un attribut de l'autorité publique. L'Etat français, à travers ses grandes écoles, ses corps d'ingénieurs, d'économistes et d'inspecteurs, se considère depuis fort longtemps comme un producteur de connaissance sur la société. La lecture de Tocqueville montre que ce trait remonte à l'ancien régime : "Le gouvernement central ne se bornait pas à venir au secours des paysans dans leur misère ; il prétendait leur enseigner l'art de s'enrichir, les y aider et les y forcer au besoin. Dans ce but, il faisait distribuer de temps en temps par ses intendants et ses subdélégués de petits écrits sur l'art agricole, promettait des primes, entretenait à grand frais des pépinières dont il distribuait les produits" (3). On pourrait également rappeler l'expédition de Napoléon en Egypte, entouré de quelques uns des plus grands savants de son époque.
Jean Leca a qualifié de "sciences étatiques" cette configuration particulière des rapports entre la connaissance et le pouvoir. Et il a montré de manière à mon avis très convaincante pourquoi cette configuration induit une instrumentalisation politique du savoir contraire à lidéal régulateur de lévaluation :
L'une des particularités françaises les plus défavorables à l'évaluation est la tendance à valoriser la dimension personnelle de l'expertise. Il y a quelques mois, un grand journal du soir mettait au crédit du Premier ministre le fait d'avoir demandé 50 rapports à des personnalités depuis sa nomination, et de mettre ainsi les "savants au service de la décision". Dans un cas au moins, on a une illustration frappante de l'avantage comparatif de l'expertise personnalisée sur l'évaluation. En 1996, une évaluation interministérielle sur la politique de l'emploi avait procédé à une synthèse très rigoureuse et approfondie de toutes les études disponibles sur l'impact des baisses de charge sociales sur l'emploi. Les résultats de cette évaluation, quoique raisonnablement clairs et explicites, n'avaient pas eu un grand impact dans la presse. Trois ans plus tard, le Premier ministre confie à Edmond Malinvaud un rapport sur le même sujet, avec, cette fois, un impact social nettement plus important. Commentaire du journal : ce rapport a permis de "présenter comme une solution objective ce qui aurait pu passer pour une recette purement libérale". Les rapports, toujours selon la même source, sont d'un usage politique particulièrement souple : ils "permettent au gouvernement de définir un point d'équilibre, un taux d'acceptation des réformes par les acteurs sociaux" (5).
III- Conclusion : pourquoi l'évaluation est malgré tout appelée à se développer
En dépit de ce constat pessimiste, on peut penser que lévaluation est appelée à se développer. Elle semble en effet fournir une réponse à un ensemble de problèmes que lon peut rassembler autour du concept de " crise de la gouvernance ".
III-1) La Crise de la gouvernance
Par crise de la gouvernance, on comprend ici les phénomènes suivants :
III-2) L'évaluation comme réponse pertinente à la crise de la gouvernance
Notes
Retours
- page personnelle de Bernard Perret -