Évaluation des politiques publiques : quelle est la marge d’erreur ? Lire l’interview

Par Jean-Bernard Chatelain

Contact : jean-bernard.chatelain@univ-paris1.fr
Page personnelle

Revenir au billet principal

________________________

L’aide au développement favorise-t-elle la croissance des pays en développement ?

C’est une question importante parce que beaucoup d’argent circule autour de l’aide au développement, et des institutions sont dédiées à l’aide au développement : il y a la Banque mondiale à Washington, en France l’Agence française au développement qui gère des fonds publics, mais aussi des donneurs privés comme Bill Gates ou d’autres, et enfin des organisations non-gouvernementales.

Si l’objectif est d’aider à la croissance, peut-on vérifier avec des statistiques que l’aide a une efficacité vis-à-vis du développement, mesurée par la croissance de la production par le nombre d’habitants ? C’est une première question.

Bien sûr, on peut élargir le débat à différents types d’aide, différents types d’évaluation de la qualité de l’aide, pas seulement sur l’aide au développement mais sur des indicateurs de santé, d’éducation, etc. Mais la littérature académique s’est focalisée sur cette question parce qu’il y a des enjeux, et on peut à peu près dénombrer 200 publications en 40 ans sur le sujet.

Quels sont les résultats obtenus par ces publications ? Un grand nombre d’entre elles ont obtenu un résultat positif de l’aide sur la croissance, mais un certain nombre d’entre elles n’ont pas obtenu ces résultats. Et lorsqu’on regroupe l’ensemble des résultats sur 40 ans, pour ces 200 publications et les différentes estimations de l’effet de l’aide sur la croissance, on constate que l’effet moyen de l’ensemble de ces études est 0. On rencontre donc une difficulté puisqu’on a une littérature massive, qui utilise globalement les mêmes données (sauf qu’au cours du temps on a de plus en plus de données), et le résultat est décevant car, contrairement à ce qu’on espérait, l’effet décrit par l’ensemble des études publiées est négatif.

Cela n’empêche pas une organisation comme l’OCDE d’avoir un département dédié à la coordination de l’aide, des donneurs, et de l’efficacité de cette aide, qui s’appuie encore maintenant sur un article qui a été extrêmement cité et l’est toujours, écrit par deux auteurs de la Banque mondiale, publié il y a quatorze ans et qui dit que l’aide n’est pas toujours efficace, mais qu’elle peut être efficace si les pays en développement ont de bonnes politiques macroéconomiques.

Pour être efficace, l’aide doit donc être soumise à conditions ?

La question de la conditionnalité de l’aide est une question importante parce qu’on va se demander si donner de l’aide à un pays développement qui ferait de bonnes politiques, à savoir pas beaucoup d’inflation, une ouverture commerciale et pas beaucoup de déficit par exemple, serait efficace. C’est la thèse défendue et étayée grâce à des statistiques par deux auteurs qui travaillaient à la Banque mondiale au milieu des années 1990 et qui ont donné lieu à cet article qui est maintenant le plus cité pour l’année 2000 de la revue dans lequel il a été publié. C’est donc un article qui a eu énormément d’impact, à la fois parmi les académiques et parmi les praticiens, ceux qui interviennent dans le secteur de l’aide au développement, etc.

Dès sa publication, cette étude a fait l’objet d’une critique, c’est-à-dire qu’elle a été ré-estimée avec un peu plus d’observations et les auteurs ont trouvé qu’avec plus de données (80 observations de plus), l’effet annoncé selon lequel l’aide était efficace dans les pays faisant des bonnes politiques (pas beaucoup d’inflation, pas beaucoup de déficit public et ouverture commerciale) n’était pas vérifié. De plus, dans les détails de cette étude, en reprenant les données, on se rend compte que les résultats étaient tirés par une seule observation, celle d’un pays qui effectivement a reçu beaucoup d’aide, a eu de bonnes politiques avec pas beaucoup d’inflation, pas beaucoup de déficit public et une ouverture commerciale, un petit pays d’Afrique qui s’appelle le Botswana, qui incidemment est aussi un des premiers producteurs mondiaux de diamants.

Les résultats de cet article ont-ils été validés avant d’être publiés ?

Les auteurs sont passés par plusieurs filtres pour publier leur article.

Toute revue scientifique passe par un processus de rapporteurs, c’est-à-dire que tout article envoyé est soumis à des rapporteurs anonymes. Ensuite l’éditeur de la revue scientifique donne son avis. Il y a une série d’aller-retours pour corriger l’article, etc. Et de surcroît, en amont, dans leur institution la Banque mondiale, les documents de travail sont relus, réévalués avant d’être donnés au public lors d’une étape intermédiaire qui n’est pas encore la publication dans une revue académique.

Donc on peut se demander comment un article qui a un résultat aussi fort, avec autant d’implications politiques, peut être publié sans que les auteurs, les rapporteurs ou l’éditeur ne se rendent compte que les résultats sont obtenus sur la base d’une seule observation correspondant à un seul pays, sur la base duquel on va extrapoler le résultat du Botswana sur l’ensemble de l’échantillon qui comportait une soixantaine de pays sur une période d’environ vingt ans.

_______________

Vidéo 2. Statistiques et marge d’erreur

Est-il possible d’obtenir des résultats fiables à partir d’un échantillon ?

C’est une question qui n’est pas nouvelle, qui a été posée par les philosophes dès l’Antiquité et qui a été appelée à l’époque le problème de l’induction (pour les statisticiens, ce sera le problème de l’inférence). Une branche de la philosophie, les Sceptiques, a dit, dès l’Antiquité, qu’on ne peut jamais atteindre la vérité sur une population totale à partir d’une partie. Si l’on veut le faire, il faut se mettre d’accord sur un critère, avoir un autre critère sur lequel l’ensemble des gens pourraient se mettre d’accord et avoir une suite de critères allant jusqu’à l’infini. Donc finalement on n’a pas les moyens de traiter le problème de l’induction.

Face à ce résultat négatif, que vont faire les scientifiques au fil des siècles ? Les physiciens vont essayer de prendre en compte les erreurs de mesure. Puis, vers les années 1925, les statisticiens vont mettre en place la théorie des tests. L’un d’entre eux, Ronald Fisher, va poser un premier critère qu’on appelle la significativité statistique qui relève de la précision de l’effet. Fisher va considérer qu’on ne peut pas savoir la vérité dans l’absolu, mais on peut mettre une probabilité sur l’existence d’un effet, par exemple de l’aide sur la croissance. Cette probabilité sera d’autant mieux mesurée que l’échantillon sera grand. C’est une idée « fréquentiste », c’est-à-dire que plus on a d’observations, plus on pourra mesurer quelque chose. Et il va proposer de tester l’existence d’un effet, et plus cet effet sera mesuré de manière précise avec beaucoup d’observations, plus on aura les moyens de dire que cet effet est nul ou n’est pas nul.

Quelle place la théorie de Fisher laisse-t-elle à l’erreur ?

Lorsque Fisher propose son test, il l’associe à une probabilité. Dans la première édition de sa théorie, on est autorisé à se tromper 1 fois sur 20. Sur la masse des publications, si l’on applique la méthode de test de Fisher, on autorise 1 article sur 20 à être faux. On retombe sur une question de convention, pourquoi dire qu’1 article sur 20 peut être faux, et pourquoi pas 1 article sur 100 ou 1 article sur 1 000 000 ? Donc on revient à l’arbitraire mis en avant par les Sceptiques pour traiter l’induction ou l’inférence.

Il faut voir également que, dès le moment où Fisher va proposer son test, des collègues vont dire qu’on peut faire autrement. Ils s’opposent notamment à Fisher sur l’idée d’une vérité absolue. Pour Fisher, soit l’aide a un effet sur la croissance, soit elle n’en a pas. Ses collègues vont dire que si Fisher suppose qu’il y a un effet absolu, ce qui leur importe est plutôt de prendre une décision, de savoir si l’on doit donner de l’aide ou pas. Dans ce cas-là, le seuil de 5 % n’est peut-être pas le bon seuil. Il faut prendre en compte les coûts et bénéfices de donner de l’aide lorsqu’elle est inefficace, ou de donner de l’aide lorsqu’elle est efficace, etc. Donc ils proposent dès le début un critère alternatif à ce seuil arbitraire reposant sur l’hypothèse d’une vérité absolue d’1 chance sur 20.

Quel a été l’impact de cette théorie dans le monde de la recherche ?

J’ai posé le cadre pour la méthode de Fisher. Lorsqu’elle commence à s’imposer dans la pratique scientifique dans diverses disciplines, pas seulement l’économie, les éditeurs de revues – alors que Fisher ne disait pas nécessairement cela – vont préférer publier des articles qui donnent des résultats positifs au test, c’est-à-dire qu’il faut que l’aide ait un effet sur la croissance. Si l’on montre que l’aide n’a pas d’effet sur la croissance, c’est considéré comme un résultat qui n’est pas intéressant. Donc on arrive à quelque chose qui n’était pas prévu au départ dans la théorie des tests, c’est ce qu’on appelle le biais de publication vis-à-vis des résultats positifs. Du point de vue scientifique, ce n’est pas une très bonne idée. Lorsqu’on fait des expériences, si l’on trouve que les expériences ne marchent pas, c’est de l’information qui permet à la fois aux autres chercheurs de dire que c’est une piste qu’on ne doit pas explorer, ou éventuellement on peut essayer de la ré-explorer pour voir s’il y avait un défaut dans l’expérience. Dans la théorie des tests, rien ne dit qu’il ne faut pas publier des résultats négatifs comme par exemple le fait qu’il n’y a pas d’effet de l’aide sur la croissance.

 ________________

Vidéo 3. Biais de publication et incitations des chercheurs

Quel est l’effet du biais de publication sur les recherches ?

À partir du moment où les éditeurs vont avoir comme critère de publier des résultats où il se passe quelque chose plutôt que des résultats indiquant qu’il n’y a pas d’effet, les chercheurs vont orienter leurs recherches dans le but d’obtenir des effets « statistiquement significatifs » selon le jargon associé à Fisher, effets mesurés avec précision qui disent que l’aide a un effet sur la croissance.

Les meilleures revues vont aussi attendre des résultats extraordinaires, inattendus. Donc les scientifiques vont chercher à être les premiers à montrer telle corrélation, tel lien entre une variable et une autre. Ils vont choisir, dans l’ensemble des hypothèses, les plus farfelues, les plus étonnantes, les plus bizarres pour lesquelles on pense a priori qu’il va être très dur de trouver un effet. Et ils vont souvent réussir à publier les résultats sur ces effets extraordinaires dans les revues, allant sur des zones peu explorées puisqu’a priori on pense qu’il n’y a pas d’effet mais ils en trouvent quand même un. Ils vont aller dans des zones où les autres collègues ne savent pas trop ce qui se passe, ils vont être des pionniers et ils vont entrer dans une zone mal identifiée, où l’on peut autoriser des études qui sont un peu fragiles mais où ils passent pour des défricheurs, etc.

Donc les économistes sont incités à explorer de nouvelles pistes ?

Oui, la prise de risque est complètement validée, et même sur-validée puisqu’il est très facile, en réalité, de satisfaire le critère de Fisher, surtout lorsqu’on va dans les zones inexplorées. Cela devient très facile de trouver qu’il existe un effet plutôt qu’il n’existe pas d’effet. Il va y avoir une prise de risque qui va déboucher systématiquement sur « il existe des effets » plutôt qu’« il n’existe pas d’effet ». Le débat se pose dès le début à cause du principe de ne pas publier des effets négatifs, parce qu’une bonne reconnaissance de la prise de risque consiste aussi à accepter que les chercheurs qui sont allés dans des zones inexplorées n’ont pas trouvé de résultats. On a un véritable défaut dans le processus de publication.

Comment cela se traduit dans les publications ?

Si quelqu’un trouve un résultat extraordinaire qui est tiré par quelques données, rien n’empêchera son concurrent de publier un résultat avec un sens opposé. L’objectif va être toujours d’éviter la zone où il n’y a pas d’effet, il faut toujours pouvoir dire « il y a un effet positif » ou « il y a un effet négatif ». Là, c’est le « jackpot » pour les chercheurs, parce que c’est la controverse, ce qui génère beaucoup de citations. Il faut absolument rester sur sa position dans une controverse, quoi que dise l’adversaire, tant qu’on reste sur une zone grise des statistiques qui est l’indécidable. Tout ce qui est mal identifié, en terme de carrière de chercheur c’est le jackpot, mais aussi pour les revues au niveau le plus élevé puisque cela apporte des citations ce qui, via la bibliométrie, permet aux revues de monter dans le classement des citations, etc.

 ___________________

Vidéo 4. La recherche scientifique répond-elle aux besoins des décideurs ?

Les besoins des décideurs sont-ils compatibles avec la pratique des chercheurs ?

On peut se poser une question qui est pourquoi le critère de publication diffère des besoins des décideurs publics, des décideurs privés ou « Monsieur tout le monde », etc. ? On retombe sur une question qui a été posée dès le début à Fisher concernant le fait qu’il propose un critère d’1 chance sur 20, ou de 5 % d’erreur dans l’absolu sur un effet, sans prendre en compte une fonction de perte, la possibilité de se tromper, c’est-à-dire de donner un traitement à quelqu’un qui n’est pas malade ou de ne pas donner un traitement à quelqu’un qui est malade à l’issue du test. À partir du moment où le système d’incitation à la publication recherche un critère absolu sans prendre en compte la fonction de perte sociale ou la fonction de perte individuelle, les résultats vont être disjoints et on va avoir ce genre de problème.

En réalité, il y a aussi une demande sociale de résultats. Finalement, avec ce système qui cherche à valider des vérités, les chercheurs pourront anticiper la demande sociale des décideurs et donner des résultats allant dans le sens attendu par les décideurs pour valider a posteriori leurs décisions. Typiquement, peut-être que les gens de la Banque mondiale ont obtenu des résultats qui correspondaient à l’air du temps dans leur institution.

Donc on en revient au fait que notre connaissance devient une connaissance conventionnelle et on a tout un nuage statistique qui est une sorte de faire-valoir qui valide des croyances, une vérité plus ou moins approximative et dont les critères de scientificité sont finalement assez faibles.

Comment le décideur se positionne-t-il par rapport au résultat scientifique ?

On peut se demander, quand un chercheur annonce un effet positif, que l’autre annonce un effet négatif mais qu’aucun ne dit qu’il n’y a pas d’effet du tout, comment les décideurs prennent leurs décisions. Ils peuvent passer outre, ou aller dans le sens des intérêts de réélection, etc., donc avoir d’autres critères qui les conduisent à décider parfois à tort, parfois à raison, des politiques publiques. C’est une vue très générale où l’on se rend compte que le savoir est très fragile.

Il faut néanmoins donner l’impression que tout ce qu’on fait est très solide. En économie il y a eu un changement autour des années 2000, mais le changement n’était pas dans le sens qu’on pouvait souhaiter. Ce changement a été de dire que finalement, notamment dans les politiques de développement, avec la macroéconomie les données à l’échelle des pays n’arrivent pas à prouver grand-chose. Donc on va faire des expériences qui ressemblent à ce qui est fait en médecine, pas tout à fait suivant le même protocole, au niveau individuel, et tester en prenant deux groupes, un groupe traité un groupe non traité, pour voir si telle politique a tel effet à l’échelle individuelle.

Donc à la fois c’est un progrès en termes de causalité, et d’un autre côté cela nous dit qu’on ne peut atteindre des vérités qu’à l’échelon individuel, qu’on ne peut rien dire à l’échelon macroéconomique. Or en réalité, on a toujours des besoins tant pour les décideurs que pour les individus d’avoir des moyens d’expliquer ce qui se produit à l’échelle des pays pour prendre des décisions de politique macroéconomique.

Où en est la science économique face à ces questions ?

Cette approche relève plutôt du conflit entre microéconomie et macroéconomie puisque l’argument est de dire qu’en microéconomie, on peut faire des groupes séparés, un groupe traité et un groupe non traité, alors qu’en macroéconomie il faudrait des expériences naturelles du type Corée du Nord face à Corée du Sud, Allemagne de l’Est par rapport à l’Allemagne de l’Ouest, c’est-à-dire des groupes à peu près homogènes qui ont des politiques très différentes, et on ne peut pas le faire sur commande, ce sont des événements historiques qui sont rares.

Donc on aboutit à un raisonnement un peu négatif selon lequel la seule vérité vient de la microéconomie et de ses évaluations individuelles, et on ne pourrait rien dire du discours de la macroéconomie. Ce qui nous conduit à une sorte d’impasse puisque rien ne dit que ce qui est vrai à l’échelon microéconomique va être vrai à l’échelon macroéconomique. 


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.