L’iFRAP fait-elle de la recherche scientifique?

La Fondation iFRAP (Fondation pour la Recherche sur les Administrations et les Politiques Publiques) a pour but d’« effectuer des études et des recherches scientifiques sur l’efficacité des politiques publiques, notamment celles visant la recherche du plein emploi et le développement économique, de faire connaître le fruit de ces études à l’opinion publique, de proposer des mesures d’amélioration et de mener toutes les actions en vue de la mise en œuvre par le Gouvernement et le Parlement des mesures proposées ».

Le texte ci-dessous s'interroge sur la nature et la qualité des recherches menées par l'IFRAP.

Si les questions économiques étaient aussi simples que de faire des additions et des pourcentages, il n'y aurait jamais aucun désaccord. Mais d’une part l’économie est légèrement plus compliquée que cela, d’autre part il y a de multiples manières de biaiser les données et leur analyse. Pour éviter de se faire manipuler par des affirmations péremptoires basées sur des données inadaptées ou des analyses peu rigoureuses, il importe de pouvoir vérifier les sources et les analyses des auteurs d’articles économiques. Mais il s’agit là d’un travail extrêmement difficile, à la portée de très peu de gens.

Justement, il y a des gens qui font ce travail au quotidien, ce sont les économistes, les vrais, je veux dire les chercheurs en économie. Pour ceux qui ne sont peut-être pas familiers avec la recherche scientifique, j'explique un peu. Les chercheurs, pour que leurs travaux soient diffusés et servent à quelque chose, doivent les publier dans des revues internationales à comité de lecture. Pour être publiés, leurs articles doivent être expertisés par d'autres chercheurs en économie parmi les plus compétents sur le sujet, dont le rôle est justement de faire ce travail de vérification des sources et des analyses. Ce n'est qu'à l'issue d'un tel examen, et éventuellement après des corrections demandées par les experts, que l'article peut être accepté pour publication (s'il est accepté). C'est ce processus d'expertise par les pairs qui assure que les articles publiés dans les revues scientifiques offrent un niveau minimal de qualité méthodologique. C'est à ce seul prix que la connaissance peut avancer, et ce dans tous les domaines. Bien entendu il existe des revues avec des niveaux d'exigence variés, malgré tout on est là dans un monde qualitativement différent de la presse grand public comme les Echos ou The Economist, qui, elle, n'a strictement aucune exigence d'expertise des articles par des chercheurs compétents. Les sites et publications des think tanks ne font, de ce point de vue, généralement pas mieux que la presse.

Prenons un cas d'école: l'article de Piketty et Saez sur les inégalités de revenu aux USA au 20ème siècle, publié dans Quarterly Journal of Economics: http://qje.oxfordjournals.org/content/118/1/1.abstract
Pour être accepté dans cette revue, qui est l'une des revues d'économie qui a le plus haut niveau d'exigence, nul doute que leur article a été expertisé en long et en large et que leurs sources ont été scrupuleusement vérifiées par des économistes hautement compétents. Cela ne rend pas leur article infaillible et incontestable, loin de là, mais ça fournit certaines garanties.
De fait, comme pour tous les travaux scientifiques, d'autres chercheurs peuvent être en désaccord avec leurs conclusions, leur analyse, ou peuvent même avoir repéré des biais méthodologiques qui auraient échappé aux experts de la revue. Ils peuvent aussi avoir accès à d'autres données, plus complètes ou plus fiables, qui conduiraient à réviser les conclusions de Piketty et Saez. Dans ce cas, que font-ils? Ils écrivent leur propre analyse et soumettent leur article à la même revue. Leur article sera lui-même expertisé selon les règles en vigueur, et s'il s'avère que leur critique de Piketty et Saez est pertinente, leur article sera publié, et contribuera utilement au débat. Ainsi avance la science, en économie comme dans tous les autres domaines.

La méthode de l'IFRAP est toute différente. Elle publie ses analyses soit dans la presse économique (les Echos ou le Figaro), soit (lorsqu'elle n'y parvient pas j'imagine) directement sur son site ou dans la revue qu’elle édite elle-même. C'est le cas de la critique de l'article de Piketty et Saez écrite par Guillaume Varnier et Bernard Zimmern: http://www.ifrap.org/Etats-Unis-la-verite-sur-les-inegalites-de-revenu,1170.html
L'article annonce en toute modestie dans son titre sa prétention à établir des connaissances objectives (la "vérité" sur les inégalités de revenu, rien que ça!). Je me garderais bien de juger l'article sur le fond, ce n'est pas mon domaine. Laissons cela à des gens compétents. Justement, si l'article de Piketty et Saez était si biaisé, et si l'analyse de Varnier et Zimmern en exposait les failles de manière si évidente, il paraîtrait pertinent que ces derniers soumettent le fruit de leurs réflexions à Quarterly Journal of Economics. Là au moins leur critique de Piketty et Saez serait examinée par des experts compétents, et si elle tient la route, elle devrait être publiée.
Puisque les chercheurs de l'IFRAP détiennent la vérité sur les inégalités de revenu aux USA, puisqu'ils ont raison contre Piketty et Saez, pourquoi ne cherchent-ils pas à faire progresser la science pour le bénéfice de tous, pourquoi ne portent-ils pas leurs analyses à la connaissance de tous les économistes du monde, en publiant leurs travaux dans le seul forum pertinent pour cela, celui des revues scientifiques à comité de lecture ? Là, au moins, il y pourrait y avoir un débat de qualité. Mais cela ne semble pas être la démarche de l’iFRAP. L'approche de l'IFRAP semble être plutôt de tenter d'influencer directement les politiques et les décideurs, en court-circuitant l'expertise scientifique.

Evidemment, publier dans de telles revues, c'est difficile, et cela demande des compétences très pointues en économie. Qu'en est-il des auteurs de l'IFRAP? Regardons un peu qui sont ces chercheurs et quelle est leur crédibilité en économie. En général, dans la recherche, on évalue la compétence de quelqu'un en regardant la liste de ses publications dans les revues scientifiques internationales. C'est vrai quel que soit le domaine scientifique, en économie comme ailleurs. Je propose donc de regarder les publications de chacun dans Google Scholar, qui est la base de données la plus exhaustive. Elle est très peu sélective sur la qualité des supports, elle a plutôt tendance à rafler tout ce qui traine sur le web (contrairement à des bases de données plus sérieuses comme le Web of Science), mais dans le cas présent cela ne peut jouer qu'en faveur des personnes concernées, et l'accès est libre, ce qui permet à chacun de vérifier.

Bernard Zimmern : http://www.ifrap.org/_Bernard-Zimmern,4_.html
X, ENA, inventeur, auteur de plus de 500 brevets.
NB : Les résultats donnés par Google Scholar sont classés par ordre décroissant de nombre de citations, de manière à faire apparaître les articles les plus influents en premier.
On y retrouve sans peine les travaux de recherche effectuées par Zimmern, à savoir plusieurs dizaines de brevets industriels déposés aux USA (d’autres déposés dans d’autres pays ne sont probablement pas recensés dans cette base), et quelques articles dans le même domaine. A partir de la 8ème page (car pas ou très peu cités) apparaissent ses livres publiés en français, puis deux articles dans des revues politiques françaises. En revanche rien qui ressemble de près ou de loin à un article publié dans une revue internationale d’économie. http://scholar.google.com/scholar?q=author:%22b+zimmern%22

Guillaume Varnier (co-auteur de l’article sur les inégalités aux USA) : http://www.ifrap.org/_Guillaume-Varnier,57_.html
Diplômé de Dauphine et de l’IEP.
Aucun article scientifique qui puisse lui être attribué (il a visiblement des homonymes en pharmacologie et en théologie). http://scholar.google.com/scholar?q=author:%22g+varnier%22

Agnès Verdier-Molinié (directrice de l’IFRAP) : http://www.ifrap.org/_Agnes-Verdier-Molinie,2_.html
Diplômée d’histoire économique contemporaine.
Sur Google Scholar, seuls apparaissent ses livres et un article dans une revue française. Aucun de ses écrits n’a l’honneur de la moindre citation.
http://scholar.google.com/scholar?q=author:%22a+verdier-molinie%22

Sandrine Gorreri (directrice de la rédaction de Société Civile, le mensuel de l’IFRAP). http://www.ifrap.org/_Sandrine-Gorreri,6_.html
Etudes en gestion à Dauphine, « experte » en statistiques et en comparaisons internationales, mais rien qui n’ait été publié dans une revue scientifique. http://scholar.google.com/scholar?q=author:%22s+gorreri%22

François Saint-Cast (pas recensé comme membre de l’iFRAP, mais co-auteur de l’article sur la révolution fiscale de Piketty, Landais et Saez) : http://www.viadeo.com/fr/profile/francois.saint-cast
Docteur en économie, gérant de Diagnostics & Systems.
Dans Scholar, une fois écartées les publications d’un homonyme travaillant en géophysique, il ne reste guère que sa thèse de doctorat. Visiblement aucune publication issue de sa thèse, ce qui n’est pas une indication très positive quant à la qualité de la dite thèse.
http://scholar.google.com/scholar?q=author:%22f+saint-cast%22

En cherchant plus d’informations sur le mensuel « Société civile », je n’ai pas réussi à déterminer s’il y avait un comité de lecture, ni quelle était sa composition. En revanche j’ai trouvé les auteurs du dernier numéro :

Bertrand Nouel http://www.ifrap.org/_Bertrand-Nouel,3_.html
Avocat honoraire. Quelques publications en droit. http://scholar.google.com/scholar?q=author:%22b%20nouel%22

Philippe François : http://www.ifrap.org/_Philippe-Francois,9_.html
Ingénieur, consultant. Difficile de trouver d’éventuelles publications pertinentes, tant son nom est fréquent et les références non pertinentes nombreuses. Quelques articles dans des revues économiques qui apparaissent dans la liste sont, après vérification, attribuables à des Patrick et Pierre François…
 http://scholar.google.com/scholar?q=author:%22p%20francois%22

Samuel-Frédéric Servière http://www.ifrap.org/_Samuel-Frederic-Serviere,12_.html
Diplômé en Histoire, en Droit des affaires mention fiscalité et de l’IEP de Paris
http://scholar.google.com/scholar?q=author:%22sf%20serviere%22

J’arrête là, faute de trouver sur le site une liste plus complète des membres de l’IFRAP. Ma conclusion provisoire, sur la base de ces données qui sont peut-être trop limitées, mais que l’IFRAP pourra compléter si elle le souhaite, est qu’aucun des « chercheurs » de l’IFRAP examinés ci-dessus n’a jamais publié le moindre article dans une revue internationale d’économie. Aucun n’a même effectué une formation à la recherche attestée par un doctorat (peut-être sont-ils trop modestes pour mentionner ne serait-ce qu’un DEA ou master de recherche). Seul un co-auteur d’un des articles consultés est titulaire d’un doctorat (F. Saint-Cast), sans pour autant être allé jusqu’à publier ses travaux.

A la lumière de cet examen, j’hésiterais à dire que l’IFRAP est un institut de recherche, et que ses membres sont des chercheurs au sens usuel du terme. Lobbyistes serait sans doute un terme plus juste. Notez qu’il n’est pas honteux d’être lobbyiste. En revanche il est plus discutable de le dissimuler derrière une étiquette fallacieuse de « chercheur », et de faire passer ses opinions pour des connaissances scientifiquement établies.

On dira que cette évaluation de l’IFRAP est injuste, car cette fondation  n’a jamais eu la prétention de produire de la recherche universitaire. C’est vrai pour ce qui est du mot « universitaire ». En même temps je n’ai reproché à aucun de ses membres de ne pas être employé par une université ou par le CNRS. Il est clair que la nature de l’employeur et le cadre de travail ne sont pas pertinents sur le fond. Ma critique n’est donc pas juste un réflexe corporatiste de chercheurs qui se coopteraient selon des critères opaques. Sont des chercheurs tous ceux qui font de la recherche scientifique, c’est-à-dire qui produisent de la connaissance objective, vérifiable, réfutable. Cette production de connaissance est soumise à certaines exigences, concernant notamment la rigueur méthodologique, la disponibilité des données, l’évaluation par les pairs, sans lesquelles il serait impossible de distinguer les recherches scientifiquement validées de simples opinions émises par-dessus le comptoir.

Or l’IFRAP affiche clairement ses prétentions à employer des chercheurs, à faire de la recherche scientifique et donc à produire de la connaissance objective: elle « a pour but d’effectuer des études et des recherches scientifiques sur l’efficacité des politiques publiques » ; « La Fondation iFRAP est composée d’une quinzaine de chercheurs » ; « Cette équipe possède des compétences variées et pointues en économie, finance, droit, fiscalité, statistiques … » (http://www.ifrap.org/La-Fondation-iFRAP,3.html). On ne voit donc pas pourquoi l’iFRAP ne devrait pas être évaluée de la même manière que tout autre institut de recherche. A fortiori lorsqu’elle se permet de critiquer des travaux publiés dans une revue internationale d’économie, il serait anormal que les auteurs de la critique ne soient pas soumis aux mêmes exigences de rigueur scientifique et aux mêmes critères d’évaluation que les auteurs de l’article ciblé.

Pour conclure, j’aurais envie de conseiller à l’iFRAP l’alternative suivante : soit elle révise ses prétentions à la baisse, et se contente de synthétiser des résultats déjà publiés dans les revues économiques internationales (ce qui ne serait déjà pas si mal), soit elle se donne les moyens de ses ambitions en recrutant de vrais chercheurs en économie et en soumettant leurs travaux à l’évaluation par les pairs dans les revues internationales, en plus de s’en servir pour faire du lobbying au niveau national.

Libellés : ,