Analyse contrefactuelle
Une politique publique pouvant se décliner selon diverses stratégies d’intervention, ce cours aborde la question de leur efficacité respective et présente les méthodes d’évaluation d’impact Une attention particulière est portée sur les méthodes dites « contrefactuelles ».
Les méthodes contrefactuelles cherchent à isoler les effets (ou impacts) des interventions publiques. L’effet estimé est défini par l’écart entre le résultat observé en moyenne dans le groupe traité et le résultat observé en moyenne dans un groupe de comparaison. Le groupe de comparaison permet d’approximer le contrefactuel, c'est-à-dire ce qui serait arrivé dans le groupe traité en l’absence d’intervention. A cette fin, le groupe de comparaison doit être aussi semblable que possible au groupe traité, et ce à tout point de vue hormis l’intervention.
Parmi les méthodes contrefactuelles, on distingue (1) les essais randomisés contrôlés, qui permettent d’éliminer les biais en amont, et (2) les méthodes quasi-expérimentales (différences de différences, méthodes d’appariement, régressions en discontinuité, variables instrumentales) qui offrent un moyen de corriger les biais d’une étude observationnelle. Ce cours présente ces différentes méthodes ainsi que des applications sur le logiciel R-CRAN.
Plan du cours
Partie 1. Identifier les effets d'une politique
Panorama des méthodes d’évaluation d’impact
Exemple : les évaluations contrefactuelles
Partie 2. Essais randomisés contrôlés
Principes des essais randomisés contrôlés
Significativité statistique de l’effet d’un traitement (application sur R-CRAN : mydataTrial.csv)
Significativité clinique et risque beta (application sur R-CRAN : mydataTrial.csv)
Partie 3. Méthodes quasi-expérimentales
Différences de différences (application sur R-CRAN : mydataDID.csv)
Appariement par score de propension (application sur R-CRAN : mydataPSM.csv)
Régression sur discontinuité (application sur R-CRAN : mydataRDD.csv)
Variables instrumentales (application sur R-CRAN : mydataIV1.csv)
Bibliographie
Chapitre 1, 13 & 14 de ‘STATISTICAL TOOLS FOR PROGRAM EVALUATION: Methods and Applications to Economic Policy, Public Health, and Education’ by Josselin and Le Maux, forthcoming in Springer.
Crépon B, Duflo E, Gurgand M, Rathelot R, Zamora P (2014) Do labor market policies have displacement effects? Evidence from a clustered randomized experiment. Quarterly Journal of Economics 128:531-580.
Attanasio O, Meghir C, Santiago A (2012) Education choices in Mexico: Using a structural model and a randomized experiment to evaluate PROGRESA. Review of Economic Studies 79:37-66.
Duflo E, Dupas P and Kremer M (2015) Education, HIV, and early fertility: Experimental evidence from Kenya. American Economic Review 105:2757-2797.
Khandker, S.R., Koolwal, G.B. and Samad, H.A. (2010). Handbook on impact evaluation: Quantitative methods and practices. World Bank.
Evaluation des politiques publiques : guide pratique et citoyen. Maurice Baslé, Jean-Michel Josselin, Benoît Le Maux, 240 pages, Editions Ellipses, Paris, 2019.
Lien
Lien vers l’arbre des méthodes d’évaluation d’impact de Quadrant Conseil : https://www.quadrant-conseil.fr/ressources/ArbreImpact.html
Examen
Contre-expertise synthétique (une page) d'une analyse contrefactuelle par groupe de deux. Plan indicatif :
Contexte de l'évaluation des politiques publiques.
Document référencé
Politique évaluée
Commanditaires et porteurs de l’évaluation
Objectifs de l’évaluation
Méthodologie et résultats de l'évaluation.
Méthode employée
Données analysées
Résultats
Recommandations de l’étude
Discussion sur la méthodologie employée (contre-expertise)
Identification des forces
Identification des faiblesses
Conclusions tirées de la contre-expertise
Limitations et suggestions pour des évaluations futures
Références