ArticlePDF Available

La science régionale et la performance des politiques publiques : Retour sur les méthodes d’évaluation

Article

La science régionale et la performance des politiques publiques : Retour sur les méthodes d’évaluation

Abstract

Dans un contexte de fortes contraintes budgétaires pour les collectivités territoriales, la question de l’efficacité des politiques menées est un sujet d’actualité. L’évaluation des politiques publiques de développement territorial fait l’objet de nombreux travaux académiques en sciences humaines et sociales. Or, de nombreux problèmes méthodologiques persistent parmi lesquels on retrouve la validité et le rôle des méthodes quantitatives et qualitatives, la nature des causalités, la qualité des données exploitées et leur raffinement, la multidimensionalité des phénomènes adressés par les politiques et des objectifs de celles-ci. Dans ce cadre, cet article vise à introduire le numéro spécial portant sur les problèmes et défis de la Science Régionale dans l’évaluation des politiques publiques à partir d’expériences de chercheurs pour en tirer des leçons.
1
Sébastien Bourdin, Elena Ragazzi, « La science régionale et la
performance des politiques publiques : Retour sur les méthodes
d'évaluation », REVUE D'ÉCONOMIE RÉGIONALE ET URBAINE
2/2018, pp. 225-242, Armand Colin.
Disponible sur : http://www.revues.armand-colin.com/eco-sc-
politique/revue-deconomie-regionale-urbaine/revue-deconomie-
regionale-urbaine-ndeg-22018/science-regionale-performance-
politiques-publiques
2
LA SCIENCE REGIONALE ET LA PERFORMANCE DES POLITIQUES
PUBLIQUES: RETOUR SUR LES METHODES DEVALUATION
Sébastien BOURDIN
sbourdin@em-normandie.fr
Ecole de Management de Normandie, Laboratoire Métis, Département d’Economie des Territoires et
Développement Durable, 9, Rue Claude Bloch, 14052 Caen (France).
Elena RAGAZZI
elena.ragazzi@ircres.cnr.it
CNR-Ircres, via Real Collegio 30, 10024 Moncalieri (To) (Italie).
Résumé
Dans un contexte de fortes contraintes budgétaires pour les collectivités territoriales, la question de
l’efficacité des politiques menées est un sujet d’actualité. L’évaluation des politiques publiques de
développement territorial fait l’objet de nombreux travaux académiques en sciences humaines et sociales. Or,
de nombreux problèmes méthodologiques persistent parmi lesquels on retrouve la validité et le rôle des
méthodes quantitatives et qualitatives, la nature des causalités, la qualité des données exploitées et leur
raffinement, la multidimensionalité des phénomènes adressés par les politiques et des objectifs de celles-ci.
Dans ce cadre, cet article vise à introduire le numéro spécial portant sur les problèmes et défis de la Science
Régionale dans l’évaluation des politiques publiques à partir d’expériences de chercheurs pour en tirer des
leçons.
Abstract
In a context of severe budgetary constraints for local and regional authorities, the question of the
effectiveness of policies is a hot topic. The evaluation of regional public policies is the subject of numerous
academic studies in the field of humanities and social sciences. However, many methodological problems
persist among which we find the validity and the role of the quantitative and qualitative methods, the nature
of the causalities, the quality of the data exploited and their refinement, the multidimensionality of the
phenomena addressed by the policies and of their objectives. In this framework, this article aims to introduce
the special issue devoted to the problems and challenges of Regional Science in the evaluation of public
policies, as these emerge from the experiences of researchers.
Mots-clés
Evaluation d’impact, politiques régionales, développement territorial.
Keywords
Impact evaluation, regional policies, territorial development
-1-
Introduction
Depuis plusieurs années, l’évaluation des politiques publiques est devenue un objet de recherche important.
Ceci est en partie lié (i) aux changements majeurs qui ont (eu) lieu dans les politiques sociales et
économiques de nombreux pays mais aussi à (ii) l’introduction de nouvelles procédures de management et de
contrôle du secteur public. La contraction des ressources financières des Etats et l’aggravation des difficultés
dans lesquelles se trouvent les territoires poussent à réexaminer les politiques régionales et infra-régionales
1
et leur capacité à produire des effets tangibles. De plus, l’Union européenne (UE) est en train d’accroître sa
1
Notons que ce présent numéro concerne des analyses à l’échelle « meso », étant entendu que celle-ci ne se limite pas
au seul cadre politico-administratif de la région.
3
pression sur les Etats-membres et sur les autorités de gestion régionales afin qu’ils adoptent des plans
d’évaluation des effets des politiques qu’elle finance. L’effet combiné de ces deux phénomènes rend le débat
relatif aux méthodes d’évaluation de la performance des politiques régionales particulièrement urgent.
Pendant trop longtemps, l’évaluation des politiques publiques est restée beaucoup trop isolée d’une réflexion
sur les méthodologies employées. De nombreux problèmes pertinents se posent pourtant. Ils soulèvent la
question de la validité et du rôle des méthodes quantitatives et qualitatives, de la possibilité d’objectivité
dans l’évaluation, de la nature des causalités, de la qualité des données exploitées et leur raffinement, de la
multidimensionalité des phénomènes adressés par les politiques et des objectifs de celles-ci.
Aujourd’hui, et particulièrement en Europe, l’analyse fine des impacts des politiques publiques mises en
œuvre semble peu répandue aux regards de leurs enjeux. Cela s’explique en partie par le fait qu’il s’agit de
projets souvent complexes, demandant la mise en place de larges enquêtes au coût très élevé, mais aussi par
le manque de clarté relative aux différentes options méthodologiques envisagées. L’objectif de ce numéro
spécial est de présenter un état des lieux des recherches portant sur l’évaluation des politiques publiques de
développement territorial en croisant des réflexions théoriques et appliquées, qualitatives et quantitatives.
L’idée centrale est de focaliser l’analyse sur une prise de distance vis-à-vis des méthodes utilisées afin d’en
tirer des leçons. Ce faisant, il examine les critiques formulées à l'égard des travaux empiriques existants,
fournit une introduction aux moyens d'évaluer l'impact des politiques régionales, discute des principaux
obstacles auxquels les chercheurs sont aujourd’hui confrontés et formule des suggestions sur la façon de les
aborder dans les recherches futures.
Les choix méthodologiques qu’impliquent une démarche évaluative de politiques publiques locales ou
régionales dépendent du moment où celle-ci s’effectue (ex ante, in itineris ou ex post). Ce numéro se
concentre sur l’évaluation ex post des effets (ou des impacts) des politiques territoriales évaluées. Sans sous-
estimer l’importance des autres disciplines scientifiques (science politique, sociologie, etc.) et
l’interconnexion entre elles et avec la Science Régionale, l’évaluation des impacts représente aujourd’hui un
vaste champ de recherche où se confrontent de grand défis, qui sont à la fois méthodologiques et empiriques,
et peuvent donc tirer beaucoup d’avantage d’une revue des pratiques de recherche mises en place.
A partir de ces expériences, le numéro spécial entend ouvrir un débat sur les implications et les potentialités
des différentes options concernant :
la possibilité d’observer et de mesurer correctement les variables (celles caractérisant la gestion de la
politique en elle-même ; celles ayant trait à son contexte et enfin celles concernant le bénéficiaire)
qui insistent sur l’efficacité et l’indicateur de résultat lui-même ;
la prise en compte de l’espace, notamment les spécificités du territoire, les effets de localisation et de
distance ;
lévaluation d’impact net, le choix du groupe de contrôle, les méthodes et techniques pour évaluer et
corriger la distorsion de sélection ;
l’accès aux bases de données et leur fiabilité, surtout pour les comparaisons interrégionales.
En outre, et compte tenu de l’insuffisance des études européennes comparant les effets des politiques sur
différents territoires, en raison des différences dans la programmation territoriale ou de l’absence
d’homogénéité des méthodologies d’évaluation, ce numéro est l’occasion de proposer des méthodologies et
des schémas d’évaluation applicables dans différents territoires, de façon à enrichir le débat plus que jamais
d’actualité sur les impacts territoriaux des politiques publiques.
-2-
Regards de la Science Régionale sur l’évaluation des politiques
publiques
2.1. Vers une approche spatiale de l’évaluation des politiques régionales
L’analyse de la conception, de la mise en œuvre et de l'évaluation des politiques publiques a été abordée par
plusieurs champs disciplinaires. Les politologues ont travaillé depuis plusieurs décennies sur ces questions
(MORAN et al., 2006). De même, les économistes ont porté une grande attention à l’évaluation en
développant les théories rationnelles de la prise de décision publique et les méthodes formelles de
4
l’évaluation ex-ante et ex-post des politiques publiques (voir par exemple DOLLERY et WORTHINGTON,
1996). L’analyse coûts-avantages (voir DASGUPTA et PEARCE, 1972; NAS, 1996), largement utilisée, est
peut-être la méthode la plus connue des praticiens et chercheurs pour l'évaluation des politiques publiques.
Toutefois, l’analyse coûts-avantages n’est pas sans soulever des critiques (par exemple, ACKERMAN et
HEINZERLING, 2004; ADLER et POSNER, 2006) et beaucoup d'autres approches ont été développées au cours
des dernières années, comme la Real Options Analyse (voir SMIT et TRIGEORGIS, 2004; TRIGEORGIS, 1990).
L’analyse de décision et les recherches opérationnelles ont également mis au point des méthodes qui visent à
traiter de l’élaboration des politiques publiques (voir par exemple POLLOCK et al., 1994). Dans le même
temps, des méthodes récentes en analyse de données ont été imaginées (DAVENPORT et HARRIS, 2007;
DAVENPORT et al., 2010; LIBERATORE et LUO, 2010). En particulier, l’attention de l'UE s’est récemment
focalisée sur l’analyse des effets nets (impacts), basés essentiellement sur les méthodes contrefactuelles, qui
permet de vérifier si le but poursuivi par la politique a été atteint grâce à elle ou en raison de facteurs
exogènes (« deadweight effect ») (HECKMAN, 1999 ; WHITE, 2010).
Malgré la diversité des approches proposées, peu d’entre elles intègrent de manière explicite les dimensions
spatiales ou territoriales. La plupart des travaux aborde l’évaluation des politiques régionales en prenant le
cas d’une région particulière, mais sans comparaisons interterritoriales. Dans d’autres cas, on compare des
territoires différents, mais avec une approche macro, c’est-à-dire sans s’appuyer sur des micro-données
individuelles des performances des entités traitées, et donc sans une véritable appréciation de l’impact réel.
Même s’il existe bien des situations où la mesure de l’impact d’une politique reste ambiguë si l’on
n’introduit pas la dimension spatiale, les chercheurs sont souvent démotivés par la difficulté de mettre en
œuvre des évaluations transrégionales, dû au fait que les politiques locales sont bien souvent différentes
d’une région à l’autre et que la disponibilité de micro-données adaptées pour la mise en œuvre de l’étude est
presque nulle..
Pourtant, s’il est un champ qui, par essence, prête une grande attention à la dimension spatiale d’une manière
générale, et à la dimension spatiale des politiques publiques et de leur évaluation en particulier, c’est bien la
Science Régionale. Car il s’agit d’une vaste orientation interdisciplinaire indispensable à la complexité des
évaluations des politiques régionales. C’est parce qu’elle combine et complète la géographie économique et
sociale, l’économie urbaine et régionale, l’aménagement du territoire et les sciences de l’environnement que
la Science Régionale contribue à une évaluation fine des politiques publiques. La pluridisciplinarité des
contributeurs de ce numéro spécial témoigne de la richesse des analyses qui peuvent être menées sur ces
questions.
Dans l'espace limité disponible, il n'est pas possible de résumer toutes les recherches pertinentes disponibles
pour les décideurs et l’apport de la Science Régionale à l’évaluation des politiques publiques, tant les
contributions sont pléthoriques. Ceci dit, à titre d’exemples et parmi les nombreux travaux qui traitent de ces
questions et publiés dans la RERU, on trouve des études relatives à l’évaluation des politiques régionales de
formation (CANALS et al., 2003), des politiques régionales européennes (BAUMONT et al., 2002; LE GALLO,
2004 ; VIROL, 2008; TROUVE et BERRIET-SOLLIEC, 2008; LATASTE et al., 2012), des politiques de transports
(BONNAFOUS et MASSON, 2003; COSTES et al., 2009) ou encore des politiques agro-environnementales ou
rurales (BERRIET-SOLLIEC, 2001 ; GASSIAT et ZAHM, 2010).
2.2. L’apport de la Science Régionale dans l’évaluation des politiques régionales
Dans la plupart des pays, la prospérité économique est répartie de manière très inégale dans l'espace. Les
régions, les villes et les quartiers enregistrent ainsi des différentiels plus ou moins significatifs en termes
d'emploi, d'éducation et de nombreuses autres variables socio-économiques. D’une manière générale, les
politiques régionales reposent en grande partie sur des préoccupations suscitées par ces disparités
persistantes. Pendant longtemps, et encore aujourd’hui, permettre une compréhension rigoureuse de la
nature, de l'étendue, des causes et des conséquences de ces disparités a été une motivation clé dans le
développement de la Science Régionale.
De nombreuses questions concernant l'application de la théorie de la nouvelle géographie économique
(KRUGMAN, 1991) à la politique ont fait l'objet d'un examen assez détaillé dans la littérature grâce à
l’ouvrage de BALDWIN et al. (2005). Il en ressort notamment que la prise en compte de la localisation et des
effets d’agglomération est fondamentale dans la mise en œuvre des politiques régionales. Pour être efficaces,
ces dernières doivent prendre en compte les frictions liées à la distance, les économies d'échelle, les effets de
proximité, la connectivité entre les lieux, car il en découle le comportement spatial des agents économiques
(ménages, entreprises, acteurs publics). Or, ces derniers influencent les formes que peuvent prendre les
5
politiques publiques. Dès lors, les décideurs attendent des analyses empiriques qu’elles soient en mesure de
pouvoir décrire le problème, évaluer les causes sous-jacentes et les réponses politiques alternatives.
Dans ce cadre, évaluer les politiques publiques dans une perspective spatiale consisterait d’abord à modéliser
d’un point de vue théorique les causes sous-jacentes des inégalités socio-économiques et territoriales. Il
s’agirait ensuite d’exploiter des données appropriées pour tester la validité des prédictions issues de la
théorie par des modèles structurels
2
. Enfin, en supposant que les données confirment les hypothèses du
modèle théorique, il serait alors possible de l’utiliser pour réfléchir à l'impact des réponses politiques
alternatives qui n'ont pas encore été mises en œuvre. Mais, il serait également possible d’avoir une logique
inverse, où la théorie proposerait des prédictions possibles de l’impact d’une politique régionale et le travail
empirique permettrait d’en évaluer la robustesse en testant les hypothèses d’impact socio-économique et
territorial potentiel.
Dans la plupart des cas dans le milieu socio-économique, les variables qui ont une incidence sur le
phénomène cible de la politique ne sont pas connues de façon certaine. Lorsque la spécification correcte qui
inclut toutes les covariables pertinentes est inconnue, les différentes spécifications de modèles
économétriques donnent des résultats différents ; les modèles ne sont pas robustes aux changements de
covariables et à la manière dont elles sont spécifiées. De plus, les problèmes d'endogénéité affectent
plusieurs spécifications. L’évaluation basée sur approche contrefactuelle, qui peut s’appliquer même à
niveau spatial, répond à ces difficultés.
Pourtant, malgré les différentes options disponibles, l’application de techniques développées en Science
Régionale pour évaluer dans quelle mesure les programmes mis en œuvre ont atteint leurs objectifs se heurte
souvent à de nombreuses difficultés. Parmi elles, on recense notamment le manque de spécification claire des
objectifs de la politique. Or, en l’absence de buts explicites, l’évaluation de la politique devient difficile. Elle
l’est d’autant plus que, bien souvent, ces objectifs évoluent dans le temps.
Une autre difficulté est liée à la multidimensionalité des politiques. Dans la plupart des cas, le problème
abordé par la politique ressort d’une stratification de causes et de situations. Pour prendre en charge cette
complexité, les décideurs dotent la politique d’objectifs et d’instruments multiples. Mais cette habitude
empêche la possibilité d’évaluer les effets de la politique, qui exige une claire identification de la théorie de
l’intervention. Examiner les hypothèses sous-jacentes, la chaîne causale entre les objectifs, les inputs et
instruments, les résultats et impacts, dans le cadre de l’évaluation basée sur la théorie (WEISS 1997, WHITE
2009), est une démarche importante pour que les résultats de l’évaluation soient concrets et dignes de
confiance, mais cela exige une forte connexion entre le design de la politique et le design de l’évaluation.
De plus, dans les recherches évaluatives, les méthodes quantitatives sont souvent privilégiées, en raison de
leur robustesse et du fait qu’elles sont supposées éviter toute ambiguïté. Or, quantifier les objectifs est
souhaitable à condition que cela puisse être fait. En effet, de plus en plus de politiques régionales et urbaines
sont conçues pour obtenir des résultats sur le plan qualitatif. Les exemples ne manquent pas. Certains
programmes environnementaux ont pour but d’améliorer des zones écologiques ou de remodeler les
paysages, des politiques de lutte contre le chômage prêtent davantage attention à la qualité des programmes
de formation réalisés et de l’emploi obtenu qu’elles ne s’intéressent au nombre de participants formés ou au
nombre de contrats signés. Par ailleurs l’opposition entre approches qualitatives et quantitatives parait
anachronique en raison de la complexité de la tache évaluative ; nous plaidons ici pour une intégration entre
les deux approches dans la vision des méthodes mixtes (BENATI ET LAMONICA 2013). Un schéma de
recherche se définit « à méthodes mixtes » quand, pour donner une réponse à une demande ou à un groupe de
demandes, le chercheur recueille et analyse des données, intègre les résultats et repère des inférences en
utilisant à la fois les deux approches dans un programme de recherche précis (CRESWELL ET TASHAKKORI,
2003). La combinaison des méthodes peut advenir dans une étude unique ou multi-phases en réservant les
techniques quantitatives à la vérification des hypothèses et à la mesure des phénomènes, et les techniques
qualitatives à la définition des hypothèses, à comprendre des relations qui expliquent les résultats quantitatifs
et à prendre en charge de façon intégrée la complexité des phénomènes.
2
La philosophie des modèles structurels s’oppose radicalement à celle de l’évaluation contrefactuelle. La première veut
expliquer l’interaction de toutes les connections causales. Mais pour fonctionner, il faut être sûr d’avoir trouvé le bon
modèle. L’approche contrefactuelle n’a pas la présomption de pouvoir expliquer la complexité de la réalité, mais donne
la possibilité de tester de façon fiable l’existence et la force d’une connexion de causalité.
6
-3-
Problèmes et défis de la Science Régionale dans l’évaluation des
politiques publiques
Parmi les problèmes auxquels sont confrontés les chercheurs en général et en Science Régionale en
particulier, nous avons souhaité nous arrêter sur deux questions : d’une part, celle de la disponibilité des
données et leur fiabilité, d’autre part, celle de la causalité, c’est-à-dire de la capacité de nos méthodes à
pouvoir isoler et distinguer ce qui relève de l’effet réel et net de la politique d’autres facteurs.
3.1. A la recherche des données
Les problèmes de disponibilité des données dépendent du contexte de la politique régionale étudiée, mais le
problème le plus courant tend à découler de l'absence de données disponibles au niveau géographique
approprié. Alors que, globalement, les données macro sont facilement accessibles, la collecte des données à
un niveau méso et encore plus micro peut devenir un problème majeur, surtout compte-tenu du « regard
spatial » que souhaite porter la Science Régionale sur celles-ci. Or, l’absence, l’incomplétude ou
l’incompatibilité de données géolocalisées plus détaillées représentent un obstacle majeur à l'utilisation de
méthodes d’économétrie et d’analyse spatiale pour l’évaluation des politiques.
Cependant, même lorsque les données sont disponibles, il reste un problème fondamental qui, pour la plupart
des questions d’évaluation des politiques publiques, est celui de la définition de l'unité d'analyse correcte.
Alors qu’en économie internationale, les chercheurs s’accommodent des frontières étatiques pour mener
leurs analyses du fait qu’elles constituent des points de frictions et génèrent des obstacles à la mobilité des
facteurs, les chercheurs en Science Régionale éprouvent plus de difficultés à définir l’échelle pertinente de
leur analyse. Les limites urbaines et régionales ne sont souvent que des créations administratives et les
dépasser pour affiner l’analyse peut devenir complexe. Ceci explique pourquoi les organismes statistiques
ont parfois construit des périmètres d’analyse ad hoc (les zones d’emploi de l’INSEE ou les « Sistemi Locali
del Lavoro » de l’ISTAT, ou encore les Aires Urbaines Fonctionnelles pour Eurostat). De plus, une fois le
périmètre choisi, rien ne dit que l’impact estimé à cette échelle ne soit le même que celui mesure à un autre
niveau d’analyse. Ces problèmes sont d’autant plus prégnants que lorsque que l’on souhaite utiliser une
méthode en économétrie spatiale, il se pose la question de la définition du voisinage et donc du maillage
territorial et sa granulométrie. Or, prendre en compte les effets de voisinage dans l’évaluation d’une politique
régionale et estimer dans quelle mesure ils affectent les résultats individuels au-delà de tout effet des
caractéristiques individuelles est crucial.
Aujourd’hui, l'utilisation accrue et facilitée des Systèmes d'Information Géographique (SIG) contribue
lentement à résoudre un grand nombre de ces problèmes de disponibilité des données. Par ailleurs, la
disponibilité accrue de données géoréférencées via la politique d’OpenData contribue à améliorer notre
compréhension des impacts différenciés des politiques publiques de développement territorial. Toutefois,
l’ouverture des données varie beaucoup d’une collectivité territoriale à une autre, et la gestion décentralisée
des bases de données rend parfois leur intégration difficile sinon impossible pour des raisons notamment
d’interopérabilité.
3.2. A la recherche de la causalité
Même lorsque des données géolocalisées sont disponibles, un deuxième problème concerne le type d'analyse
empirique choisi pour les exploiter. Si l’on s’intéresse en particulier à l’évaluation des politiques publiques,
la question de la causalité est fondamentale (ANGRIST ET PISCHKE 2009 ; GIBBONS ET OVERMAN, 2012). Le
défi de répondre à cette question pour la plupart des données géoréférencées est que les déterminants ne sont
pas localisés au hasard dans l’espace. Dans la recherche en économétrie spatiale, la stratégie adoptée pour
traiter de cette question suppose que l'on connaisse la façon dont les interactions spatiales se produisent pour
déterminer le modèle économétrique spatial correspondant et estimer les paramètres par des méthodes non
linéaires. Mais, les spécifications de modèles et l'estimation sont suffisamment complexes pour que la
recherche se révèle souvent très difficile à communiquer aux décideurs. Parfois, cela peut amener les
responsables politiques à donner la priorité aux travaux académiques qui se concentrent sur la description
détaillée de la nature des disparités spatiales au lieu d'identifier correctement ses causes sous-jacentes.
7
Si la disponibilité des données et le type d'analyse entrepris avec les données disponibles représentent des
obstacles importants à l'élaboration de politiques éclairées, un autre obstacle se pose car, même lorsque ces
problèmes sont reconnus, ils peuvent être très difficiles à résoudre. La raison fondamentale est que pour de
nombreux phénomènes socio-économiques d'intérêt spatial, des stratégies d'identification appropriées
peuvent être difficiles à développer pour évaluer la relation causale d’une politique publique sur ce qu’elle
est censée traiter. En cas de difficultés dans l’identification du modèle, les estimations vont engendrer des
résultats très variés en fonction des différentes spécifications, sans aider les décideurs dans leur tâche et en
perdant en conséquence en crédibilité. De fait, les méthodes contrefactuelles offrent des opportunités pour
résoudre ce problème d’estimation de l’impact causal des interventions politiques.
L’évaluation d’impact contrefactuelle (EIC) s'appuie sur un ensemble de techniques statistiques qui
permettent d'établir dans quelle mesure les résultats obtenus par les individus, les entreprises ou les régions
qui ont bénéficié d'un programme public sont imputables au programme lui-même, plutôt qu'à d'autres
facteurs qui pourraient affecter ces résultats. Les statistiques nous montrent un changement dans la variable
objectif, sans démêler ce qui relève des effets de la politique, et ce qui relève de changements qui se seraient
produits sous l’influence d’autres forces et facteurs (environnement externe à la politique). Comme
contrairement à ce qui arrive dans les sciences expérimentales, on ne peut qu'observer le changement obtenu
par les unités qui participent au programme, l’EIC vise essentiellement à fournir la meilleure estimation
possible du changement (non observable) que ces unités auraient obtenu sans le programme, et à le comparer
au premier.
Cette estimation peut se produire par deux stratégies différentes : l’EIC expérimentale et quasi-
expérimentale. L’approche expérimentale attribue des unités qui sont la cible de la politique de façon
aléatoire au groupe des traités ou au groupe de contrôle. Cette stratégie doit d’habitude être organisée au
début de l’implémentation de la politique, mais il peut aussi arriver que quelques mécanismes de gestion de
la politique engendrent automatiquement un groupe d’unités exclues du traitement ; par exemple ceci arrive
quand le budget disponible ne suffit pas à répondre à toutes les candidatures reçues ou encore quand des
entreprises ou des régions n’obtiennent pas un financement pour des raisons qui ne sont pas liées aux
caractéristiques d’éligibilité. L’EIC quasi-expérimentale implique de comparer deux groupes d’unités avec
des caractéristiques similaires en ce qui concerne les caractéristiques qui influencent la variable objectif. Le
groupe de contrôle est identifié en aval de la politique sur la base de variables par des méthodes appropriées
pour l’appairage.
L’approche expérimentale garantit une estimation non biaisée de l’impact mais son implémentation peut
s’avérer difficile voir quasi impossible dans beaucoup de situations en économie régionale. Par contre le
risque de biais avec l’approche quasi-expérimentale peut être très fort, surtout si la procédure souffre de
problèmes de sélection (la participation à la politique dépend de caractéristiques de l’unité qui ne sont pas
indépendantes des variables de résultat) ou si le phénomène sur lequel la politique agit est corrélé à des
variables non observables, qui ne sont pas distribuées de façon causale parmi les deux groupes.
En général, les méthodes contrefactuelles permettent une identification des effets de la politique, quel que
soit le choix des canaux de transmission à travers lesquels la politique opère. En effet, elles n'exigent pas de
modèle « structurel » économétrique et, par conséquent, elles contournent de nombreuses préoccupations
liées à l’endogénéité et à la spécification du modèle. Elles sont basées sur un nombre limité d’hypothèses,
souvent testables, et ont une validité interne élevée. Par contre, il faut être conscient des limites de ces
méthodes. Par exemple, si l’on détecte un impact à un niveau local, cette preuve ne peut être étendue à toutes
les régions qu’avec beaucoup de précautions, à cause de la faible validité externe des résultats. Malgré tout,
l'évaluation d'impact contrefactuelle est de plus en plus considérée comme un outil essentiel pour la prise de
décision publique sur les politiques régionales, dans la mesure où elle permet d'établir si un programme
public fonctionne. Dans le même temps, elle fait également l'objet de recherches méthodologiques et
empiriques de pointe justifiées par la difficulté de prendre correctement en charge la variable spatiale dans
son contexte.
Le fait que l'intervention politique soit déclinée dans des lieux spécifiques et que ces lieux aient une
localisation géographique constitue une source de discontinuité qui peut être utilisée pour identifier les effets
causaux de la politique. En effet, il est possible d’utiliser la « différenciation spatiale » pour comparer les
régions traitées et les régions non traitées, soit avec des méthodes de « regression discontinuity resign »
(CERQUA et PELLEGRINI 2017), soit avec appairage selon la méthode de « propensity score matching »
(BECKER et al. 2012).
8
L’EIC dans l’espace peut se révéler difficile à cause d’un certain nombre de problèmes qui doivent être
considérés dans les modèles : débordements spatiaux, hétérogénéité, intensité de traitement. Le
développement économique régional dépend non seulement des caractéristiques régionales, notamment liées
aux facteurs de production, mais aussi des caractéristiques des régions voisines, de la structure de la
connectivité spatiale des régions et de la force de la dépendance spatiale. La présence d'une interaction
spatiale implique que les subventions dans une région affectent également les régions contiguës. Dans ce cas,
la méthode standard utilisée pour l'évaluation contrefactuelle ne peut pas être utilisée : l'hypothèse de valeur
de traitement unitaire stable (stable unit treatment value assumption - SUTVA) dans le modèle causal de
RUBIN (1974) n'est pas valide et d'autres méthodes d'évaluation économétrique doivent être utilisées pour
mesurer l’impact en présence de dépendance spatiale (DE CASTRIS et PELLEGRINI 2015). En général on peut
prévoir que les retombées spatiales peuvent représenter un effet multiplicateur de l’effet des politiques
régionales.
L’hétérogénéité des territoires constitue un obstacle dans l’EIC à partir du moment où l’on n’arrive pas à la
saisir proprement par les variables employées pour l’appairage. Ceci peut être le cas, par exemple, pour les
politiques territoriales (NEUMARK et SIMPSON 2014) qui visent à résoudre des situations où les défaillances
du marché ont engendré une stratification de problématiques sociales et économiques difficiles à représenter.
Une source de différentiation qui est très importante dans l’évaluation spatiale des politiques est la capacité
d’absorption, c’est-à-dire la capacité du système gouvernemental local à absorber les financements et à
canaliser les fonds vers des investissements productifs (BECKER ET AL 2013). Cet argument pose la question
de l’intensité de traitement, parce qu’il arrive souvent que les régions les plus défavorisées soient la cible de
politiques de soutien très intenses. Les analyses dose-réponse, qui consistent à évaluer le changement induit
par une plus ou moins grande quantité de financements ou de services reçus (par exemple CERQUA et
PELLEGRINI, 2017; FERRARA et al 2017) alertent sur le fait que l’effet marginal de l’argent perçu est
décroissant et peut même devenir négatif en raison de la capacité d’absorption limité.
-4-
Observer, mesurer, évaluer les impacts sur les territoires, tirer des
leçons
Les évaluations permettent aux décideurs d'évaluer l'optimisation des ressources allouées à un projet et
d'apporter des modifications à celui-ci en conséquence. Les recherches empiriques menées dans le cadre de
ce numéro spécial montrent que, bien souvent, les politiques déployées semblent avoir des impacts
différenciés en fonction des territoires ou des personnes traité(e)s. Il regroupe un éventail large de réflexions
sur les méthodes d’évaluation pour en tirer des leçons aussi bien du côté des chercheurs que des décideurs.
Notre approche se voulait à la fois (i) réflexive, (ii) empirique et (iii) inductive. Réflexive car nous avons
guidé les auteurs dans une démarche de réflexion critique des méthodes qu’ils ont utilisées. Empirique
puisqu’il s’agissait pour les auteurs de proposer un large éventail de pratiques d’évaluation de politiques
publiques qu’ils ont menés. Inductive vu que l’objet de ce numéro était de partir d’expérience de recherche
pour en tirer des leçons générales sur l’utilisation de méthodes spécifiques appliquées à des problèmes
particuliers.
Un premier ensemble de contributions s’articule autour de l’évaluation de la politique régionale européenne
avec des approches tantôt quantitatives, tantôt qualitatives. Les deux premiers papiers l’un rédigé par
Sébastien BOURDIN, l’autre par Salima BOUAYAD AGHA, Nadine TURPIN et Lionel VEDRINE
s’attachent à étudier l’efficacité de la Politique de Cohésion dont l’objectif affiché est d'améliorer la
compétitivité des régions et de corriger les déséquilibres régionaux. La méthode de la GWR (régression
géographiquement pondérée) employée par Sébastien BOURDIN permet de montrer les influences
spatialement différenciées de la Politique de la Cohésion en fonction des régions de l’UE. La méthode par le
score de propension généralisé privilégiée par les trois autres contributeurs permet quant à elle de mettre en
évidence les effets différenciés par domaine d’intervention de la politique régionale européenne sur le taux
de croissance du PIB et sur l’emploi. L’idée ici est d’estimer des fonctions de réponse à l’intensité des
transferts par domaine d’intervention (environnement productif, infrastructures, ressources humaines). Qu’il
s’agisse d’influence plus ou moins importante des Fonds européens en fonction des régions (hétérogénéité
spatiale d’impact) ou des domaines d’intervention (hétérogénéité thématique d’impact), les auteurs prônent
un fléchage des Fonds plus en adéquation avec les caractéristiques spécifiques des régions pour une
meilleure efficacité des enveloppes distribuées. Hans-Kristian COLLETIS-WHAL propose quant à lui une
Commenté [AT1]: C’est quoi?
9
évaluation qualitative et critique de la nouvelle formule de la Politique de Cohésion depuis 2014. Plus
spécifiquement, il évalue les répercussions de ce changement paradigmatique des Fonds européens vers une
approche plus territorialisée sur la conception et la mise en œuvre des politiques régionales, ainsi que sur
l’évaluation de leurs impacts en se basant sur une évaluation ex ante du programme opérationnel FEDER-
FSE 2014-2020 de la région Franche-Comté.
On retrouve ensuite des contributions sur l’évaluation de politiques spécifiques à impact territorial. Tout
d’abord, le nouveau positionnement paradigmatique de la Politique de Cohésion au travers de
l’implémentation de stratégies régionales de spécialisation intelligente (RIS3) a amené les régions
européennes à repenser leur stratégie régionale d’innovation (SRI). C’est justement ce que proposent
d’étudier Sana ELOUAER-MRIZAK et Fabienne PICARD au travers de leur article prônant la nécessité de
mettre en place de nouvelles formes d’évaluation des politiques d’innovation. Traditionnellement,
l’évaluation de l’impact d’une politique publique consistait à mesurer la variation d’un indicateur de résultat
relativement aux actions financées par l’intervention publique. Mais en matière de stratégie régionale
d’innovation cette approche montre ses limites. Les deux auteurs proposent donc une méthode qualitative
expérimentale d’évaluation des politiques régionales d’innovation en prenant comme exemple la région
Franche-Comté. Toujours en lien avec l’évaluation des politiques européennes, ici de développement rural,
Dominique VOLLET et Christel BOSC proposent une méthode quantitative-qualitative de l’efficacité des
projets comme de leur gouvernance des programmes Leader. Pour ce faire, ils expérimentent une grille
originale d’analyse de la valeur ajoutée territoriale structurée autour de quatre composantes (ancrage
territorial, intersectorialité, coordinations entre acteurs et caractère transversal du projet de développement
territorial) en prenant l’exemple du pays d’Aurillac. Là encore, les conclusions des auteurs rejoignent celles
d’autres contributeurs de ce numéro en insistant sur le rôle du contexte local comme facteur clé de la plus ou
moins grande réussite/efficacité des programmes déployés. Balázs KOTOSZ, Marie-France GAUNARD-
ANDERSON et Miklós LUKOVICS nous présentent les résultats d’une étude portant sur l’impact économique
local d’une institution d’enseignement supérieure à partir d’une analyse comparative de l’Université de
Szeged (Hongrie) et de l’Université de Lorraine (France). Les auteurs nous livrent une réflexion très riche
sur les problèmes et limites liés à l’évaluation tels que la séparation de l’effet net et brut, l’identification des
missions de l’université, le choix de l’échelle territoriale, le choix du modèle statistique, l’estimation des
impacts induits et catalytiques. Enfin Claire DUJARDIN, Virginie LOUIS et Florian MAYNERIS étudient
l’impact de la politique wallonne des Pôles de compétitivité sur les performances économiques des
entreprises financées. L’analyse se base sur des micro-données d’entreprises couvrant l’ensemble des
entreprises wallonnes et bruxelloises en recourant à des doubles et triples différences et à des méthodes de
matching. Leur stratégie méthodologique leur permet de solutionner les biais de sélection et de simultanéité.
Pour terminer, on retrouve dans ce numéro trois réflexions sur les méthodes, concepts et problèmes liés à la
mise en place de méthodes d’évaluation en fonction de politiques spécifiques. Gabriel COLLETIS et Maryse
SALLES mêlent deux points de vue (science économique et science informatique) pour proposer un outil
méthodologique destiné à améliorer les méthodes d’évaluation des politiques. Après avoir identifié plusieurs
difficultés de l’évaluation, les auteurs explicitent leur outil DPN (doxai-principes-normes) qui vise à révéler
les chaînes qui relient les visions du monde (paradigmes, valeurs) aux indicateurs d’évaluation, en passant
par le niveau structurant des principes. Un exemple d’application sur l’ex-Région Midi-Pyrénées est ensuite
présenté et débouche sur des propositions d’indicateurs pour l’évaluation des politiques de développement
économique territorial. Maurice BASLE propose une réflexion sur les représentations conventionnelles des
logiques d’action publique. Ces dernières constituent le langage partagé par les acteurs publics et les
évaluateurs, indispensable aux interrogations sur la faisabilité et la fiabilité des résultats des évaluations.
L’auteur montre qu’un indicateur de confiance dans les résultats créé souvent du flou dans les résultats
évaluatifs mais ceci peut augmenter leur acceptabilité, favorisant ainsi l’utilisation des résultats des
évaluations. Enfin, Elena RAGAZZI et Lisa SELLA s’intéressent à la question de la fiabilité des données.
Elles présentent un travail de validation d’une base de données complexe comparée à une enquête plus
classique à partir d’un exemple sur une politique de formation du capital humain en Italie. Elles concluent
qu’il existe une grande différence entre les indicateurs calculés sur les données récoltées à travers l'enquête et
ceux calculés à partir des communications obligatoires (base de données COB).
-5-
Pour une évaluation ouverte des politiques régionales
10
Dans un contexte où les contraintes budgétaires des collectivités territoriales sont fortes, les investissements
consentis doivent, plus que jamais, générer des effets sur le développement territorial. De fait, il est devenu
fondamental (et pas seulement d’un point de vue règlementaire), d’évaluer si les effets escomptés sont au
niveau des attentes. Pourtant, l’examen de l’efficacité des dispositifs déployés est parfois difficile à accepter
de la part des gestionnaires dont le travail est évalué. L’évaluation est souvent perçue comme longue,
complexe et peut avoir une connotation négative (contrôle, jugement, processus lourd, procédurier).
Néanmoins, mener de telles démarches qui se concentrent sur les effets causaux devrait améliorer l’efficacité
(le rapport entre les résultats obtenus et les objectifs fixés par les décideurs) et l’efficience (l’optimisation
des outils/moyens mis en œuvre pour obtenir un résultat) des politiques publiques de développement
territorial. Cela aiderait les futurs décideurs/gouvernements à décider de maintenir, supprimer ou réaménager
leurs politiques.
Nous pensons que l’évaluation des politiques de ce type doit être décentralisée et réalisée par des tierces
personnes/tiers organismes extérieur(e)s aux institutions les ayant mises en œuvre. En conséquence,
l’évaluation devrait être réalisée par la communauté académique (et plus largement non gouvernementale)
dans un schéma d’évaluation ouverte. Dans ce cadre, il semble aussi important d’intégrer un troisième
« acteur » en plus des élus-décideurs et des chercheurs qui est à la fois opérateur et bénéficiaire des dites
politiques : la société civile. Conçue au sens large, elle fait référence tout aussi bien aux institutions de
surveillance/contrôle des politiques (tels que les Conseils de développement ou les CESER) qu’aux citoyens
(constitués en associations ou non). De fait, à l’avenir, il semblerait souhaitable, lorsque les choix
méthodologiques le permettent, de l’intégrer dans la démarche d’évaluation, y compris dans la construction
de la démarche et la définition des indicateurs/critères de réussite. Une vision où la société au sens large,
profitant (ou subissant) des actions mise en place par la politique, serait aussi partie prenante active de leur
design et de leur évaluation, ne serait pas seulement souhaitable, mais pourrait aussi devenir la base d’une
pratique évaluative de qualité. En effet son inclusion dans le processus de gestion des politiques pousserait
les décideurs à proposer une définition des objectifs plus claire et une explicitation des moyens par lesquels
on pense les atteindre, ce qui augmenterait la faisabilité de l’évaluation des résultats et son rôle dans la prise
de décisions (evidence based policy making). L’approche participative permettrait également de fédérer les
parties prenantes des projets et assurerait une adhésion à des objectifs communs, fixés collectivement dans le
but de pouvoir évaluer s’ils sont atteints à l’échéance définie. Dans ce cadre, l’approche scientifique
légitimerait la démarche globale et apporterait des éléments objectifs et de prise de hauteur.
Un obstacle majeur à une telle approche de l'évaluation est, encore une fois, la disponibilité des données.
Bien souvent, les gouvernements ont encore du mal à mettre à disposition des données fines, dont la qualité
est vérifiée, permettant de mesurer de manière détaillée et complète les politiques. La mise en place d’un
modèle d'évaluation plus ouvert nécessiterait une information de très bonne qualité, à enregistrer à toutes les
étapes du processus d'élaboration des politiques, et réclamerait une implication des chercheurs dans la
confection même du dispositif de collecte des données. De plus, l'utilisation de ces données à des fins
d’évaluation des impacts exige idéalement que le gouvernement dispose d'informations détaillées sur le
processus décisionnel afin de comprendre les objectifs réels et sous-jacents des politiques pour mieux
appréhender leur efficacité.
Dans un souci de transparence, les informations sur les politiques devraient être disponibles
systématiquement, qu'elles soient une réussite ou un échec. Malgré tout, les gouvernements restent réticents à
le faire. Une raison légitime de la résistance à la transparence réside dans le fait que certaines informations
peuvent être confidentielles (plus encore lorsqu'elles concernent des individus ou des entreprises que des
domaines généraux d’activités). Heureusement, les ministères et les organismes statistiques semblent être de
plus en plus enclins à trouver des mécanismes pour contourner ce problème particulier. Des dispositifs
d’intelligence économique font aujourd’hui en sorte que les données soient « publiquement » disponibles
dans un environnement de données sécurisé avec un accès contrôlé et des règles de divulgation détaillées.
Néanmoins, ce type de mécanisme représente un certain coût pour maintenir ces données et y donner accès.
Aussi, du côté des chercheurs, on peut observer un biais de publication (CALOFFI et al 2016), qui empêche la
transparence dans l’évaluation des politiques. En effet, il y a une plus grande probabilité de donner une large
diffusion des résultats de recherches qui montrent un impact positif. Seule une minorité de travaux
empiriques publiés montre des résultats négatifs ou concluent à un effet nul des politiques évaluées, car les
résultats statistiquement significatifs sont traités plus favorablement par les chercheurs mêmes, par les
autorités qui ont commandé la recherche, par les évaluateurs et les éditeurs.
Un autre obstacle non négligeable régulièrement recensé est celui du décalage entre le temps de l’évaluation
et le temps du politique. Pour effectuer leurs analyses, les chercheurs doivent disposer de données sur la
11
politique et d’une série de variables de résultats (par exemple la performance de l'entreprise, le niveau
d’employabilité, le taux de croissance d’une région, etc.) pour un nombre approprié de zones géographiques.
Or, les données sur les résultats ne sont généralement disponibles qu'avec un décalage de plusieurs années,
ce qui complique l'interaction entre l'évaluation et la formulation des politiques (les décideurs travaillent
souvent sur des échelles de temps plus courtes). De plus, une évaluation plus minutieuse nécessite des coûts
initiaux plus importants en termes de collecte systématique de données et une analyse plus approfondie. Les
impératifs politiques de montrer des résultats à court terme peuvent facilement passer outre le désir des
responsables d'avoir une vision à plus long terme de l'impact des politiques dont ils sont responsables.
Certaines de ces questions découlent de conflits fondamentaux de compréhension entre les chercheurs et les
décideurs. Dans de nombreuses situations l'élaboration de politiques fondées sur des croyances ou des
principes l'emporte sur la prise de décision factuelle. En somme, côté décideurs, patience et transparence font
plus que force ni que rage.
En 2009, Antoine Bailly constatait que, dans les années 1960, le fossé entre la science régionale académique
et le monde des décideurs était loin d’être aussi large qu’il ne l’est aujourd’hui. Côté chercheurs, nous
devons donc relever le difficile défi de la vulgarisation de nos travaux de recherche en évaluation des
politiques publiques. Car rares sont les élus-décideurs enclins à lire nos articles scientifiques surtout
lorsqu’ils sont très formalisés – pourtant riches d’informations pouvant les éclairer. Pour nous chercheurs, il
est donc devenu indispensable de communiquer au grand public nos travaux, la vulgarisation ne doit pas être
un gros mot, d’autant plus qu’elle fait toujours plus partie des exigences dans l’évaluation de nos dépôts de
dossier de subventionnement de la recherche.
Heureusement, pour les chercheurs, même si nous ne réussissons pas à changer le monde, améliorer notre
compréhension de la façon dont le monde fonctionne peut, nous l'espérons, récompenser nos efforts. La
Science Régionale a un rôle à jouer dans l’évaluation des politiques publiques de développement territorial, à
nous de le démontrer maintenant. Ce numéro espère y contribuer en posant des jalons importants et en
contribuant à l’avancée de la réflexion sur ces questions.
Je pense que ces deux derniers paragraphes sont à revoir, pour bien balancer les deux populations : décideurs
et chercheurs FAIT
ABBRING J-H, HECKMAN J-J (2007) Econometric evaluation of social programs, part III: Distributional
treatment effects, dynamic treatment effects, dynamic discrete choice, and general equilibrium policy
evaluation. In in HECKMAN J-J, LEAMER E-E. eds Handbook of Econometrics, (6): 5145-5303.
ACKERMAN F, HEINZERLING L (2004) Priceless: On Knowing the Price of Everything and the Value of
Nothing. The New Press.
ADLER M-D, POSNER E-D (2006) New Foundations of Cost Benefit Analysis. Harvard University Press.
ANGRIST J D, PISCHKE J-S (2010) The credibility revolution in empirical economics: How better research
design is taking the con out of econometrics. The Journal of economic perspectives, 24(2), 3-30.
BAILLY A (2009) La science régionale en perspective. Géographie, économie, société, 11(1), 1-7.
BALDWIN R, FORSLID R, MARTIN P. (2005) Economic geography and public policy. Princeton University
Press.
BAUMONT C, ERTUR C, LE GALLO J. (2002) Estimation des effets de proximité dans le processus de
convergence régionale: une approche par l'économétrie spatiale sur 92 régions européennes (1980-1995).
Revue d’Économie Régionale & Urbaine (2) : 203-216.
BECKER S-O, EGGER P.-H, VON EHRLICH M. (2012) Too much of a good thing? On the growth effects of the
EU's regional policy. European Economic Review, 56(4), 648-668.
BECKER S-O, EGGER P-H, VON EHRLICH M. (2013) Absorptive Capacity and the Growth and Investment
Effects of Regional Transfers: A Regression Discontinuity Design with Heterogeneous Treatment Effects.
American Economic Journal: Economic Policy, 5(4):29-77.
12
BENATI I, LAMONICA V, (2014) Une expérience d'intégration entre analyse quantitative et qualitative:
l’évaluation de la formation professionnelle en Région Piémont. Working Paper Cnr-Ceris, N° 13/2014
BERRIET-SOLLIEC M, DAUCE P, LEON Y., SCHMITT B. (2001) Vers un indicateur de croissance économique
locale pour l'évaluation des politiques de développement rural. Revue d’Économie Régionale & Urbaine (3) :
415-440.
BONNAFOUS A, MASSON S. (2003) Evaluation des politiques de transports et équité spatiale. Revue
d’Économie Régionale & Urbaine (4) : 547-572.
CALOFFI A, MARIANI M, STERLACCHINI A. (2016) Valuating public supports to the investment activities of
business firms: A meta-regression analysis of Italian studies. CREI Working Paper no. 1/2016
http://host.uniroma3.it/centri/crei/pubblicazioni/workingpapers2016/CREI_01_2016.pdf
CARD D, KLUVE J., WEBER A. (2010) Active labour market policy evaluations: a meta-analysis. The
Economic Journal (120) : 452-77.
CERQUA A, PELLEGRINI G. (2017) Are we spending too much to grow? The case of Structural Funds.
Journal of Regional Science, (forthcoming).
COSTES N, KOPP P., PRUD’HOMME R. (2009) Politique parisienne des transports et accessibilité des emplois
en Île-de-France: le coût régional d'une politique locale. Revue d’Économie Régionale & Urbaine (3): 427-
448.
CRESWELL J-W. (2003) Research design: Qualitative, quantitative, and mixed methods approaches (2nd
ed.). Thousand Oaks, CA: Sage.
DASGUPTA P., PEARCE D-W (1972) Cost-benefit analysis: Theory and practice. Macmillan, Basingstoke.
DAVENPORT T-H, HARRIS J-G (2007) Competing on Analytics: The New Science of inning. Harvard
Business Press.
DAVENPORT T-H, HARRIS J-G, MORISON R. (2010) Analytics at Work: Smarter Decisions, Better Results.
Harvard Business Press.
DE CASTRIS M, PELLEGRINI G. (2015) Neighborhood effects on the propensity score matching. CREI
Working Papers, n.5/2015, Universita Roma Tre
DOLLERY B, WORTHINGTON A. (1996) The Evaluation of Public Policy: Normative Economic Theories of
Government Failure. Journal of Interdisciplinary Economics (2) : 27-39.
FALAVIGNA G, RAGAZZI E, SELLA L (2015) Gender inequalities and labour integration. An integrated
approach to vocational training in Piedmont. Journal of Economic Policy; XXXI (1), 97-120.
FERRARA AR, MCCANN P., NISTICÓ R. (2017) Assessing Cohesion Policy effects on EU regional well-
being: a dose-response function to the transfers’ intensities, 57ème colloque ERSA 29 août-1 septembre,
Groningen
GASSIAT A, ZAHM F (2010) Mobiliser des indicateurs pour évaluer les effets propres des mesures agro-
environnementales en France. Revue d’Économie Régionale & Urbaine (3) : 439-471.
GIBBONS S, OVERMAN H-G (2012) Mostly pointless spatial econometrics? Journal of Regional Science,
52(2), 172-191.
HECKMAN J-J, LALONDE R-J, SMITH J (1999) The Economics and Econometrics of Active Labour Market
Programs. In: Ashenfelter O, Card D (Eds.), The Handbook of Labour Economics, vol. 3. Amsterdam:
North-Holland.
HECKMAN J-J, VYTLACIL E-J (2007) Econometric evaluation of social programs, part I: Causal models,
structural models and econometric policy evaluation, In Heckman J-J, Leamer E-E. eds Handbook of
Econometrics. (6) : 4779-4874.
HECKMAN J-J, VYTLACIL E-J (2007) Econometric evaluation of social programs, part II: Using the marginal
treatment effect to organize alternative econometric estimators to evaluate social programs, and to forecast
their effects in new environments, In Heckman J-J, Leamer E-E. eds Handbook of Econometrics. (6) : 4875-
5143
IMBENS G-W, WOOLDRIDGE J-M (2009) Recent developments in the econometrics of program evaluation.
Journal of Economic Literature 47(1) : 5-86.
13
LIBERATORE M, LUO W (2010) The Analytics Movement: Implications for Operations Research. Interfaces
40:313-324
LATASTE F, BERRIET-SOLLIEC M, TROUVE A, LEPICIER D (2012) Le second pilier de la Politique Agricole
Commune: une politique à la carte. Revue d’Économie Régionale & Urbaine (3) : 327-351.
LE GALLO J (2004) La dynamique des disparités régionales dans l'Union Européenne, 1980-1995. Revue
d’Économie Régionale & Urbaine (4) : 491-512.
MAINERI E (2009) Aide multicritère à la décision: démarche pour une étude de territoire transfrontalier de
proximité au sein de l'Europe. Revue d’Économie Régionale & Urbaine (1) : 75-103.
MARTINI A (2012) Opportunities and Limitations of Counterfactual Impact Evaluation of Structural Funds.
In Olejniczak K., Kozak M., Bienias S., Evaluating the Effectiveness of Regional Interventions. A Look
Beyond Current Structural Funds' Practice, 2012, Ministry of Regional Development.
MORAN M, REIN M, GOODIN G-E (2006) The Oxford Handbook of Public Policy. Oxford University Press,
Oxford.
NAS T-F (1996) Cost-benefit analysis: Theory and application. Sage Publications.
NEUMARK D, SIMPSON H (2014) Place-Based Policies. NBER Working Paper No. 20049
RAGAZZI E (2014) Effectiveness evaluation of training programmes for disadvantaged targets. Procedia -
Social and Behavioral Sciences (141): 1239-43.
RAGAZZI E, SELLA L (2013) L'efficacité des politiques de formation: méthodes pour l'évaluation de l'impact.
50ème Colloque de l'ASRdLF, Mons 8-11 juillet 2013. Publié comme Working paper Cnr-Ceris 14/13.
http://www.ceris.cnr.it/index.php?option=com_content&task=view&id=142&Itemid=64
RAGAZZI E, SELLA L (2016) Migration and work: the cohesive role of vocational training policies. Mondi
Migranti. Rivista di studi e ricerche sulle migrazioni internazionali (1) 1/2016: 139-160.
RUBIN D-B (1974) Estimating causal effects of treatments in randomized and nonrandomized studies.
Journal of Educational Psychology (5): 688-701.
SELLA L (2014) Enhancing Vocational Training Effectiveness Through Active Labour Market Policies.
Procedia - Social and Behavioral Sciences (141): 1140-44.
SMIT H-T-J, TRIGEORGIS L (2004) Strategic Investment : Real Options and Games. Princeton University
Press.
TRIGEORGIS L (1990) A Real Options Application in Natural Resource Investments. Advances in Futures
and Options Research (4):153-164.
VIROL S (2008) L'intégration régionale des espaces en Europe: un processus tridimensionnel. Revue
d’Économie Régionale & Urbaine (5): 701-724.
WEISS C-H, (1997) Theory-based evaluation: Past, present, and future. New directions for evaluation (76):
41-55.
WHITE H, (2009) Theory-Based Impact Evaluation: Principles and Practice. International Initiative for
Impact Evaluation http://www.3ieimpact.org/admin/pdfs_papers/Working_Paper_3.pdf.WHITE H (2011)
Impact evaluation - The experience of the Independent Evaluation Group of the World Bank. Independent
Evaluation Group, The World Bank.
... D'autres travaux ont mis en évidence que les inégalités régionales s'expliquaient par la limitation des ressources financières des gouvernements et par l'aggravation des difficultés auxquelles certains territoires « laissés pour compte » (Rodriguez-Pose, 2018) sont confrontés, interrogeant ainsi la capacité des politiques publiques à pouvoir faire infléchir ces inégalités (Bourdin et Ragazzi, 2018). A la fin de la révolution tunisienne (14 Janvier 2011), les politiques d'aménagement ont été menées vers les territoires périphériques laissés pour compte. ...
Article
Full-text available
Cet article analyse la distribution de l’emploi du secteur industriel en Tunisie à l’échelle de délégations sur la période 2003-2018 et montre dans quelle mesure les politiques d’aménagement appliquées au lendemain de la révolution du 14 Janvier 2011a réduit les inégalités régionales dans ce secteur. Notre étude montre l’entrée de la Tunisie dans une nouvelle étape de développement caractérisée par une spécialisation régionale vers les industries de haute technologie. Il est analysé également l’évolution de la concentration spatiale de l’emploi à partir d’une étude exploratoire des données spatiales (ESDA). Nos résultats montrent que malgré la concentration de l’emploi global, qui a baissé après la révolution, on identifie toujours un regroupement local de l’emploi dans la région du littoral. L’étude révèle aussi que la concentration de l’emploi des industries de basse technologique a reculé après la révolution et s’est propagée sur plus de délégations alors que la concentration spatiale des industries de moyenne et de haute technologie a augmenté.
... Source : enquête Tetis/CEE-M, 2018.L'apport spécifique des IDS concernant l'évaluation des politiques publiques tient bien évidemment à une meilleure élaboration et mise en oeuvre des politiques de planification territoriale, et plus généralement d'aménagement du territoire, mais aussi aux possibilités de spatialisation des effets de la plupart des politiques. Par exemple,Bourdin et Ragazzi (2018) identifient les apports suivants de la géomatique à l'ingénierie territoriale : -l'accessibilité, la fiabilité et la comparabilité des bases de données spatialisées pour observer et mesurer le plus précisément possible les variables ; -la prise en compte des spécificités du territoire et des effets de localisation et de distance ; -les possibilités d'identification et d'évaluation de l'impact d'une politique par rapport à des groupes de contrôle ; -l'aide à la définition de l'échelle pertinente et l'identification des effets de voisinage ; -la spatialisation des facteurs déterminants et l'identification des disparités territoriales ; -l'étude de la connectivité et des dépendances régionales ou des effets multiplicateurs ; -la mise en oeuvre facilitée d'évaluations décentralisées et de suivi dans le temps, notamment certains effets environnementaux ; -la prise en compte des différentiels d'impacts en fonction des types d'écosystèmes concernés ; -certains effets sociaux, notamment d'inégalités territoriales en matière d'allocation ou d'accès à des ressources, d'exposition à des risques.Ces atouts sont d'autant plus importants que les nouveaux outils issus de l'information géographique et satellitaire combinés aux progrès des NTIC permettent une précision de plus en plus grande. De plus, les processus d'innovation et de décision dans les territoires évoluent de plus en plus vers des formes d'apprentissages collectifs entre acteurs institutionnels et acteurs locaux. ...
... Signalons aussi des effets d'image auprès des exploitants forestiers, qui permettent de renforcer les conditions de transparence de l'action publique et par-là qui oeuvrent en faveur d'une meilleure acceptabilité du contrôle et plus généralement d'une meilleure qualité des politiques publiques de gestion forestière et de développement territorial. En effet par rapport aux limites de l'évaluation des politiques publiques identifiées parBourdin et Ragazzi (2018), le recoursà l'information satellitaire peut faciliter l'observation plus précise et le contrôle de certaines variables, la spatialisation des facteurs déterminants, l'identification des connectivités et des disparités territoriales pour rendre compte des spécificités des territoires et des effets de localisation et de distance, voire pour définir de nouvelleséchelles pertinentes et renforcer les possibilités d'évaluation et de suivi décentralisé.Dans le contexte actuel d'application des principes et des outils de management public, l'analyse des gains de productivité et des appuisà l'innovation générés par les infrastructures de données et les systèmes d'information du type de GEOSUD ouvre de nouveaux champs de recherche dans un contexte de développement des partenariats publics et privés et de l'économie numérique(Algan et al., 2016). Ce type d'approche encore peu développée se heurte cependant aux difficultés de mesure de processus de changement a la fois complexes et dynamiques au sein desquels les différentiels avec et sans information sont difficilesà objectiver et plus encoreà mesurer. ...
Thesis
The development of spatial data infrastructures (SDIs) is hampered by several barriers: form economical, technical to organizational and financial, the hurdles are numerous. This thesis attempts to answer some issues related to the socio-economic aspects of SDIs. It focuses on several topics concerning the SDI economic valuation and impact measurement. The aim has been fivefold: i) to propose a business model for this particular type of infrastructure in order to meet a sustainable financing scheme; ii) to perform an economic valuation of the geospatial information available through the SDI platform, the high resolution (HR) satellite images; iii) to examine the role of a SDI as an information structure; iv) to identify the economic impacts of a SDI; v) to study the stability of the satellite image markets through a SDI.In this thesis, a challenge consisted of approaching the business models field into the implementation of SDIs. The relevance of a two-sided market approach for analyzing a SDI dynamics was tested through a platform management process, in order for a SDI to transition to a self-sustaining funding mechanism. We explained how a SDI through its platform could ensure continuous interaction between the different components, represented by the developers of spatial data applications and the potential users of such data.It was important that the economic valuation questions concerning the SDI, need to be refined in parallel with the reflections about the business model of this type of infrastructure. In our context, we examined the economic value of the HR satellite images as perceived by the direct users of a SDI platform. The valuation study came to assess the importance of the satellite imagery as a support for the territorial planning and development economics. In a context of open and distributed innovation within the networks, it offered elements allowing to establish pricing scenarios on a next level, in order to sustain the SDI platform business model in the long run.In addition, we examined the role of a SDI as an information structure. We applied our findings to the clear-cut forest control case in France. Based on heterogeneous information received, we elaborated a decision-making policy in order to help a decision maker better model his decision. An original approach was introduced, articulating between two existing theories: the classic method of Blackwell and the Entropy theory. We advanced a two-level methodological context: The choice of the information structure with the most informative power and the detection of the optimal action.Similarly, by considering the clear cut example, we analyzed the socio-economic impacts of a SDI based on satellite imagery. A detailed analysis of the geospatial information acquired through the SDI, allowed to characterize the public policies involved in this field, in order to examine the impacts related the SDI ecosystem. In a second step, some of these impacts have been assessed in more details.Finally, these valuation studies opened a window to examine the market demand stability through the SDI. The spatial data infrastructures, which constitute the direct link between the users and the large Earth Observation (EO) industry, have a leading role in establishing market opportunities. While the users are becoming primary key-drivers for spatial data technology, they contribute through their demand of raw data and services, to its development and growth. We approached the stability of different satellite image markets through two independent French SDIs, by using the Records theory. We implemented an innovative method and provided additional elements for a better comprehension of the EO data management.
... Signalons aussi des effets d'image auprès des exploitants forestiers qui permettent de renforcer les conditions de transparence de l'action publique, et par là qui oeuvrent en faveur d'une meilleure acceptabilité du contrôle et plus généralement d'une meilleure qualité des politiques publiques de gestion forestière et de développement territorial. En effet, par rapport aux limites de l'évaluation des politiques publiques identifiées parBourdin et Ragazzi (2018), le recours à l'information satellitaire peut faciliter l'observation plus précise et le contrôle de certaines variables, la spatialisation des facteurs déterminants, l'identification des connectivités et des disparités territoriales pour rendre compte des spécificités des territoires et des effets de localisation et de distance, voire pour définir de nouvelles échelles pertinentes et renforcer les possibilités d'évaluation et de suivi décentralisé. ...
Article
Cet article propose un cadre d'évaluation des impacts économiques des Infrastructures de Données Géographiques et Spatiales (IDGS), à partir de l'exemple de GEOSUD et des cartes de coupes rases relatives à la gestion des forêts. L'évaluation est réalisée à partir d'une enquête en ligne auprès des services de l'État chargés du contrôle des coupes rases. Les effets portent sur les économies de coûts et de productivité, la valeur ajoutée créée à l'échelle de la chaine de valeur liée à ces cartes et sur les processus d'innovation au sein des adhérents de GEOSUD. D'autres effets qualitatifs sur les propriétés des politiques forestières et plus généralement sur les dynamiques de développement territorial sont aussi appréhendés. Au total il apparaît que pour un euro dépensé pour le fonctionnement de l'IDGS (hors investissement initial), la valeur ajoutée créée directement et indirectement s'élève au maximum à 63€ et les coûts de transactions évités à 24 €.
... Au regard du large spectre de mise en oeuvre systémique de l'EC, le travail d'évaluation consiste à identifier, quantifier et mesurer un ensemble d'indicateurs d'impacts directs et indirects en fonction des projets, bien qu'il soit difficile de disposer d'indicateurs quantitatifs, notamment en ce qui concerne l'évaluation de la gouvernance. Les travaux de mesure d'impacts étant largement tributaires des données (Bourdin et Ragazzi, 2018), on comprend que les études d'impacts de l'EC restent encore peu développées. En effet, il existe une grosse lacune dans la disponibilité de données harmonisées à une échelle fine. ...
Article
Full-text available
L’économie circulaire, nouveau modèle économique respectueux de l’environnement, alternatif à l’économie linéaire, est souvent présentée comme une opportunité de développement soutenable au niveau local, et ses démarches de plus en plus expérimentées dans les territoires, dans un contexte de transition socio-écologique. Cependant, la question de sa territorialité et de ses liens avec le développement durable reste encore scientifiquement non stabilisée. Cet article propose un état de l’art sur le sujet de la dimension territoriale des démarches d’économie circulaire et cherche à évaluer comment elles peuvent constituer une opportunité de développement économique territorial et durable.
... Alors qu'avant l'objectif consistait à accroître les investissements et l'emploi dans les régions en retard, le nouvel objectif consiste à accroître la compétitivité territoriale de toutes les régions (Capello et al., 2008 ;Camagni et Capello, 2010 ;Gordon, 2011). Cette « place-based policy » (Bachtler, 2010 ;Bourdin et Ragazzi, 2018) ...
Article
Full-text available
The entrepreneurial context and its spatially differentiated influence on the level of regional development Studies in regional science increasingly suggest that the environment of newly created firms determines the scope of their value creation, and their local economic impact, even regional. In this paper, we question to what extent the differences in the entrepreneurial context contribute to explain the differences in the level of regional development. Our results suggest a spatial heterogeneity of the influence of the entrepreneurial context on regional development. Consequently, encouraging business creation is not enough, it is also necessary to create the favorable conditions for creating companies whose sustainability and job creation rates are high. Classification JEL: C21, C26, R58
Article
The French regions and the evaluation of public policies: between differentiation and convergence – The evaluation of public policies is a major political and social issue in constant evolution. The French regions pioneered the implementation of evaluation but the place and the role they dedicate to this function strongly changed in recent years. On the basis of this observation, this article aims to analyze the variables of change that led to this new configuration. More broadly, this article draws up a panorama of the institutionalization, of the sustainability and of the weakness of policy evaluation within regional governments.
Article
Full-text available
The audit is part of the system of permanent control and evaluation within large organizations. For a long time confined to the private sector, the role of internal auditor increasingly penetrates of the public sector. Since then, the purpose of this work is to analyze the contribution of internal audit to improving the performance of Cameroonian public and parapublic enterprises. To achieve this, we adopted a quantitative methodological approach based on a survey of 80 public and parapublic enterprises (PPEs). At the end of the statistical analyses, the main results obtained show that internal audit, through certain characteristics such as the size of the internal audit service, the qualifications of its auditors, their level of experience and their degree of independence, influence positively and significantly improving the financial performance of Cameroonian PPEs. Given these results, it is important to recommend the practice of internal audit by professionals who respond more or less to the profile mentioned above in order to improve, if not guarantee, the financial performance of Cameroonian PPEs and obtain a value added.
Article
Full-text available
La Politique de Cohésion de l’UE a fêté ses vingt années d’existence en 2009. La mise sur pied de cette politique part du constat que les forces du marché ne sont pas nécessairement suffisantes pour réduire significativement les inégalités territoriales. L'UE a alors construit cet outil de solidarité financière entre États membres avec l'objectif d'améliorer la compétitivité des régions défavorisées et de corriger les déséquilibres régionaux. Pourtant, la littérature sur la question de l’efficacité des Fonds européens n’est pas unanime. Aussi, nous proposons d’analyser la Politique de Cohésion et son rôle dans la croissance régionale au travers d’une méthode développée en analyse spatiale, à savoir les BiLISA. Les résultats montrent que l’influence de la Politique de Cohésion est différenciée en fonction des régions de l’UE et met en évidence des effets de concentrations spatiales. Les variations spatiales de l’influence des Fonds européens sur la croissance économique des régions appellent des inflexions dans la Politique de Cohésion, en particulier en faveur d’une politique davantage territorialisée.
Article
We conduct an extensive sign-and-significance meta-regression analysis of counterfactual programme evaluations from Italy, considering both published and grey literature on policies supporting firms’ investments. We specify a multilevel model for the probability of finding positive effect estimates, also assessing correlation possibly induced by co-authorship networks. We find that the probability of positive effects is considerable, especially for weaker firms and outcomes that are directly targeted by public programmes. However, these policies are less likely to trigger change in the long run. See: https://rdcu.be/cyKVZ
Article
We evaluate whether the impact of EU Structural and Cohesion Funds (EUF) on Member States’ regional economic growth depends on the intensity of treatment, measured by the normalized amount of funds distributed in each region. We use an original data set that covers all the main sources of EUF and extend the regression discontinuity design to the case of continuous treatment. The results suggest an average positive effect on regional growth. The estimated conditional intensity-growth function is concave and presents a maximum value. Therefore, the exceeding funds could have been allocated to other lagging regions without reducing the effect on growth.
Article
Migration and work are truly connected notions in the European social model. Work is a pillar of active citizenship and a fundamental step in individuals’ self-construction. In such framework, vocational education and training (Vet) represent a twofold integration channel, combining both education and work paths. In Italy, the role of Vet is particularly important for first- and second-generation migrants, who are more likely to attend Vet courses than other education paths. However, Vet is commonly perceived like a segregation path, rather than like a port of entry to active citizenship and integration. The present work discusses the hypothesis of "subordinate integration"of migrants into the Italian Vet system. In particular, it examines the effectiveness of VT policies in fostering migrants’ employability. The results of a Cati survey on a representative sample of Piedmont VT students suggest no specific discrimination to the detriment of the immigrants. Moreover, Vet net impact proves to be significantly positive on migrants. Hence, immigrants’ participation to VT seems to denote a sort of "normalization strategy", rather than a subordinate integration scheme. Immigrazione e lavoro sono concetti intimamente interconnessi nel modello sociale europeo. Il lavoro e un pilastro della cittadinanza attiva e un passaggio fondamentale nel consolidamento della personalita individuale. In questa cornice, il sistema di istruzione e formazione professionale (IeFP) rappresenta un duplice canale di integrazione, combinando istruzione e lavoro. In Italia il sistema IeFP assume un’importanza particolare per gli stranieri di prima e seconda generazione, che vi accedono piu frequentemente rispetto ad altri percorsi educativi. Il sistema, pero, e percepito come un percorso di segregazione, invece di un canale per la cittadinanza attiva e l’integrazione. Il presente lavoro discute l’ipotesi di "Integrazione subordinata" degli immigrati nell’IeFP. In particolare, si esamina l’efficacia delle politiche FP sull’occupabilita dei migranti. Il risultati di un’indagine Cati su un campione rappresentativo di studenti della FP non evidenzia particolari discriminazioni ad danni degli stranieri. Inoltre, l’analisi di impatto netto ravvisa un effetto positivo e significativo della formazione sui migranti. Pertanto, la partecipazione degli immigrati all’IeFP rappresenta una "strategia di normalizzazione", piuttosto che un modello di "integrazione subordinata".
Book
The Oxford Handbook of Public Policy mines all the traditions of public policy. Public policy is the business end of political science. It is where theory meets practice in the pursuit of the public good. Political scientists approach public policy in myriad ways. Some approach the policy process descriptively, asking how the need for public intervention comes to be perceived, a policy response formulated, enacted, implemented, and, all too often, subverted, perverted, altered, or abandoned. Others approach public policy more prescriptively, offering politically-informed suggestions for how normatively valued goals can and should be pursued, either through particular policies or through alternative processes for making policy. Some offer their advice from the Olympian heights of detached academic observers, others as 'engaged scholars' cum advocates, while still others seek to instil more reflective attitudes among policy practitioners themselves toward their own practices. This Handbook's articles touch upon institutional and historical sources and analytical methods, how policy is made, how it is evaluated and how it is constrained. In these ways, the Handbook shows how the combined wisdom of political science as a whole can be brought to bear on political attempts to improve the human condition. The Handbook is one of The Oxford Handbooks of Political Science - a ten-volume set of reference books offering authoritative and engaging critical overviews of the state of political science.
Article
In the field of public policies there is a lot of interest in vocational training issues, because of spillovers in the labour market as well as on quality of life. Reports by the European Commission show that women are disadvantaged subjects in the labour market but, at the same time, they are more ambitious and achieve best results from an educational point of view. This paper aims to analyse Piedmont Region data on vocational training policies, focusing on the role of women in the labour market. The data refer to subjects who completed training courses in 2011 and our analysis is based on interviews, in order to evaluate the effects of training on the medium-term employment outcomes of trainees. A control sample is selected so as to evaluate the effect of training, with a specific focus on women. Probit models and average marginal effects (AMEs) allow estimating the net impact of training in the labour market. The results suggest that the employment gap between men and women is completely bridged in trainees, also when considering qualitative aspects of employment.
Place-based policies commonly target underperforming areas, such as deteriorating downtown business districts and disadvantaged regions. Principal examples include enterprise zones, European Union Structural Funds, and industrial cluster policies. Place-based policies are rationalized by various hypotheses in urban and labor economics, such as agglomeration economies and spatial mismatch-hypotheses that entail market failures and often predict overlap between poor economic performance and disadvantaged residents. The evidence on enterprise zones is very mixed. We need to know more about what features of enterprise zone policies make them more effective or less effective, who gains and who loses from these policies, and how we can reconcile the existing findings. Some evidence points to positive benefits of infrastructure expenditure and also investment in higher education and university research-likely because of the public-goods nature of these policies. However, to better guide policy, we need to know more about what policies create self-sustaining longer run gains.
Article
Researchers often estimate average treatment effects of programs without investigating heterogeneity across units. Yet, individuals, firms, regions, or countries vary in their ability to utilize transfers. We analyze Objective 1 transfers of the EU to regions below a certain income level by way of a regression discontinuity design with systematically varying heterogeneous treatment effects. Only about30 percent and 21 percent of the regions-those with sufficient human capital and good-enough institutions-are able to turn transfers into faster per capita income growth and per capita investment, respectively. In general, the variance of the treatment effect is much bigger than its mean. (JEL C21, F35, H23, H77, R11).