Performance Measurement in the Flemish Public Sector: a Supply and Demand approach

Abstract

Prestatiemeting is een integraal onderdeel van de publieke
sector. De laatste decennia nam de aandacht voor prestatie-informatie in de
publieke sector duidelijk toe. Dit was onder meer te wijten aan de
overheidshervormingen onder de vlag van het New Public Management. Het
historisch overzicht in deze studie toont echter aan dat de roots van
prestatiemeting heel wat verder terug gaan. Het meten van de prestaties van de
publieke sector is iets van alle tijden. Wel is het zo dat prestatiemeting
doorheen de tijd in steeds sterkere mate alle sectoren van de overheid
infiltreerde.
Deze studie streeft naar een beter begrip van
prestatiemeting in de publieke sector. De literatuurstudie toonde aan dat
prestatiemeting en prestatiemanagement vaak op een ondoorzichtige wijze worden
geoperationaliseerd, en vaak normatief worden ingevuld. Deze studie maakte een
duidelijk onderscheid tussen vraag en aanbod van prestatie-informatie. Met dit
onderscheid als uitgangspunt, werden vier onderzoeksvragen onderzocht. De
methodologie was een combinatie van survey, interviews en documentenanalyse.
1. Om welke redenen en onder welke condities zullen
organisaties overgaan tot meten? We formuleerden zes hypothesen waarom
organisaties meten. We maakten een onderscheid tussen de adoptie van
prestatiemeting enerzijds en de implementatie van prestatiemeting anderzijds.
2. Komen administratief aanbod en politieke vraag overeen,
en is er een verschil tussen beleidssectoren? Aan de hand van parlementaire
vragen gingen we na wat de kwantiteit en de kwaliteit van de match tussen vraag
en aanbod was. We vonden dat metingen in meer dan de helft van de vragen
terugkwam. Er waren significante verschillen tussen sectoren op het vlak van
het aantal en de focus van de indicatoren.
3. Hoe kan het gebruik van prestatie-informatie het design
van een meetsysteem bepalen? We maken een onderscheid tussen drie categorieën
van gebruik – onderzoek en leren, intern management en accountability. Deze
gebruikswijze beperken in toenemende mate de vrijheidsgraden van organisatie.
Dit heeft repercussies voor alle stappen in het productieproces.
4. Wat zijn de effecten van prestatiemeting op organisaties?
Onderzoekers hebben reeds heel wat effecten geïdentificeerd. Wat vaak ontbrak
was een empirische toetsing van deze effecten. In deze studie maakten we een
onderscheid tussen de meeteffecten en gedragseffecten. We maakten een
inschatting van de kans op verschillende gedragseffecten en verklaarden de
effecten door middel van het gebruik van prestatie-informatie. The PhD studies performance measurement in the public sector
organisations. We made a distinction between the production process of
performance information (the supply side) and the utilisation of
performance information (the demand side). Four research questions were
studied. (1) Why are organisations measuring performance? (2) Does
administrative supply and political demand match,
and is there a
difference between policy sectors? (3) What are the design
characteristics for different uses of performance information? And (4),
what are the effects of measurement on organisational behaviour? We
also included an extensive literature study and an historical overview
of measurement in the public sector.
A sample of conclusions is represented in this brief summary. The
historical study showed that measurement in the public sector is of all
times. Performance measurement as a concept is not a novelty of the New
Public Management Movement of the 1980s and 1990s. Yet, troughout time,
there has been an increasing integration of measurement in all aspects
of the public sector. Thus, although the conceptual design did not
change much, the quantity of measurement did alter.
The literature study showed, amongst others, that descriptions of
optimal peformance measurement do not relate measurement to a specific
demand/purpose. The underlying logic is that there is a 'one best
way' to design a performance measurement system. The third research
question of the doctoral thesis attempts to prove that the best way to
do performance measurement depends on the way of utilization.
The first research chapter, what makes organisations measure, tests six
hypotheses on why organisations would measure. We made a disctinction
between the adoption of measurement and the implementation of
measurement. One counterintuitive finding is that the lack of resources
is not affecting adoption of implementation. Many organisations
experience a lack of resources, in particular human resources. Some
cope with it, others do not.
The second research chapter looks into the administrative supply and
political demand of performance information. We found that the alleged
political desinterest in performance information is not reflected in
the
MP's questions. 52% of the questions ask for indicators on policy
issues. There are significant differences between policy sectors. We
look at some characteristics of the policy sector to explain these
differences.
The third research chapter looks at the system requirements for
different uses of performance information. We point to the
complementarities and contradictions in the design of a measurement
system.
The fourth research chapter looks at the effects of measurement. Again,
we coupled the effects to the use of information. The empirical
research did not point to accountability use driving out the use for
research
and learning. A multi track development thus is feasible.
Finally, we suggest some prospective directions for the study of
performance measurement. We propose to combine theories on organization
with theories on information, to reckognize more explicitly the
differences between policy sectors, and to use reform theories to explain macro dynamics. Doctor in de Sociale Wetenschappen OE_Instituut voor de Overheid Faculteit Sociale wetenschappen Faculteit Sociale wetenschappen Doctoral thesis Doctoraatsthesis

Full text

1
KATHOLIEKE UNIVERSITEIT LEUVEN
FACULTEIT SOCIALE WETENSCHAPPEN
Performance Measurement in the
Flemish Public Sector:
A Supply and Demand Approach
Wouter VAN DOOREN
Proefschrift tot het verkrijgen van de graad van
Doctor in de Sociale Wetenschappen
Nr. 96
Samenstelling van de examencommissie:
prof. dr. G. Bouckaert (promotor), prof. dr. M. Aristigueta (University of Delaware, U.S.A.),
prof. dr. M. Brans, prof. dr. P. Laegreid (University of Bergen, Norway), prof. dr. W. Moesen;
prof. dr. K. Roe (voorzitter), dr. J. De la Haye (secretaris)
2006

2
De verantwoordelijkheid voor de ingenomen standpunten berust alleen bij de auteur.
Gepubliceerd door:
Faculteit Sociale Wetenschappen - Onderzoekseenheid: Instituut voor de Overheid [IO], K.U.Leuven,
E. Van Evenstraat 2A - 3000 Leuven, België.
© 2006 by the author.
Niets uit deze uitgave mag worden verveelvoudigd zonder voorafgaande schriftelijke toestemming van de
auteur / No part of this book may be reproduced in any form without the permission in writing from the
author.
D/2006/8978/2

1
Preface
“We seem to be able to land on Mars, but not on Earth.” John Logsdon, director of the Space Policy
Institute, made a very accurate analysis when he referred to the crash landing of NASA’s Genesis
space probe in the Utah desert (8/9/2004). Yet, some clemency towards NASA is appropriate. To land
on both Mars ànd back on Earth is an immense undertaking. In Public Administration too, theoretical
discussions and practical applications often seem decoupled. This thesis is less ambitious. The main
goal was to put some significant steps forward towards a better understanding of performance
measurement and management in public administration. Therefore, middle range theorizing is
combined with a solid empirical foundation. There was no aspiration to reach Mars, but we did want to
get back on Earth.
Een doctoraat schrijf je niet alleen. Vooreerst wil ik Geert Bouckaert, promotor van deze thesis, willen
bedanken. Zijn onderzoekservaring, in het bijzonder rond prestatiemeting, vormde het fundament waar
ik op verder kon bouwen. Naast de intellectuele bijdrage, zou ik Geert ook willen bedanken voor zijn
inzet om het Instituut voor de Overheid uit te bouwen tot een echt kenniscentrum voor de overheid en
een professionele onderzoeksomgeving. Om te doctoreren in onze onderzoeksafdeling moet/mag je
geen einzelgänger zijn. Hierbij wil ook mijn collega’s bedanken voor hun steun en voor de levendige
discussies, soms over bestuurskunde en soms ook niet. In het bijzonder wil ik Miekatrien Sterck
bedanken, co-bureaugenoot, co-onderzoeker in het spoor financiën en prestatiemeting, en vooral mijn
officieuze co-promotor. Ik wil ook mijn familie en vrienden bedanken. Ik hoop dat ze niet al te veel last
gehad hebben van mijn doctoraatsplannen. Tenslotte wil ik Birgit bedanken om af en toe ook nog te
denken aan wat echt telt.

2
Table of contents
PART ONE: A PUBLIC ADMINSTRATION PERSPECTIVE ON
PERFORMANCE MEASUREMENT
1.THE CONTEXT OF PERFORMANCE MEASUREMENT 13
1.1. PERFORMANCE IN THE PUBLIC SECTOR 13
1.2. THE PROMISE OF PERFORMANCE IN THE PUBLIC SECTOR 16
1.3. MEASUREMENT OF PERFORMANCE IS A KEY FACET OF THE CONTEMPORARY PUBLIC SECTOR 17
1.3.1. Performance information is pivotal in public sector reform 17
1.3.2. Performance information plays a central role in public management. 19
1.3.3. Performance information plays a central role in public policy cycle. 20
1.4. PERFORMANCE MEASUREMENT RESEARCH IN FLANDERS 22
1.5. RESEARCH QUESTIONS 23
1.6. STRUCTURE OF THE TEXT 26
2. GENERAL FRAMEWORK: WHAT IS PERFORMANCE MEASUREMENT? 27
2.1. THE VOCABULARY OF PERFORMANCE MEASUREMENT 28
2.2. THE OBJECT OF STUDY: SUPPLY AND DEMAND OF PERFORMANCE INFORMATION 31
2.2.1. Supply and demand, causes and effects 31
2.2.2. The production process: supply of performance information 35
2.2.3. Uses of performance information 36
3.A MEASUREMENT HISTORY OF GOVERNMENT 41
3.1. A HISTORICAL ARGUMENT FOR STUDYING PERFORMANCE MEASUREMENT 41
3.2. RESEARCH QUESTIONS FOR THE HISTORICAL STUDY 43
3.3. O