Studie ondernemerschapstrajecten SYNTRA-netwerk: Efficiëntie van SYNTRA-opleidingen

Abstract

De onderzoeksvraag van dit rapport luidt: "Welke kwalitatieve en kwantitatieve factoren en processen hebben een invloed op de efficiëntie van de opleidingen georganiseerd door de SYNTRA vzw’s?"

Full text

Studie-opdracht voor
Vlaams Agentschap voor Ondernemersvorming
– SYNTRA Vlaanderen
Katholieke Universiteit Leuven – vertegenwoordigd door
KU Leuven Research & Development en optredend op
verzoek van Leuven Economics of Education Research (LEER)
en HIVA - Onderzoeksinstituut voor Arbeid en Samenleving
De Witte, K., Schiltz, F., Mazrekaj, D.,
De Leebeeck, K. en Struyven, L.
Vlaams Agentschap voor Ondernemersvorming – SYNTRA
Vlaanderen, Vlaamse overheid
27/11/2018
Studie ondernemerschapstrajecten SYNTRA-netwerk
Deelrapport: Efficiëntie van SYNTRA-opleidingen

2
Prof. Dr. Kristof De Witte
Hoogleraar aan KU Leuven - Bijzonder Hoogleraar aan Maastricht University
KU Leuven & Maastricht University
LEER: Leuven Economics of Education Research & TIER: Top Institute for Evidence Based Education Research
Naamsestraat 69, B- 3000 Leuven
016 32 66 56
kristof.dewitte@kuleuven.be
Ludo Struyven
Hoofd Onderzoeksgroep
HIVA - Onderzoeksinstituut voor Arbeid en Samenleving
Onderzoeksgroep Arbeidsmarkt en Onderwijs
Parkstraat 47 (postbus 05300), B-3000 Leuven
016 32 33 41
ludo.struyven@kuleuven.be

3
Inhoud
1. Introductie 4
2. Ondernemerschapsopleidingen in de literatuur 6
2.1. De (economische) impact van ondernemerschapsopleidingen 6
2.2. Succesfactoren van ondernemerschapsopleidingen 7
2.3. Een klimaat voor ondernemers 9
3. Kwantitatieve analyse 12
3.1. Methode 12
3.2. Data: Inputs, outputs, en omgevingsfactoren 14
3.3. Resultaten 19
4. Vergelijking met andere verstrekkers 25
5. Management samenvatting 28
6. Bibliografie 30
Bijlage 1: Technisch rapport methode en resultaten van panel data 33

4
1. Introductie
Ondernemerschap is anno 2018 een sleutelcompetentie voor een leven lang leren (‘lifelong learning’). Dit
werd dan ook formeel vastgelegd door het Europees Parlement en de Raad van de Europese Unie (zie
discussie in De Witte en Schelfhout 2015). Beleidsmakers zien de versterking van
ondernemerschapscompetenties als een manier om economische groei te bevorderen. Meer bepaald stelt de
sleutelcompetentie ‘Ontwikkeling van initiatief en ondernemerszin’ het volgende: ‘Onder ontwikkeling van
initiatief en ondernemerszin wordt iemands vermogen verstaan om ideeën in daden om te zetten. Het omvat
creativiteit, innovatie en het nemen van risico's, alsook het vermogen om te plannen en projecten te beheren
om doelstellingen te verwezenlijken. Het dient tevens het bewustzijn van ethische waarden en de
bevordering van goed bestuur te omvatten.’ (Europese Unie 2006, p.17). Ondernemerschap helpt iedereen
niet alleen in het dagelijks leven thuis en in de maatschappij, maar ook om werknemers zich bewust te
worden van hun arbeidsomgeving en kansen te grijpen, en is de basis voor meer specifieke vaardigheden en
kennis die degenen nodig hebben die aan sociale of economische bedrijvigheid bijdragen (Lackéus, 2015).
Ondernemerschapsopleidingen (‘OO’ of ‘entrepreneurial education (EE)’) worden door de OESO (2009)
gedefinieerd als: ‘EE is that part of the education which is concerned with the inculcation of a range of skills
and attributes, including the ability to think creatively, to work in teams, to manage risks and handle uncer-
tainty’.
1
Het doel van de ontwikkeling van deze competenties is om menselijk kapitaal te versterken. Dit
vormt op zijn beurt de basis voor een competitief en strategisch voordeel ten voordele van de lokale
economie. Bijgevolg worden ondernemerschapsopleidingen in verschillende landen opgenomen in zowel
het onderwijs- als industrieel beleid (Hytti & O’Gorman, 2004).
Dit rapport heeft als doel de opdrachten van het SYNTRA-netwerk en SYNTRA Vlaanderen te evalueren
met behulp van een kwantitatief en kwalitatief onderzoek. De onderzoeksdoelen zijn drieledig:
1. Efficiëntie: Welke kwalitatieve en kwantitatieve factoren en processen hebben een invloed op de
efficiëntie van de opleidingen georganiseerd door de SYNTRA vzw’s?
2. Effectiviteit: Wat is het economisch effect van SYNTRA opleidingen op de maatschappij?
3. Benchmark van SYNTRA opleidingen ten opzichte van andere relevante opleidingsverstrekkers in
Vlaanderen.
Dit eerste deelrapport zoomt in op de evaluatie van de efficiëntie van de SYNTRA vzw’s (Doel 1 en 3.).
Sectie 2 geeft een bondig overzicht van de literatuur met betrekking tot ondernemerschap en
ondernemerschapsopleidingen. De methoden, data, en resultaten van deze doelen worden besproken in
sectie 3. Sectie 4 presenteert de vergelijking van SYNTRA ten opzichte van andere verstrekkers in
1
Ongeacht de definitie van ondernemerschapsopleidingen (OO), naargelang het standpunt (pedagogisch (Sarasvathy & Venkataraman, 2011),
economisch, of andere) is er steeds een gemene deler: waardecreatie (Lackéus, 2015). Waardecreatie kan betrekking hebben op de
maatschappij als geheel, zowel cultureel als economisch. De creatie van waarde voor stakeholders, exclusief cursisten en lesgevers, is de kern
van OO, en een eigenschap die meer en meer belang zal krijgen in de maatschappij van vandaag.

5
Vlaanderen en sectie 5 besluit dit rapport met conclusies, beleidsaanbevelingen en suggesties voor verder
onderzoek.

6
2. Ondernemerschapsopleidingen in de literatuur
2.1. DE (ECONOMISCHE) IMPACT VAN ONDERNEMERSCHAPSOPLEIDINGEN
De aanwezigheid van ondernemerschapscompetenties werd in de wetenschappelijke literatuur gekoppeld
aan de economische output van landen (Walter & Block 2016). Zo werd er een positief effect gevonden
tussen het inkomen van ondernemers, het percentage zelfstandigen, en de rendabiliteit van bedrijven
enerzijds, en de aanwezigheid van ondernemerschapsopleidingen (OO) anderzijds. Martin, McNally, en Kay
(2013) vinden bijvoorbeeld dat startups beter bestuurd worden, en beter presteren, als gevolg van
ondernemerschapsopleidingen. In hun meta-analyse van de literatuur vinden ze echter een grote variatie in
het effect van OO, naargelang de organisatie en de lesaanpak. Chrisman, McMullan, en Hall (2005) tonen
in hun studie zelfs een significant positief effect op lange-termijn groei in omzet en tewerkstelling bij jonge
ondernemingen die genoten van een ondernemerschapsopleiding.
2
Lackéus (2015) beschrijft de globale
impact van ondernemerschap in onderwijs: economische groei, jobcreatie, weerbaarheid van de
samenleving, maar evenzeer persoonlijke groei, engagement op school en meer gelijkheid.
Het merendeel van de wetenschappelijke studies die ondernemerschapsopleidingen bestuderen, koppelen
het volgen van een opleiding aan de ontwikkeling van ondernemerschapscompetenties, en de hierboven
beschreven invloed op de economische activiteit. Zo tonen verschillende studies aan dat cursisten die
ondernemerschapsopleidingen volgen, meer geneigd zijn een onderneming op te starten (Bae, Qian, Miao,
& Fiet, 2014; Dickson, Solomon, & Weaver, 2008; Maresch, Harms, Kailer, & Wimmer-Wurm, 2016; Martin
et al., 2013; Rauch & Hulsnik, 2015). Andere studies geven aan dat het volgen van
ondernemerschapsopleidingen er toe leidt dat cursisten de nodige vaardigheden van ondernemers
verwerven, bijvoorbeeld het ontwikkelen van een business plan, maar ook persoonlijke karakteristieken
zoals emotionele stabiliteit en ambities (Huber, Sloof, & Van Praag, 2014; Kirkwood, Dwyer, & Gray, 2014;
Premand, Brodmann, Almeida, Grun, & Barouni, 2016). In tegenstelling tot deze studies, werd een causaal
negatief verband gevonden tussen het volgen van ondernemerschapsopleidingen en de kans dat cursisten een
onderneming opstarten (Oosterbeek, van Praag, & IJsselstein 2008; Oosterbeek, van Praag, & Ijsselstein
2010).
3
De auteurs beargumenteren dit negatieve verband door te stellen dat cursisten tot de vaststelling komen
dat ze niet de noodzakelijke vaardigheden hebben om een zaak op te starten, wanneer ze in contact komen
met de vereiste eigenschappen in de les. Noteer dat dit negatieve effect (niet significant) werd gevonden
voor jongeren in Nederland en tegengestelde (dus positieve) effecten werden gevonden voor kinderen van
2
Het belang van ondernemerschapsopleidingen wordt ook aangetoond in van der Sluis, van Praag, en Vijverberg (2014) waar de link wordt
gelegd tussen onderwijs, ondernemerschap en de groei van ontwikkelingslanden. Een analyse van OO in ontwikkelingslanden valt buiten het
bestek van dit rapport, maar suggereert opnieuw het belang ervan.
3
In deze studie gebruiken de auteurs de afstand tussen het thuisadres en de leslocaties als instrument in een ‘instrumentele variabelen’ regressie.
Deze techniek zal ook gebruikt worden bij het schatten van het economisch effect van een SYNTRA opleiding (Doel 2). Er kan immers verwacht
worden dat de nabijheid van een SYNTRA-vestigingsplaats een positieve invloed heeft op de kans dat een individu zich aanmeldt. Omgekeerd
heeft afstand een negatieve invloed op de kans op aanmelding bij een SYNTRA-vestigingsplaats. Deze verwachting is c onsistent met andere
studies die afstand gebruiken als een instrument (Declercq & Verboven, 2018).

7
een jongere leeftijd (Huber, Sloof, & Van Praag 2014). Uit de verschillen in bevindingen van deze studies
komt naar voren dat bepaalde succesfactoren (omgeving, leeftijd, ondersteuning) cruciaal zijn om met
ondernemerschapsopleidingen tot een succesvol resultaat te komen. In tegenstelling tot inconsistenties in
kwantitatieve studies is er een toenemend aantal kwalitatieve studies dat de effectiviteit van
ondernemerschapsopleidingen bevestigt (vb. Neck & Greene (2011); Pittaway & Cope (2007)). Een
aangewezen methodologie voor de analyse van de efficiëntie en effectiviteit van
ondernemerschapsopleidingen is dan ook een “mixed methods design”, meer bepaald een combinatie van
kwantitatieve en kwalitatieve analyses.
Naast ondernemerschapscompetenties, en de hieraan verbonden economische activiteit geven
verschillende studies ook aan dat bepaalde non-cognitieve vaardigheden van cursisten rechtstreeks volgen
uit OO: cursisten worden doorgaans meer creatief, innovatief, kans-gericht, leergierig, proactief en
volhardend (Farrington et al., 2012). Een compleet overzicht van non-cognitieve effecten is beschreven in
Lackéus & Williams Middleton (2015) en in Tabel 2 van Lackéus (2015).
4
Deze set van skills wordt dan ook
gezien als een krachtig antwoord op een steeds complexere en meer geglobaliseerde wereld (Gibb, 2002)
2.2. SUCCESFACTOREN VAN ONDERNEMERSCHAPSOPLEIDINGEN
Ondernemerschapsopleidingen kunnen cursisten ertoe aanzetten de hierboven beschreven competenties
te ontwikkelen en deze in praktijk te brengen. Uit de wetenschappelijke literatuur blijkt eveneens dat,
afhankelijk van bepaalde succesfactoren en randvoorwaarden, de kans kan vergroten dat cursisten
zelfstandig aan de slag gaan. Zo hebben vrouwen bijvoorbeeld een kleinere kans om de verworven
vaardigheden om te zetten in een zelfstandige onderneming (Graevenitz, Harhoff, & Weber 2010;
Oosterbeek, van Praag, & Ijsselstein 2010; Huber, Sloof, & Van Praag 2014; Maresch et al., 2016). Dit wordt
doorgaans toegeschreven aan de verwachting dat ondernemende vrouwen zowel de onderneming als het
huishouden draaiend houden, in tegenstelling tot ondernemende mannen (Oosterbeek, van Praag, en
Ijsselstein 2010). Een mogelijkheid voor de overheid, zolang dit verwachtingspatroon in stand blijft, bestaat
erin om huishoudelijke taken te faciliteren (vb. dienstencheques, kinderopvang) en bijgevolg de impact van
ondernemerschapsopleidingen bij vrouwen te verhogen. In vergelijking met mannen, zien vrouwen zichzelf
immers vaker als ondernemer op lange termijn (Küttim, Kallaste, Venesaar, & Kiis, 2014). Het economische
verlies van deze verloren ambities is niet te onderschatten.
Daarnaast speelt ook leeftijd een belangrijke rol. Ondernemerschapsopleidingen hebben een grotere
impact op volwassenen tussen de dertig en veertig jaar, waarbij de kans het grootste is dat cursisten een
onderneming starten na het volgen van een ondernemerschapsopleiding (Maresch et al., 2016). Tegelijkertijd
hebben opleidingen op zeer jonge leeftijd (lagere school) de grootste impact aangezien kinderen (1) de
vereiste kennis sneller opnemen (2) kinderen eerder voor ondernemerschapsopleidingen kiezen op latere
4
Tabel 4 in Lackéus (2015) geeft een overzicht van alle types effecten van ondernemerschapsopleidingen in de literatuur, op het niveau van het
individu, de organisatie, en de maatschappij.

8
leeftijd, en (3) de basisbegrippen rond ondernemerschap een sterke basis vormen voor de latere
ontwikkeling van ondernemerschapscompetenties (Huber et al., 2014).
Karakteristieken van de ondernemerschapsopleidingen zijn eveneens bepalend. Zo kan de opleiding en
de achtergrond van docenten leiden tot meer initiatief van cursisten. De betrokkenheid van docenten en
directie, die zelf ervaring hebben met ondernemerschap, leidt tot meer ondernemerschap bij cursisten.
Ruskovaara, Hämäläinen, en Pihkala (2016) vinden bijvoorbeeld dat deze positieve impact groter is wanneer
directieleden zelf ondernemerschapsopleidingen hebben gevolgd (Küttim et al., 2014). In tegenstelling tot
een aanpak die zich focust op afzonderlijke eigenschappen, kan er ook succes geboekt worden met een meer
‘holistische’ benadering – zie Box 1. Een multidisciplinaire aanpak wordt aangeraden (OECD, 2015), bij
voorkeur in samenwerking met stakeholders in de praktijk, bijvoorbeeld door theorie te koppelen aan
praktijkervaring (Morselli, Costa, & Margiotta, 2014; Warhuus & Basaiawmoit, 2014). Dit stemt overeen
met de aanbeveling van het World Economic Forum (2009): “see one, do one, teach one”. Deze
pedagogische aanpak zou tot betere resultaten leiden (in tegenstelling tot problem-based learning of project-
based learning), en een sterkere ontwikkeling van ondernemerschapscompetenties, in het bijzonder niet-
cognitieve competenties (OECD, 2015).
5
De rol van de ouders kan een invloed hebben op de impact van ondernemerschapsopleidingen, maar tot
op heden is geen consensus in de literatuur over deze factor. Enerzijds geven studies aan dat het hebben
van ten minste één ondernemende ouder een belangrijke invloed heeft (Graevenitz, Harhoff, en Weber
2010; Rauch & Hulsnik 2015), omwille van het rolpatroon dat ouders opnemen ten opzichte van hun
kinderen – en daarmee de ondernemerszin (Rauch & Hulsnik 2015). Anderzijds werd deze relatie niet
gerepliceerd en eerder zwak bevonden in een andere studie (Küttim et al., 2014).
Al de bovenstaande succesfactoren kunnen eveneens gekoppeld worden aan de verwachtingspatronen bij
cursisten met betrekking tot het starten van een eigen onderneming. Verwachtingen kunnen in se de kans
op succes verhogen, en als het ware een ‘selffulfilling prophecy’ worden. Het ondernemingsklimaat is de
allesbepalend voedingsbodem van het verwachtingspatroon bij cursisten (zie 1.3). Desalniettemin kunnen
ondernemerschapsopleidingen zelf de verwachtingen van cursisten beïnvloeden. Uit een studie van Testa en
5
Een overzicht van concrete acties, tools en theorieën die van nut kunnen zij n voor OO lesgevers is beschikbaar in Sectie 4 in Lackéus (2015),
meer bepaald in 4.1 – 4.3 en Tabel 6. Deze studie geeft een antwoord op de vraag “learning-by-doing-what?” met behulp m ogelijke
opdrachten, projecten en checklists voor cursisten.
[Box 1] Söderhamn: Een hemel voor de ondernemer?
In het Zweedse stadje Söderhamn was ondernemerschap ver zoek. In de laatste decennia ging de
bevolkings- en economische groei in een neerwaartse spiraal. Bedrijven vestigden zich elders en de
gezinnen die achterbleven werden steeds armer tot op een punt dat de lokale overheid besefte dat het
zo niet verder kon en structurele veranderingen noodzakelijk waren. Deze hervormingen werden
allemaal gestoeld op ondernemerschap – en de bijhorende ondernemerschapsopleiding -, als motor van
de economie. Het economische succes is volgens Eurostat (2012) het gevolg van het actief inzetten op
opleidingen in ondernemerschap, actieve trainingen in ondernemerschap, en dit alles in combinatie met
een sterke wisselwerking tussen opleidingscentra en de bedrijfswereld.

9
Frascheri (2015) bleek immers dat het aandeel cursisten dat het succes van ondernemers beschreef als
‘afhankelijk van geluk’ en het al dan niet ‘geboren worden als ondernemer’ afnam na het volgen van een
ondernemerschapsopleiding. Dit heeft belangrijke implicaties voor het belang van
ondernemerschapsopleiding bij het vormen van ondernemerschapsklimaat.
2.3. EEN KLIMAAT VOOR ONDERNEMERS
Het succes van ondernemingen en ondernemers is in grote mate afhankelijk van de omgeving waar deze
zich in bevinden: globalisering, contrasten in management best practices, en contractuele verschillen voor
werknemers in andere landen. (Gibb & Hannon 2006; Solomon et al. 2008; Walter & Block 2016). Meer
specifiek voor ondernemerschapsopleidingen hangt de effectiviteit sterk samen met het ecosysteem
gevormd door de overheid (of overheden), centra die ondernemerschapsopleidingen aanbieden, en de
bedrijfswereld (World Economic Forum, 2009). Opnieuw zijn verwachtingen cruciaal (Montes en Bastos
2013). De geloofwaardigheid van de overheid, en het hieruit volgende klimaat van vertrouwen stimuleert
ondernemers om grotere risico’s te nemen. De vier voornaamste factoren die potentiële ondernemers
weerhouden van het starten van een zaak zijn (Global Entrepreneurship Monitor, 2017): (1) Financiering,
(2) Overheidsbeleid, (3) Belastingen, en (4) Bureaucratie.
6
Alle vier deze factoren hebben een grote invloed op de perceptie van ondernemers op het risico van een
faillissement. Globaal genomen (respondenten tussen 18 en 64 jaar) vreest ongeveer één op de drie
volwassenen een faillissement. In België ligt dit cijfer ongeveer één op twee respondenten. Dit ondanks een
relatief sterke score qua bureaucratie (World Bank, 2018). Deze ogenschijnlijke tegenstelling maakt België,
en Vlaanderen, een ideale setting waar ondernemerschapsopleidingen kunnen gebruikt worden om deze
vrees en het verwachtingspatroon bij te sturen. Het economische gevolg van deze grote vrees ten opzichte
van de rest van de wereld blijkt uit Figuur 1A, waar België de laatste plaats inneemt (OECD, 2017a).
Zoals gesuggereerd in Oosterbeek, van Praag, en Ijsselstein (2010) is er geen 1-op-1 verband tussen de
aanwezigheid van ondernemerschapsopleidingen en ondernemerschap, ook in België. Desalniettemin wijst
de literatuur op best practices waar het aanbod van ondernemerschapsopleidingen wel kan leiden tot een
sterke toename in startups. Zo is Zweden een land met een relatief sterk aanbod van
ondernemerschapsopleidingen (ook in het leerplicht onderwijs), en tegelijkertijd vinden we Zweden terug
aan de linkerkant van Figuur 1A – met een relatief hoog aantal startups in de economie.
6
De OECD geeft zes gelijkaardige determinanten van ondernemerschap: (1) Wetgeven d kader, (2) Economisch klimaat, (3) Toegang tot
financiering, (4) Ontwikkeling en verspreiding van kennis, (5) Skill s voor ondernemerschap (incl usief ondernemerschapsopleidi ngen), en (6)
Ondernemerschapscultuur. Een volledige beschrijving, samen met de gebruikte indicatoren is beschikbaar in Appendix A van (OECD, 2017a).

10
Algemene trends in het ondernemerschapslandschap wijzen op een toenemend belang van digitalisering
en nieuwe vormen van ondernemerschap: de ‘gig economy’ (OECD, 2017b). Diensten als Uber en
Deliveroo maken ondernemerschap toegankelijk voor een groter publiek terwijl online tools de toegang tot
internationale markten vergemakkelijken, ook voor kleine ondernemers. De Belgische context is op
verschillende vlakken een uitzondering ten opzichte van andere OECD landen. Zo is de jaarlijkse
procentuele groei in het aantal ondernemingen de afgelopen jaren relatief hoog in België (~ 4.5%, zie Figuur
1B). Wanneer we deze groei opsplitsen naar sector zien we dat de groei afkomstig is van de diensten- en
bouwsector, terwijl er een daling merkbaar is in de traditionele industrie. Deze groei in aantal
ondernemingen is ook voornamelijk gedreven door ondernemingen zonder werknemers (eenmanszaken).
Er is wel enigszins een herstel merkbaar sinds 2015 bij ondernemingen met werknemers. Desalniettemin is
het aandeel nieuwe ondernemingen met werknemers het laagste in België, in vergelijking met andere OECD
landen – wat consistent is met Figuur 1A.
In tegenstelling tot een sterke stijging in het aantal ondernemingen, is er geen sterke daling in het aantal
faillissementen. Terwijl verschillende OECD landen beter scoren ten opzichte van 2007-2008, is het aantal
faillissementen in België relatief stabiel gebleven tot 10 jaar na de crisis. Dit zou kunnen wijzen op een
Figuur 1A: Startups en tewerkstelling. Groen: aandeel startups in totaal aantal bedrijven, zwart: aandeel
tewerkstelling door startups in de totale tewerkstelling. Bron: OECD (2017b).
Figuur 1B: Groei in aantal ondernemingen. Procentuele jaarlijkse groei tussen 2005 en 2014. Bron: OECD (2017b).

11
gebrek aan omkadering vanuit de overheid, of qua skills in ondernemerschap. Daarnaast stellen we vast dat
de groei in tewerkstelling in België bijna uitsluitend gedragen wordt door de oprichting van nieuwe KMOs,
terwijl bestaande KMOs niet groeien, of kleiner worden (in vergelijking met 2008), wat de tewerkstelling
globaal vermindert. Deze twee tegenwerkende krachten zijn weergegeven in Figuur 1C, waar België relatief
sterk naar voren komt qua jobcreatie. Er ligt duidelijk nog groeipotentieel in de schaalvergroting van
bestaande KMOs, wat de tewerkstelling verder kan verhogen. Opnieuw kunnen
ondernemerschapsopleidingen hieraan bijdragen door de ontbrekende skills aan te vullen.
Tot slot kunnen ondernemerschapsopleidingen de Belgische economie ondersteunen door de kloof te
dichten in productiviteit en het aandeel vrouwelijke ondernemers. De arbeidsproductiviteit in België is de
op één na hoogste in alle OECD landen. De productiviteitskloof tussen kleine (1-9 werknemers) en grote
(>250 werknemers) ondernemingen is echter zeer groot (zie p. 61, OECD 2017b).
Ondernemerschapsopleidingen kunnen het menselijk kapitaal verbeteren in kleine ondernemingen en zo dit
verschil dichten, en de algemene productiviteit verder verhogen. Tot slot zien we in België 8% minder
vrouwelijke ondernemers dan mannelijke ondernemers. De gender kloof bevindt België zich in de
middenmoot van de OECD landen. Echter, in tegenstelling tot de meeste andere landen is dit verschil niet
afgenomen tussen 2006 en 2016. Een sterkere inclusie van vrouwen in ondernemerschapsopleidingen kan
de situatie omkeren en de gender kloof tot 0 terugbrengen.
Figuur 1C: Tewerkstelling per type onderneming. Aandeel in tewerkstelling, en procentuele verandering.
Bron: OECD (2017b).

12
3. Kwantitatieve analyse
Onderzoeksdoel 1: Welke kwalitatieve en kwantitatieve factoren en processen hebben een invloed op de
efficiëntie van de opleidingen georganiseerd door de SYNTRA vzw’s?
SYNTRA Vlaanderen stelt zichzelf tot ambitie om haar activiteiten efficiënt uit te voeren. Efficiëntie is
een relatief concept: het wijst op een verhouding tussen de ingezette middelen en de gerealiseerde
uitkomsten. Onze definiëring start vanuit een eerdere Viona-studie door De Rick, Mazrekaj en De Witte
(2016). Hierin stellen de auteurs (p. 34): “Met efficiëntie doelen we op de mate van gebruik van middelen
om rendementen te bekomen. Met andere woorden, waarbij effectiviteit betrekking heeft op de uitkomst
van het proces, heeft efficiëntie betrekking op het proces zelf”.
Om efficiëntiescores te berekenen benchmarken we verschillende SYNTRA trajecten, aangeboden door
verschillende centra. De Witte (2007) omschrijft benchmarking als volgt. “Benchmarkprocedures kunnen
worden ingedeeld in twee complementaire groepen. Het metrisch benchmarken kijkt van bovenuit naar de
organisatie en onderzoekt globaal wat er verbeterd kan worden. Proces benchmarking beantwoordt de vraag hoe
efficiency kan verhoogd worden door de minder goed presterende activiteiten en processen te identificeren
en zodoende te leren van de best practices in de sector.” Beide vormen van benchmarking zullen we
gebruiken voor het vooropgestelde onderzoeksdoel. Het metrisch benchmarken gebeurt aan de hand van
kwantitatieve analyses, het proces benchmarken gebeurt via kwalitatieve analyse (zie Deelrapport 2).
In deze eerste fase vergelijken we de efficiëntie van SYNTRA trajecten op basis van zeer gedetailleerde
data van inschrijvingen en lesgeverskosten (‘micro’). In het tweede deel (sectie 4) zoomen we uit op de
globale situatie in Vlaanderen en benchmarken we SYNTRA vzw’s op een ‘macro’ niveau. Dit doen we met
behulp van de jaarresultaten van de verschillende SYNTRA en andere relevante Vlaamse
opleidingsverstrekkers.
3.1. METHODE
Om SYNTRA trajecten onderling te benchmarken hanteren we een geavanceerd ‘conditioneel DEA-model’
(Daraio & Simar 2007; De Witte & Kortelainen 2013). Dit is een aantrekkelijke methode om vier redenen:
(1) Er wordt geen voorkennis verondersteld over het exacte verloop van de relatie tussen inputs (middelen)
en outputs, wat een bijzonder goede eigenschap is aangezien er bijna nooit informatie over is; (2) Er wordt
in de efficiëntieanalyse rekening gehouden met uitbijters en kenmerken van de SYNTRA vzw; (3) De
methode laat toe om meerdere inputs en outputs tegelijkertijd op te nemen. Zo hoeft er geen beperkende
keuze in inputs en outputs gemaakt te worden, en (4) een eenvoudige en overzichtelijke interpretatie van de
efficiëntiescores doordat alle informatie in één getal vervat zit.

13
De voorgestelde methode komt uit de literatuur rond efficiëntiemeting. Echter, in het kader van dit
rapport werd een nieuwe methode ontwikkeld op maat van de data die beschikbaar werd gesteld voor de
analyses. Deze nieuwe methode laat toe om conclusies te bekomen zonder dat deze vertekend worden door
meetfouten (vb. typfouten in Excel bestanden) of door uitzonderlijke observaties.
7
In dit efficiëntiekader worden trajecten van de SYNTRA vzw’s met elkaar vergeleken door middel van
een benchmark. Trajecten die met gegeven inputs de hoogste outputs behalen, krijgen een efficiëntiescore
van 100 procent. Trajecten die onder de benchmark scoren, krijgen een lagere score. Het verschil van 100
minus de efficiëntiescore van een traject komt overeen met de mogelijke verbetering voor dit traject. Dit
betekent dat dit traject met hetzelfde budget hogere outputs zou kunnen bereiken, of anders gezegd,
dezelfde outputs kan bereiken met minder geld. Waar het traditionele efficiëntiemodel geen rekening houdt
met omgevingsfactoren doet het conditionele efficiëntiemodel dit wel. Hierdoor worden alleen vergelijkbare
trajecten onderling vergeleken. We corrigeren op deze manier voor geobserveerde traject-kenmerken (zie
ook Haelermans en De Witte (2012).
Grafisch is de grens van ‘best practices’ tweedimensionaal weergegeven in Figuur 1 (bij meerdere inputs
en outputs wordt dit een multidimensionale weergave, maar dit is moeilijker grafisch te interpreteren). Er is
1 uitbijter in de gegevens. Het efficiency model zal hier automatisch rekening mee houden. In Figuur 1 kan
de efficiëntie op een verticale manier gemeten worden. Dit is de output-efficiëntie, en berekent hoeveel de
outputs kunnen stijgen voor een gegeven aantal inputs, mocht de geëvalueerde observatie even efficiënt
presteren als de best practices. Omgekeerd kan de efficiëntie ook op een horizontale manier gemeten
worden zodat een input-efficiëntiemodel ontstaat. Dit berekent hoeveel inputs er minder nodig zijn om de
gegeven outputs te kunnen bereiken, mocht de observatie even efficiënt werken als de best practices op de
grens (zie Thanassoulis, De Witte et al., 2016).
7
Voor een meer gedetailleerde beschrijving van deze methode, zie Schiltz, De Witte & Mazrekaj (2018) in Bijlage 1).
Figuur 1: Tweedimensionale voorstelling van een efficiëntie-model.
Noot: In deze figuur stelt de verticale as de output voor, terwijl de horizontale as de input weergeeft. De trapsgewijze lijn stelt de best practice
grens voor die toelaat de relatieve efficiëntie te meten.

14
Het is ook zinvol om de efficiëntiescores, die rekening houden met de kenmerken van het geëvalueerde
traject (het ‘conditionele efficiency model’), te vergelijken met de efficiëntiescores waarin dit niet werd
gedaan. Dit geeft immers een aanknopingspunt om te bepalen wat de efficiëntiescores van trajecten verklaart
(zie De Witte en Kortelainen (2013) voor een formele toelichting, en De Witte en Schiltz (2018) en
Haelermans en De Witte (2012) voor toepassingen van deze methode). Deze analyse laat ons toe om
nauwkeurig de onderzoeksvraag te beantwoorden: “Welke factoren hebben een invloed op de efficiënte van
de trajecten georganiseerd door de SYNTRA centra?”
3.2. DATA: INPUTS, OUTPUTS, EN OMGEVINGSFACTOREN
3.2.1 Data selectie
De gegevens, zowel op het niveau van de SYNTRA vzw’s als op het niveau van de trajecten, omvatten
onder andere het aantal unieke cursisten, de resultaten van een gevolgd traject, personeelsgegevens (uren en
barema’s) van de SYNTRA vzw’s, en cursistkenmerken (bv. vooropleiding, socio-economische kenmerken).
Daarnaast houden we ook rekening met de geïnvesteerde middelen die vanuit de overheid ontvangen
worden. Er zijn administratieve gegevens bij SYNTRA Vlaanderen beschikbaar voor ten minste 10 jaar
(2007-2017). In alle onderstaande analyses werd steeds data gebruikt op het traject-niveau, waardoor elke
waarde steeds overeenkomt met een uniek traject binnen één SYNTRA centrum binnen één jaar.
Om een accuraat en zo representatief mogelijk beeld te schetsen werd er door de stuurgroep geopteerd
om de efficiëntie van trajecten onderling te vergelijken, en dit voor het jaar 2013. Een analyse op trajectniveau
stelt ons in staat om binnen eenzelfde centrum verschillende efficiëntiescores te bekomen, naargelang het
geanalyseerde traject. Aangezien de mogelijkheid bestaat dat eenzelfde traject in verschillende centra wordt
aangeboden, kan het interessant zijn om niet alleen de geaggregeerde scores voor de centra als maatstaf voor
een evaluatie te gebruiken, maar ook scores van specifieke trajecten ten opzichte van andere centra. Het jaar
2013 is het meest recente jaar dat toelaat de data ten volle te benutten, aangezien de koppeling van de
inschrijvingen ons toelaat trajecten te evalueren die tot drie jaar duren. Bijgevolg kunnen we de lengte van
trajecten (het totaal aantal lesmomenten) relateren aan de efficiëntiescore. Let wel, trajecten die na 2013 zijn
opgericht of van naam zijn veranderd, werden niet meegenomen in de analyse aangezien er voor deze
trajecten geen adequate uitkomstvariabelen zijn. Het uitsluiten van deze recente trajecten doet geen onrecht
aan de analyse aangezien het doel van deze studie is om potentiële succesfactoren en randvoorwaarden van
efficiënte ondernemerschapsopleidingen uit te lichten. Bovendien kan op basis van deze kwantitatieve
analyses het aanvullende kwalitatief onderzoek (zie Deelrapport 2) antwoorden bieden op hoe de ‘best
practice’ trajecten het aanpakken, en wat de onderliggende succesfactoren zijn.
In de technische appendix van dit rapport (Bijlage 1) werden trajecten bestudeerd die geobserveerd werden
tussen 2006 en 2015. Het voordeel van deze analyse overheen de tijd is dat we kunnen rekening houden
met de specifieke kenmerken van trajecten. Het nadeel van deze analyse is dat er slechts een beperkt aantal

15
traject kon meegenomen worden. Nieuwe trajecten (post 2006), oude trajecten (pre 2015), en trajecten met
ontbrekende data tussen deze jaren konden niet geanalyseerd worden. De resterende 122 trajecten werden
onderworpen aan dezelfde regressieanalyses als hieronder beschreven, met variatie in tijd als een bijkomende
verklarende factor. De resultaten van deze analyses zijn grotendeels overeenkomstig aan de resultaten van
de analyse voor 2013, en worden beschreven aan het einde van deze sectie – alsook meer uitgebreid in
Bijlage 1. Doordat de resultaten heel gelijkaardig zijn wanneer er intertemporele data gebruikt worden, geeft
dit vertrouwen aan de resultaten voor de 2013 analyse. Met andere woorden, de intertemporele analyse in
bijlage 1 geeft de robuustheid van de resultaten voor de hoofdanalyse van 2013 aan.
We zijn in deze fase voornamelijk geïnteresseerd in patronen die kunnen leiden tot verder onderzoek (zie
ook kwalitatief deel van het onderzoek). We analyseren uitsluitend de 524 trajecten met complete data:
namelijk de trajecten die niet onderhevig zijn aan naamsveranderingen, trendbreuken of ontbrekende
gegevens. Tabel 1 presenteert het aantal geanalyseerde trajecten per centrum: Antwerpen – Vlaams-Brabant
(AVB), Brussel (BRU), Limburg (LIM), Midden-Vlaanderen (MVL) en West. Deze observaties kunnen dus
gezien worden als een ‘steekproef’ die niet noodzakelijk representatief is voor alle trajecten, bijvoorbeeld
met betrekking tot beschrijvende statistieken – deze zullen mogelijks afwijken van de populatietotalen.
Desalniettemin kunnen de geobserveerde patronen met een zekere accuraatheid geëxtrapoleerd worden,
gegeven het grote aantal observaties (in totaal en per SYNTRA centrum).
3.2.2 Inputvariabele
We bespreken eerst de inputvariabele: lesgeverskost per cursist per lesmoment. De uren toegewezen aan
elke module werden gekoppeld aan de barema’s voor het jaar 2013 (en de daaropvolgende jaren bij langere
trajecten). Op deze manier werd de totale lesgeverskost bekomen voor elk traject. Twee opmerking zijn
relevant bij de keuze van deze inputvariabele. Ten eerste, de totale kosten om een traject aan te bieden
omvatten meer dan slechts kosten aan lesgevers. Zo zijn er ook kosten nodig voor bijvoorbeeld
infrastructuur of materiaal. De focus in deze studie is echter op de flexibele kosten (zie Box 2). Deze keuze
is consistent met de internationale literatuur. Vaste kosten kunnen immers niet gewijzigd worden binnen de
korte termijn waardoor elke maatstaf van efficiëntie zal besluiten dat een traject met een relatief hoge kost
(vb. groot aandeel infrastructuur) inefficiënt is.
Ten tweede zou de evaluatie van trajecten tot een mechanische conclusie leiden dat relatieve grote
trajecten minder efficiënt zijn wanneer het totaalbedrag als input zou gebruikt worden. Daarom houden we
rekening met het aantal cursisten en lesmomenten in een traject door de kost uit te drukken per cursist per
lesmoment. Deze kost indicator werd gebruikt als input in het conditionele efficiëntiemodel. Figuur 3 geeft
een weergave van de gemiddelde kost per cursist per lesmoment in de verschillende centra.
Tabel 1: Verdeling trajecten in dataset per centrum
Centrum
AVB
BRU
LIM
MVL
WEST
TOTAAL
Aantal trajecten in analyses
99
50
139
105
131
524

16
[Box 2] Flexibele en vaste kosten van SYNTRA trajecten
Afhankelijk van het type traject kunnen er aanzienlijke verschillen zijn in de vaste kosten (doorgaans is het
aandeel rond de 60-70%). Enerzijds zou het meenemen van vaste kosten in efficiëntie-analyse bepaalde
sectoren en trajecten kunnen benadelen. Dit kan bijvoorbeeld ontstaan wanneer we de vergelijking maken
tussen het traject “Boekhouder” en het traject “Ambachtelijke ijsbereider”, waar de vaste kosten per cursist
aanzienlijk hoger liggen bij deze laatste. Daarnaast is het een zeer complexe aangelegenheid om vaste kosten
die op het niveau van de SYNTRAs worden gemaakt (vb. IT-infrastructuur) uit te splitsen op het niveau
van de trajecten. Dit motiveert onze keuze om te focussen op variabele kosten. Anderzijds kan de focus op
de flexibele kosten ertoe leiden dat, afhankelijk van de sector, bepaalde trajecten benadeeld worden. Zo kan
een grotere vaste kost het aantal benodigde lesgevers mogelijks reduceren, wat dan zorgt voor een hogere
efficiëntiescore in onze analyse voor trajecten met een hoge vaste kost.
Omwille van deze redenen raden we aan de draaitabel in Bijlage 2 te hanteren voor vergelijkingen binnen
éénzelfde sector, en met een interpretatie van de scores als ‘variabele efficiëntie’.
3.2.3 Outputvariabelen
Als outputvariabelen werd in samenspraak met de stuurgroep geopteerd voor drie uitkomsten op
trajectniveau: (1) de gemiddelde aanwezigheid in het totaal aantal lesmomenten, (2) het percentage cursisten
dat deelneemt aan de eindproef, (3) de gemiddelde score van deelnemende cursisten op de eindproef.
8
Figuur 4 geeft de totaalscore weer, en de scores uitgesplitst op centrum niveau.
3.2.4 Omgevingsvariabelen
Tot slot laat het efficiëntiemodel toe om rekening te houden met de omgeving die niet (op korte termijn)
kan gewijzigd worden (zogenaamde ‘conditionele efficiëntie’). Zodanig heeft het construct ‘efficiëntie’ meer
beleidsrelevante implicaties, het is immers cruciaal te focussen op wat gewijzigd kan worden door trajecten
te vergelijken die opereren in gelijkaardige omgeving. Met deze omgeving bedoelen we de instroom van
cursisten, met name de verhouding mannen/vrouwen, de gemiddelde leeftijd en het aandeel cursisten met
een niet-Belgisch paspoort.
9
Figuren 5, 6 en 7 geven de relatieve waardes per centrum weer voor deze
factoren. De demografische samenstelling van de instroom in trajecten wordt dus als exogeen beschouwd
in de analyses, hoewel dit in praktijk slechts op korte termijn een realistische veronderstelling is – dit is
consistent met onze keuze voor flexibele kosten (korte termijn) als inputs. In het conditionele
efficiëntiemodel heeft deze assumptie het voordeel dat trajecten meer kans hebben om vergeleken te worden
met trajecten die gekenmerkt worden door een gelijkaardige instroom. Noteer dat de gegevens in Figuren 3
tot 7 berekend werden op basis van de steekproef van 524 trajecten, en dus niet noodzakelijk representatief
zijn voor alle SYNTRA centra.
8
Een alternatieve output maatstaf is het percentage geslaagde cursisten. Gegeven de sterke correlatie tussen de indicator geslaagd/niet
geslaagd en de procentuele score (ρ=0.76), kunnen we stellen dat resultaten equivalent zijn voor beide keuzes van outputs.
9
In bijkomende analyses werd het gemiddelde opleidingsniveau van cursisten in een traject meegenomen als bijkomende omgevingsfactor. De
resultaten met dit meer uitgebreide model waren identiek aan deze beschreven hier. Omwille van ontbrekende data voor verschillende
trajecten werd er gekozen om opleidingsniveau niet mee op te nemen als om gevingsfactor in het finale model.

17
0
5
10
15
20
25
30
AVB BRU LIM MVL WEST Totaal
Figuur 3: INPUT - Lesgeverskost per cursist per lesmoment
Figuur 4: OUTPUTS
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
AVB BRU LIM MVL WEST Totaal
Aanwezigheden (%) Deelname eindproef (%) Resultaat eindproef (%)

18
0
0,1
0,2
0,3
0,4
0,5
0,6
AVB BRU LIM MVL WEST Totaal
Figuur 5: OMGEVING - Gender balans per traject (% mannen)
0
5
10
15
20
25
30
35
AVB BRU LIM MVL WEST Totaal
Figuur 6: OMGEVING - Leeftijd
0
0,05
0,1
0,15
0,2
AVB BRU LIM MVL WEST Totaal
Figuur 7: OMGEVING - Niet-Belgen (%)

19
3.3. RESULTATEN
Tabel 2 presenteert beschrijvende statistieken voor de bekomen efficiëntiescores op basis van de hoger
beschreven steekproef. De eerste rij geeft scores zonder correctie voor de omgeving, en de tweede rij met
correctie voor de kenmerken van de cursisten en het traject. Zoals te verwachten is de variantie (uitgedrukt
in standaarddeviaties, SD) in gecorrigeerde scores kleiner, aangezien meer gelijkaardige trajecten met elkaar
worden vergeleken (ten minste met betrekking tot de instroom). Desalniettemin blijft er substantiële
variantie bestaan in de scores tussen verschillende trajecten. Zo kan het gemiddelde traject alle
outputfactoren (aanwezigheden, deelname eindproef, en resultaat eindproef) verbeteren met 4% zonder een
toename in de lesgeverskost als alle trajecten even efficiënt zouden georganiseerd zijn als de trajecten die een
score van 1 behalen. Deze potentiële toename is voor de minst efficiënte trajecten mogelijk tot wel 30%,
zelfs wanneer we rekening houden met de omgeving. Tabel 3 geeft de efficiënte scores per sector en Figuur
8 geeft de gemiddelde scores per centrum. Hieruit blijkt eveneens dat er noemenswaardige verschillen zijn
in efficiëntie tussen sectoren en tussen centra. Zo zien we bijvoorbeeld dat de sector ‘Cultuur en
podiumkunsten’ relatief inefficiënt is ten opzichte van de sector ‘Veiligheid en milieu’. Een compleet
overzicht van de scores per traject is bijgevoegd in Bijlage 2, alsook een draaitabel om efficiëntie te
analyseren per centrum (i.e. Figuur 8), per lesplaats, en per sector (i.e. Tabel 3).
Tabel 2: Beschrijvende statistieken efficiëntiescores
N
Gemiddelde
Variantie (SD)
Mediaan
Minimum
Maximum
Efficiëntie
(zonder correctie voor omgeving)
524
0.88
0.08
0.90
0.54
1
Conditionele Efficiëntie
(met correctie voor omgeving)
524
0.96
0.06
0.99
0.67
1
Tabel 3: Efficiëntiescores (conditioneel) per sector
Sector
Score
Sector
Score
Cultuur en podiumkunsten
0.900
Grafische en audiovisuele technieken
0.955
Informatica
0.923
Horeca
0.960
Vastgoed
0.925
Dieren
0.960
Technologie voor medische diagnostiek
0.931
Voertuigen en metaal
0.968
Verkoop en Marketing
0.942
Transport en logistiek
0.969
Gezondheid en sport
0.948
Elektriciteit
0.971
Groensector
0.948
Bouw en hout
0.973
Personenverzorging
0.949
Kunst; antiek en ambachten
0.974
Financiën en verzekeringen
0.949
Administratie en onthaal
0.978
Management en bedrijfsbeheer
0.950
Toerisme en recreatie
0.983
Mode en kledij
0.950
Voeding
0.988
Ontwerpen
0.951
Veiligheid en milieu
0.999
Talen en redactie
0.952
Totaal
0.959

20
[Box 3] Dagopleidingen en efficiëntie
Tussen 2006 en 2016 werden ongeveer 1 op 4 cursisten ingeschreven in een dagopleiding (24.4%). In onze
steekproef voor 2013 kwam dit aandeel op 18.7%. Wanneer we beide types vergelijken in onderstaande
tabellen zien we dat de samenstelling verschilt zowel qua cursisten als qua lesgevers. Daarnaast zien we ook
dat dagopleidingen een lagere kost hebben per cursist per lesmoment, vermoedelijk door het relatief grote aantal
lesmomenten en aantal cursisten per traject. Desalniettemin vinden we geen significant verschil in efficiëntie
tussen beide types opleidingen. Een mogelijke verklaring is de relatief zwakke scores op de eindproef bij
dagopleidingen, waardoor de efficiëntiescores niet hoger zijn, ondanks de lagere kost.
Om de verschillende inputs, outputs en omgevingsfactoren verder te analyseren kunnen we deze aan
elkaar relateren met behulp van een regressieanalyse. Dit doen we door middel van niet-parametrische
methodes om flexibiliteit toe te laten wanneer we verbanden schatten (Q. Li & Racine, 2007). We voeren
niet-parametrische regressies uit in twee stappen. Eerst correleren we de ratio van beide efficiëntiescores
(score zonder correctie/score met correctie) aan de omgevingsfactoren gebruikt om de gecorrigeerde scores
te bekomen. Zodoende kunnen we afleiden welke factoren gunstig, dan wel ongunstig zijn voor de
efficiëntie van een traject. In een tweede stap correleren we de gecorrigeerde scores rechtstreeks aan een
extra set variabelen die beschikbaar zijn in de data in die mogelijks verschillen tussen trajecten kunnen
verklaren. Dit doen we voor de volgende variabelen: (1) het aantal cursisten per traject, (2) het aantal
lesmomenten per traject, (3) de gender balans van de lesgevers (% mannen), (4) de gemiddelde leeftijd van
de lesgevers, (5) de variantie in de leeftijd van lesgevers binnen een traject, uitgedrukt in standaarddeviaties
(SD) en (6) de variantie in de verdeling van de uren binnen een traject, uitgedrukt in standaarddeviaties (SD).
0,00
0,20
0,40
0,60
0,80
1,00
AVB BRU LIM MVL WEST Totaal
Figuur 8: Efficiëntiescores (conditioneel) per centrum
Input/Output
Dagopleiding?
Ja
Nee
Input
11.8
21.0
Outputs (%)
Aanwezigheden
76.3
76.9
Deelname EP
58.9
58.8
Resultaat EP
64.2*
67.7
* Significant verschil (p<0.05).
Omgeving
Dagopleiding?
Ja
Nee
Cursisten
% mannen
49.1
54.8
Leeftijd
25.0*
33.7
Niet-Belgen (%)
5.4*
7.8
* Significant verschil (p<0.05).
Variabele
Dagopleiding?
Ja
Nee
Cursisten per traject
67.2*
39.2
LM per traject
147.3*
82.3
% mannen LG
65.4
71.5
Leeftijd LG
45.5*
47.9
Leeftijd LG (SD)
9.1
8.5
Variatie uren (SD)
61.1*
48.2
* Significant verschil (p<0.05).

21
Deze laatste twee variabelen meten de spreiding binnen eenzelfde traject in het aantal uren dat werd
toegewezen aan verschillende lesgevers. Zo heeft bijvoorbeeld een uniforme verdeling in uren (alle lesgevers
evenveel uren) een SD gelijk aan 0 terwijl een gemiddeld grotere afwijking van het gemiddeld aantal uren
leidt tot een hogere SD (vb. een lesgever met 10 uren en een andere met 100 uren). De beschrijvende
statistieken voor deze variabelen zijn weergegeven in Figuur 9. Noteer opnieuw dat de gepresenteerde
gegevens berekend werden op basis van de steekproef van 524 trajecten, en dus niet noodzakelijk
representatief zijn voor alle SYNTRA centra. Binnen deze steekproef stellen we vast dat er tussen trajecten
een grote variatie bestaat, alsook tussen de verschillende centra (zie Figuur 9).
In de eerste regressieanalyse is de uitkomstvariabele als volgt gedefinieerd:


Door  te correleren aan de omgevingsfactoren die gebruikt werden om de conditionele efficiëntiescores
te bekomen, kunnen we achterhalen wat de invloed van deze factoren is. De waarde van  zal steeds tussen
0 en 1 liggen. Dit volgt rechtstreeks uit de minder strenge benchmark oefening bij het berekenen van de
conditionele efficiëntie scores, en dus hogere scores in de noemer. Trajecten worden in de conditionele
efficiëntie-analyse immers enkel vergeleken met trajecten die een gelijkaardige instroom hebben. Waardes
0
20
40
60
AVB BRU LIM MVL WEST Totaal
Cursisten per traject
0
25
50
75
100
AVB BRU LIM MVL WEST Totaal
Lesmomenten per traject
0
0,2
0,4
0,6
0,8
AVB BRU LIM MVL WEST Totaal
Gender balance lesgevers (% man)
0
10
20
30
40
50
AVB BRU LIM MVL WEST Totaal
Leeftijd lesgevers
0
2
4
6
8
10
AVB BRU LIM MVL WEST Totaal
Variatie in leeftijd (SD)
0
20
40
60
80
AVB BRU LIM MVL WEST Totaal
Variatie in uren lesgevers (SD)
Figuur 9: Variabelen regressieanalyse per centrum

22
van  die dichter bij 1 liggen geven aan dat het verschil in scores eerder beperkt is door de
omgevingsfactor(en) mee te nemen in de evaluatie. Wanneer dit verschil groot is ( dichter bij 0) heeft de
factor een nadelige invloed op het efficiëntieproces. Een toename in , wanneer de waarde van een
omgevingsfactor eveneens toeneemt, kan dus geïnterpreteerd worden als een voordelige invloed van deze
factor.
De resultaten van de eerste regressieanalyse zijn weergegeven in Figuur 10.
10
Hieruit kunnen we opmaken
dat trajecten met gemiddeld oudere cursisten en met een lager percentage niet-Belgen doorgaans positiever
beoordeeld worden in het efficiëntiemodel. Dit impliceert dat meer middelen nodig zijn om met jongere
cursisten en cursisten met een niet-Belgische nationaliteit dezelfde resultaten te behalen. Deze bevinding
benadrukt de nood van een conditioneel model wanneer de relatieve score van verschillende trajecten in
kaart wordt gebracht. Daarnaast zien we ook dat een hoger aandeel mannen initieel tot een meer negatieve
evaluatie leidt, hoewel deze relatie omkeert eens de meerderheid van de cursisten in een traject mannen zijn.
10
Alle drie de variabelen zijn significant gecorreleerd met de ratio Q, met overeenkomstige p-waardes gelijk 0.004, 0.002, en 0.000.
Figuur 10: Regressieanalyse I

23
Tot slot kunnen we uit de verticale assen afleiden dat de variatie in Q ongeveer even groot is bij alle drie de
omgevingsfactoren, met een spreiding van ongeveer 4 percent.
Figuur 11 geeft de resultaten weer van de tweede regressieanalyse.
11
Ditmaal correleren we de conditionele
efficiëntiescores (en dus niet langer de ratio Q) rechtstreeks aan de variabelen in Figuur 9. Om het relatieve
belang van de verschillende variabelen te kunnen vergelijken hebben we de verticale assen gelijkgesteld.
12
Hieruit kunnen we afleiden dat de variatie in het aantal lesmomenten niet in staat is de variatie in de
efficiëntiescores te verklaren. Hetzelfde kan gezegd worden van de verhouding mannen/vrouwen bij
lesgevers. Anderzijds zien we in Figuur 11 dat een meer homogene lesgeversgroep – uitgedrukt in leeftijd
en toegewezen uren - in staat is meer te bereiken met dezelfde cursisten, aan dezelfde kost. Hoewel we dit
niet oorzakelijk kunnen aantonen lijken de regressies te suggereren dat een groep lesgevers binnen een
gelijkaardige leeftijdsgroep en met een gelijkwaardige verdeling in het aantal uren (binnen een traject) tot
een hogere efficiëntie leiden. Daarnaast zien we ook dat trajecten als efficiënter worden beoordeeld wanneer
de gemiddelde leeftijd van de lesgevers hoger ligt. Tot slot kunnen we afleiden uit de eerste grafiek in Figuur
11
In overeenstemming met de grafieken in Figuur 11 zijn niet alle variabelen significant gecorreleerd met de conditionele efficiëntiescores van
de geëvalueerde trajecten. De overeenkomstige p-waardes zijn 0.060, 0.622, 0.680, 0.000, 0.062, 0.010.
12
Noteer dat dit bij Figuur 10 in dezelfde grafiek zou resulteren aangezien de variatie op de verticale in dezelfde grootteorde ligt.
Figuur 11: Regressieanalyse II

24
11 dat de efficiëntie initieel toeneemt wanneer het aantal cursisten per traject toeneemt, maar dat deze trend
zich omkeert eens het optimum bereikt wordt van ongeveer 100-150 cursisten.
In de technische appendix van dit rapport (Bijlage 1) werden de 122 trajecten (volledige data tussen 2006-
2015) onderworpen aan dezelfde regressieanalyses als hierboven beschreven, met variatie in tijd als een
bijkomende verklarende factor. De conclusies op basis van deze meer beperkte steekproef zijn grotendeels
overeenkomstig met de grotere steekproef van 524 trajecten die in 2013 geobserveerd werd. Het
voornaamste verschil kan gevonden worden in de tweede regressieanalyse waar efficiëntie verschillen
verklaard worden op basis van de variabelen beschreven in Figuur 9. In de technische appendix werden de
variabelen ‘aantal cursisten per traject’, en ‘aantal lesmomenten per traject’ uitgedrukt in logaritmes. Dit
heeft als voordeel dat er minder gewicht gegeven wordt aan uitbijters in de analyses. Figuur 4 in Bijlage 1
geeft dan ook ietwat andere resultaten: globaal gezien is er een hogere efficiënte bij trajecten met meer
cursisten, en met minder lesmomenten - beiden respectievelijk significant positief en negatief. De variatie
over tijd in de eerste regressieanalyse correleert niet significant met Q, wat impliceert dat er geen structurele
trend is (noch positief, noch negatief) in de efficiëntie van SYNTRA trajecten in Vlaanderen.
Naast de kwantitatieve efficiëntiestudie voorzien we een kwalitatieve uitdieping. Een efficiëntie-analyse
heeft immers als nadeel dat het vaak een ‘black box’ is, waarbij we wel tot een efficiëntiescore kunnen
komen, maar niet dieper kunnen ingaan op de onderliggende mechanismen. Door middel van
regressieanalyse kunnen we de omgevingsfactoren relateren aan de efficiëntiescores en kunnen we, rekening
houdend met deze factoren, de verschillen tussen trajecten verder verklaren. Deze analyses zijn echter strikt
beperkt tot de beschikbare administratieve data. Factoren die niet in de dataset zitten kunnen eveneens
relevant zijn, maar dit valt niet te testen met de beschikbare data. Het gaat hier meer bepaald om kenmerken
en processen op uitvoeringsniveau. Deze zijn immers niet of niet eenvoudig te kwantificeren, of dus ook
niet beschikbaar via de bestaande databanken. Via kwalitatief onderzoek (zie Deelrapport 2) kunnen we
deze meer complexe (i.e. niet eenvoudig meetbare) factoren wel in kaart brengen.

25
4. Vergelijking met andere verstrekkers
Onderzoeksdoel 3: Benchmark van SYNTRA-opleidingen ten opzichte van andere relevante
opleidingsverstrekkers in Vlaanderen.
Complementair aan de evaluatie van trajecten binnen SYNTRA vzw’s vergelijken we in deze sectie
opleidingen aangeboden door SYNTRA ten opzichte van drie relevante opleidingsverstrekkers in
Vlaanderen: VDAB opleidingen, HBO opleidingen (exclusief verpleegkunde)
13
en opleidingen aangeboden
door Centra voor Volwassenonderwijs (CVO). Deze keuze kwam tot stand in overleg met de stuurgroep en
in functie van de beschikbare gegevens. Er werd geen benchmark uitgevoerd voor private verstrekkers, bij
gebrek aan publiek beschikbare data.
Bemerk dat we hier vooral focussen op een vergelijking van de inputs (uitgaven) en outputs (aantal cursisten)
- de vergelijking van de rendementen van een diploma doen we in het derde deelrapport. Deze relatieve
benchmark heeft als voordeel dat in een oogopslag ontdekt kan worden wat de relatieve positie is van een
bepaalde organisatie ten opzichte van relevante andere aanbieders. Deze macro benchmark oefening heeft
echter ook enkele belangrijke intrinsieke nadelen. Ten eerste, het ontbreken van een algemene output-
indicator waarin alle relevante indicatoren worden opgenomen. Ten tweede ontbreken in een dergelijke
indicator correctietermen voor exogene factoren die buiten de invloed van de opleiding vallen. Ten derde
is er het onderscheid in missie en doelen van de verschillende aanbieders (zie ook hieronder). In tegenstelling
tot gedetailleerde data voor de SYNTRA vzw’s is het detailniveau van de data voor de andere verstrekkers
eerder beperkt. Dit bemoeilijkt de vergelijking van verstrekkers omwille van de volgende redenen:
1. De missie van SYNTRA, VDAB, HBO en CVO is fundamenteel verschillend. Hierdoor verschilt
de focus van de dienstverlening, en wordt de vergelijking van efficiëntie op macroniveau
bemoeilijkt. Zo vermeld VDAB bijvoorbeeld expliciet de “duurzame inschakeling op de
arbeidsmarkt van werkzoekenden” in haar missie. De instroom van cursisten is dan ook niet te
vergelijken met andere verstrekkers. Daarnaast kunnen verschillen in missie ook samengaan met
selectie-effecten bij lesgevers die kiezen om bij een bepaalde verstrekkers aan de slag te gaan.
Beide kanalen (instroom van cursisten en selectie van lesgevers) hebben een impact op de totale
kosten doordat bepaalde cursisten meer investeringen vereisen en bepaalde lesgevers (vb. meer
ervaring) een hoger barema volgen. Dit moet dus mee in rekening gebracht worden bij een
vergelijking van de efficiëntie. Doordat we geen data ter beschikking hebben die deze correcties
voor selectie-effecten toelaat (zoals in we wel konden doen in Sectie 3), moeten de resultaten met
enige zorgvuldigheid geïnterpreteerd worden.
13
In navolging van officiële indelingen van de Vlaamse Overheid splitsen we HBO van HBO Verpleegkunde. Binnen het kader van dit onderzoek
wordt deze indeling gemotiveerd door he t f eit dat deze studie wordt aangeboden in scholen voor voltijds secundair onderwijs. Zie ook
Conceptnote aan de Vlaamse Regering (25/03/2016) “Uitbouw van het Hoger Beroepsonderwijs”.

26
2. De organisatie van de verschillende verstrekkers kan eveneens leiden tot verschillen in
kosten die niet meegenomen worden wanneer we de totale kosten (of de kost per cursist)
vergelijken. Zo kunnen de kosten aan infrastructuur (vb. klaslokalen) bij CVO bijvoorbeeld
gedrukt worden door lessen te organiseren in lokalen van het leerplichtonderwijs (bijvoorbeeld
van het GO! of Katholiek Onderwijs Vlaanderen). Door deze kostenstructuur niet in rekening te
brengen – bij gebrek aan adequate en vergelijkbare data – bevoordeelt dit verstrekkers die zo
vaste kosten kunnen drukken. Om de invloed hiervan te simuleren geeft Figuur 12 ter illustratie
eveneens de vergelijking weer wanneer dit verschil in infrastructuurkosten 30% van de totale
kosten uitmaakt. Onder de veronderstelling dat de infrastructuurkosten 30% bedragen bij CVO-
instellingen, stijgt de output/input ratio van de CVO’s zodat Syntra instellingen het meest
efficiënt worden. Deze illustratie toont aan hoe partiële gegevens ertoe leiden dat de resultaten
met de nodige zorg en voorzichtigheid geïnterpreteerd moeten worden. Bovendien kunnen ook
verschillen in de organisatie van opleidingen (vb. dag- of avondopleidingen) het moeilijker maken
om eenzelfde dienstverlening te vergelijken, en zodoende uitspraken te doen over de (relatieve)
efficiëntie.
3. Inconsistenties in de data vormen een laatste wezenlijke hindernis bij de macro benchmark.
Vooreerst is de data met betrekking tot het aantal cursisten of de totale kosten niet beschikbaar
voor dezelfde jaren voor alle verstrekkers (zie Tabel 4). De data die hier gebruikt werd geeft steeds
de meest recente situatie weer. Daarnaast kunnen inconsistenties optreden afhankelijk van de
bron die gekozen werd, ondanks het officiële karakter van de gegevens. Zo vermeldt het
document “Vlaams onderwijs in cijfers 2016-2017” dat er 16 947 cursisten zijn, terwijl de
conceptnota “Uitbouw van het Hoger Onderwijs” dit aantal schat op 14 000. Deze
tegenstrijdigheden worden als volgt verklaard: “het exacte aantal varieert naargelang de telling
aangezien cursisten inschrijven per module en er dus dubbeltellingen voorkomen indien de cijfers
gegeven worden op het niveau van het centrum, de opleiding, de vestigingsplaats …”. Zodoende
is een exacte vergelijking onmogelijk, en is het in dit rapport aangewezen te focussen op de
grootteordes, eerder dan absolute waardes.
Wanneer we de totale kosten (input) delen door het totaal aantal cursisten (output), dan krijgen we de
vergelijking in Figuur 12. Rekening houdend met de hierboven aangehaalde beperkingen stellen we vast dat
er grote verschillen zijn in efficiëntie – wanneer we efficiëntie definiëren als het aantal outputs per input.
Verstrekkers die minder inputs (euros) nodig hebben per output (cursist), zijn dus efficiënter. SYNTRA
opleidingen blijken het meest efficiënt, na CVO opleidingen. Noteer dat de potentiële verschillen in
infrastructuurkosten (vb. leslokalen) het verschil tussen deze laatste verstrekkers kunnen verklaren, en dat
de efficiëntieverschillen zelfs kunnen omdraaien wanneer we rekening houden met deze kosten. De veel
hogere kost per cursist bij VDAB opleidingen kan dan opnieuw mogelijks verklaard worden door selectie
effecten van lesgevers en cursisten. De missie van VDAB is sterk verschillend van de andere drie
verstrekkers en biedt opleidingen aan voor doelgroepen die potentieel hogere investeringen vereisen.

27
Onderzoek met meer gedetailleerde data is vereist om de bevindingen in Figuur 12 te bevestigen, na correctie
voor verschillen in kostenstructuren, lesgevers, en cursisten.
In het volgende deelrapport zullen de verschillende verstrekkers vergeleken worden vanuit kwalitatief
oogpunt, wat toelaat mechanismes bloot te leggen die verschillen in efficiëntie verklaren. Deze analyses
kunnen dus als complementair gezien worden aan de analyses in deze sectie.
Tabel 4: Vergelijking SYNTRA en andere opleidingsverstrekkers in Vlaanderen
Input: Totaal budget
Verstrekker
€ (miljoen)
Bron
SYNTRA
42.354
Enveloppes-saldo 2016-2017 (lesgeverskosten + leningen +
voorschotten+ beheerskosten)*
VDAB
378.756
Jaarrapport VDAB 2018 (Competentieversterking +
Dienstverlening aan werkgevers + werkplekleren)
HBO**
33.125
Bijlage Conceptnota aan Vlaamse Regering (25/03/2016)
CVO
327.000
Bijlage Conceptnota aan Vlaamse Regering (25/03/2016)
Output: Aantal cursisten
Verstrekker
Aantal
Bron
SYNTRA
33 107
Unieke persoon-IDs in 2016-17*
VDAB
57 013
Jaarverslag VDAB 2017
HBO**
16 947
Vlaams Onderwijs in Cijfers (2016-17)
CVO
310 828
Conceptnota aan Vlaamse Regering (2014-15)
* Data beschikbaar gesteld door SYNTRA Vlaanderen.
** Alle opleidingen exclusief verpleegkunde.
1.954,62
6.643,33
1.391,95 1.052,03
-
1.000,00
2.000,00
3.000,00
4.000,00
5.000,00
6.000,00
7.000,00
HBO VDAB Syntra CVO
Figuur 12: Output/Input ratio voor verschillende opleidingsverstrekkers van
volwassenonderwijs in Vlaanderen. Zie tekst voor interpretatie.
1,502.90

28
5. Management samenvatting
Dit eerste deelrapport bestudeert ondernemerschapsopleidingen (OO) vanuit de literatuur en vergelijkt de
efficiëntie van SYNTRA opleidingen zowel binnen verschillende centra als ten opzichte van andere
relevante Vlaamse opleidingsverstrekkers. De volgende vragen worden in dit deel beantwoord:
Efficiëntie: Welke kwalitatieve en kwantitatieve factoren hebben een invloed op de efficiëntie van de
opleidingen georganiseerd door de SYNTRA vzw’s?
Benchmark van SYNTRA opleidingen ten opzichte van andere relevante opleidingsverstrekkers in
Vlaanderen.
De bevindingen op basis van onze analyses kunnen als volgt samengevat worden, per onderdeel:
1. De wetenschappelijke literatuur geeft duidelijk het belang aan van OO voor de samenleving als
geheel. De bijdrage van OO is hier sterk afhankelijk van het algemene ondernemersklimaat, en in
het bijzonder de samenwerking tussen opleidingsverstrekkers en de bedrijfswereld. Daarnaast
kwamen ook de voordelen voor cursisten naar voren. Verschillende non-cognitieve vaardigheden
(vb. creativiteit, doorzettingsvermogen) kunnen verder ontplooid worden bij het volgen van een
OO. Deze vaardigheden voor de 21e eeuw maken cursisten weerbaarder in een steeds complexere
en globale wereld, terwijl ondernemingen hun productiviteit kunnen verhogen wanneer
werknemers deze vaardigheden bezitten. Tot slot gaf de literatuur aan dat contextfactoren van
cursisten cruciaal zijn voor de impact van een OO. Een gerichte aanpak die rekening houdt met
minderheidsgroepen en focust op vrouwelijke ondernemers blijkt het meest doeltreffend. In het
algemeen is de aanbeveling voor onderwijsverstrekkers om te experimenteren met verschillende
benaderingen en nauwgezet data te verzamelen voor verschillende uitkomstmaatstaven. Zo kan
de keuze van een bepaalde aanpak gestoeld worden op kwantitatieve bevindingen en kunnen best
practices onderling gedeeld worden.
2. De efficiëntie analyse binnen SYNTRA vzw’s voor verschillende trajecten illustreerde dat,
naargelang de sector en het centrum, de scores uiteenlopend kunnen zijn. Bij het benchmarken
van de trajecten werd eveneens duidelijk dat het noodzakelijk is om rekening te houden met de
instroomleeftijd, geslacht en socio-economische achtergrond van de cursisten. Wanneer hier niet
voor wordt gecorrigeerd geeft een vergelijkende studie een vertekend beeld. Daarnaast stelden we
ook vast dat, na correctie voor de instroom, trajecten het relatief beter doen wanneer (1) lesgevers
meer homogeen zijn qua eigenschappen, en qua uurverdeling; (2) lesgevers gemiddeld jonger zijn,
en (3) het aantal cursisten een optimum bereikt (tussen de 50 en 150 cursisten).

29
3. In een laatste analyse werd de efficiëntie van SYNTRA vergeleken met andere opleidingsverstrekkers
in Vlaanderen. Ten opzichte van deze andere verstrekkers scoort SYNTRA relatief sterk, enkel
opleidingen aangeboden door CVO’s doen beter – mogelijks door lagere kosten aan infrastructuur. De
verschillen met HBO en VDAB zijn noemenswaardig, en kunnen potentieel grotendeels worden
toegeschreven aan verschillen in omschrijving van de kerntaken en de bijhorende instroom van
cursisten en lesgevers. Op basis van de data die beschikbaar was voor deze analyses is het echter moeilijk
om sterke uitspraken te doen over de relatieve efficiëntie. Complementaire kwalitatieve analyses in het
volgende deelrapport kunnen hier meer inzichten bieden.
Dit rapport heeft als doel de opdrachten van het SYNTRA-netwerk en SYNTRA Vlaanderen te evalueren
met behulp van een kwantitatief en kwalitatief onderzoek. Het volgende deelrapport zal dan ook dieper
ingaan op de mechanismes en verklaringen achter de patronen die blootgelegd werden op basis van de
kwantitatieve analyses in dit rapport.

30
6. Bibliografie
Aragon, Y., Daouia, A., & Thomas-Agnan, C. (2005). Nonparametric frontier estimation: a conditional
quantile-based approach. Econometric Theory, 21(2), 358–389.
Asmild, M., Balezentis, T., & Hougaard, J. L. (2016). Multi-directional program efficiency: the case of
Lithuanian family farms. Journal of Productivity Analysis, 45(1), 23–33.
Bae, T., Qian, S., Miao, C., & Fiet, J. (2014). The Relationship Between Entrepreneurship Education and
Entrepreneurial Intentions: A Meta-Analytic Review. Entrepreneurship Theory and Practice, 38(2), 217–
254.
Blanden, J., Buscha, F., Sturgis, P., & Urwin, P. (2012). Measuring the earnings returns to lifelong learning
in the UK. Economics of Education Review, 31, 501–514.
Cazals, C., Florens, J.-P., & Simar, L. (2002). Nonparametric frontier estimation: a robust approach. Journal
of Econometrics, 106(1), 1–25.
Charnes, A., Cooper, W. W., & Rhodes, E. (1978). Measuring the efficiency of decision making units.
European Journal of Operational Research, 2(6), 429–444.
Charnes, A., Cooper, W. W., & Rhodes, E. (1981). Evaluating Program and Managerial Efficiency : An
Application of Data Envelopment Analysis to Program Follow Through. Management Science, 27(6),
668–697.
Chen, Y., Cook, W. D., Du, J., Hu, H., & Zhu, J. (2017). Bounded and discrete data and Likert scales in data
envelopment analysis: application to regional energy efficiency in China. Annals of Operations Research,
347–366.
Cherchye, L., Demuynck, T., De Rock, B., & De Witte, K. (2014). Non-parametric analysis of multi-output
production with joint inputs. Economic Journal, 124(577), 735–775.
Chrisman, J. J., McMullan, E., & Hall, J. (2005). The influence of guided preparation on the long-term
performance of new ventures. Journal of Business Venturing, 20(6), 769–791.
Cordero, J. M., Alonso-Morán, E., Nuño-Solinis, R., Orueta, J. F., & Arce, R. S. (2015). Efficiency
assessment of primary care providers: A conditional nonparametric approach. European Journal of
Operational Research, 240(1), 235–244.
Daraio, C., & Simar, L. (2005). Introducing environmental variables in nonparametric frontier models: A
probabilistic approach. Journal of Productivity Analysis, 24(1), 93–121.
Daraio, C., & Simar, L. (2007). Conditional nonparametric frontier models for convex and nonconvex
technologies: a unifying approach. Journal of Productivity Analysis, 28(1), 13–32.
De Rick, K., Mazrekaj, D., & De Witte, K. (2016). Het rendement van opleidingen in het beleidsdomein ‘werk’. Een
conceptuele analyse en ont-wikkeling van een meetmodel.
De Witte, K. (2007). Het beste van twee werelden: Vewin versus Dijkgraaf (‘The best of two worlds: Vewin
versus Dijkgraaf’). Helder, 2(7), 6–7.
De Witte, K., & Geys, B. (2013). Citizen coproduction and efficient public good provision: Theory and
evidence from local public libraries. European Journal of Operational Research, 224(3), 592–602.
De Witte, K., & Kortelainen, M. (2013). What explains the performance of students in a heterogeneous
environment? Conditional efficiency estimation with continuous and discrete environmental variables.
Applied Economics, 45(17), 2401–2412.
De Witte, K., & López-Torres, L. (2014). Efficiency in Education . A review of literature and a way forward.
Journal of the Operational Research Society, 1–25.
De Witte, K., & Schelfhout, W. (2015). Vakdidactiek Economie. Lannoo Campus.
De Witte, K., & Schiltz, F. (2018). Measuring and explaining organizational effectiveness of school districts.
Evidence from a robust and conditional Benefit-of-the-Doubt approach. European Journal of Operational
Research, 267(3), 1172–1181.
Declercq, K., & Verboven, F. (2018). Uitdagingen voor het hoger onderwijs. In K. De Witte & J. Hindriks
(Red.), De (her)vormende school (p. 248). Skribis.
Deprins, D., Simar, L., & Tulkens, H. (1984). Measuring labor inefficiency in post offices. The Performance of Public
Enterprises: Concepts and measurements. M. Marchand, P. Pestieau and H. Tulkens (eds.). North-Holland,
Amsterdam.
Dickson, P. H., Solomon, G. T., & Weaver, K. M. (2008). Entrepreneurial selection and success: Does
education matter? Journal of Small Business and Enterprise Development, 15(2), 239–258.
Europese Unie. (2006). Aanbeveling van het Europees Parlement en de Raad van 18 december 2006 inzake
sleutelcom-petenties voor een leven lang leren. Publicatieblad van de Europese Unie.
Farrell, M. J. (1957). The measurement of productive efficiency. Journal of the Royal Statistical Society. Series A
(General), 120(3), 253–290.

31
Farrington, C. A., Roderick, M., Allensworth, E., Nagaoka, J., Keyes, T. S., Johnson, D. W., & Beechum,
N. O. (2012). Teaching Adolescents To Become Learners The Role of Noncognitive Factors in
Shaping School Performance: A Critical Literature Review. ERIC.
Gibb, A. (2002). In Pursuit of a New ’ Enterprise ’ and ’ Entrepreneurship ’ Paradigm for Learning: Creative
Destruction , New Values , New Ways of Doing Things and New Combinations of Knowledge.
International Journal of Management Revviews, 4(3), 233–269.
Gibb, A., & Hannon, P. (2006). Towards the Entrepreneurial University. International Journal of
Entrepreneurship Education, 4(1), 73–110.
Global Entrepreneurship Monitor. (2017). Global Report.
Haelermans, C., & De Witte, K. (2012). The role of innovations in secondary school performance - Evidence
from a conditional efficiency model. European Journal of Operational Research, 223(2), 541–549.
Hampf, B., Rødseth, K. L., & Løvold, K. (2015). Carbon dioxide emission standards for U.S. power plants:
An efficiency analysis perspective. Energy Economics, 50, 140–153.
Hanushek, E. A. E., & Woessmann, L. (2008). The role of cognitive skills in economic development. Journal
of economic literature, 46(3), 607–668.
Hanushek, E. a, & Kimko, D. D. (2000). Schooling, Labor Force Quality, and the Growth of Nations.
American Economic Review, 90(5), 1184–1208.
Huber, L. R., Sloof, R., & Van Praag, M. (2014). The effect of early entrepreneurship education: Evidence
from a field experiment. European Economic Review, 72, 76–97.
Hytti, U., & O’Gorman, C. (2004). What is “enterprise education”? An analysis of the objectives and
methods of enterprise education programmes in four European countries. Education + Training, 46(1),
11–23.
Jerrim, J., Lopez-Agudo, L. A., Marcenaro-Gutierrez, O. D., & Shure, N. (2017). What happens when
econometrics and psychometrics collide? An example using the PISA data. Economics of Education
Review, 61(August), 51–58.
Johnes, J. (2006). Data envelopment analysis and its application to the measurement of efficiency in higher
education. Economics of Education Review, 25(3), 273–288.
Johnes, J. (2015). Operational Research in Education. European Journal of Operational Research, 243(3).
Kirkwood, J., Dwyer, K., & Gray, B. (2014). Students’ reflections on the value of an entrepreneurship
education. International Journal of Management Education, 12(3), 307–316.
Küttim, M., Kallaste, M., Venesaar, U., & Kiis, A. (2014). Entrepreneurship Education at University Level
and Students’ Entrepreneurial Intentions. Procedia - Social and Behavioral Sciences, 110, 658–668.
Lackéus, M. (2015). Entrepreneurship in education: What, why, when, how. Paris.
Lackéus, M., & Williams Middleton, K. (2015). Venture creation programs : bridging entrepreneurship
education and technology transfer. Education, 57(1), 48–73.
Li, Q., & Racine, J. (2007). Nonparametric Econometrics: Theory and Practice. Princeton University Press.
Li, Q., & Racine, J. S. (2008). Nonparametric estimation of conditional CDF and quantile functions with
mixed categorical and continuous data. Journal of Business & Economic Statistics, 26(4), 423–434.
Maresch, D., Harms, R., Kailer, N., & Wimmer-Wurm, B. (2016). The impact of entrepreneurship education
on the entrepreneurial intention of students in science and engineering versus business studies
university programs. Technological Forecasting and Social Change, 104, 172–179.
Martin, B. C., McNally, J. J., & Kay, M. J. (2013). Examining the formation of human capital in
entrepreneurship: A meta-analysis of entrepreneurship education outcomes. Journal of Business
Venturing, 28, 211–224.
Montes, G. C., & Bastos, J. C. A. (2013). Economic policies, macroeconomic environment and
entrepreneurs’ expectations: Evidence from Brazil. Journal of Economic Studies, 40(3), 334–354.
Morselli, D., Costa, M., & Margiotta, U. (2014). Entrepreneurship education based on the Change
Laboratory. International Journal of Management Education, 12(3), 333–348.
Neck, H. M., & Greene, P. G. (2011). Entrepreneurship Education: Known Worlds and New Frontiers.
Journal of Small Business Management, 49(1), 55–70.
OECD. (2009). Evaluation of Programmes Concerning Education for Entrepreneurship. Paris.
OECD. (2015). Entrepreneurship in Education: What, why, when, how. Paris.
OECD. (2017a). Entrepreneurship at a Glance. Paris.
OECD. (2017b). Entrepreneurship at a Glance 2017. Paris. Geraadpleegd van
http://dx.doi.org/10.1787/entrepreneur_aag-2017-en
Olesen, O. B., Petersen, N. C., & Podinovski, V. V. (2015). Efficiency analysis with ratio measures. European
Journal of Operational Research, 245(2), 446–462.
Oosterbeek, H., van Praag, M., & IJsselstein, A. (2008). The Impact of Entrepreneurship Education on
Entrepreneurship Competencies and Intentions: An Evaluation of the Junior Achievement Student

32
Mini-Company Program. SSRN Electronic Journal.
Oosterbeek, H., van Praag, M., & IJsselstein, A. (2010). The impact of entrepreneurship education on
entrepreneurship skills and motivation. European Economic Review, 54(3), 442–454.
Pittaway, L., & Cope, J. (2007). Simulating entrepreneurial learning: Integrating experiential and
collaborative approaches to learning. Management Learning, 38(2), 211–233.
Premand, P., Brodmann, S., Almeida, R., Grun, R., & Barouni, M. (2016). Entrepreneurship Education and
Entry into Self-Employment Among University Graduates. World Development, 77, 311–327.
Puri, J., Yadav, S. P., Garg, H., Prasad, S., & Harish, Y. (2017). A new multi-component DEA approach
using common set of weights methodology and imprecise data: an application to public sector banks
in India with undesirable and shared resources. Annals of Operations Research, 259(1–2), 351–388.
Rauch, A., & Hulsnik, W. (2015). Putting entrepreneurship education where the intention to act lies: An
investigation into the Impact of Entrepreneurship Education on Entrepreneurial Behavior. Academy of
Management Learning & Education, 14(2), 187–204.
Ruskovaara, E., Hämäläinen, M., & Pihkala, T. (2016). HEAD teachers managing entrepreneurship
education - Empirical evidence from general education. Teaching and Teacher Education, 55, 155–164.
Simar, L., & Wilson, P. W. (2007). Estimation and inference in two-stage, semi-parametric models of
production processes. Journal of Econometrics, 136(1), 31–64.
Simar, L., & Wilson, P. W. (2011). Inference by the m out of n bootstrap in nonparametric frontier models.
Journal of Productivity Analysis, 36(1), 33–53.
Testa, S., & Frascheri, S. (2015). Learning by failing: What we can learn from un-successful entrepreneurship
education. International Journal of Management Education, 13(1), 11–22.
Thanassoulis, E., De Witte, K., Johnes, J., Johnes, G., Karagiannis, G., & Portela, C. S. (2016). Applications
of Data Envelopment Analysis in Education. In J. Zhu (Red.), Data Envelopment Analysis. International
Series in Operations Research & Management Science. (vol 238). Boston: Springer.
von Davier, M., Gonzalez, E. J., & Mislevy, R. J. (2009). What are plausible values and why are they useful?
IERI monograph series: Issues and methodologies in large-scale assessments, 2, 9–36. Geraadpleegd van
http://www.ierinstitute.org/fileadmin/Documents/IERI_Monograph/IERI_Monograph_Volume_
02_Chapter_Introduction.pdf
von Graevenitz, G., Harhoff, D., & Weber, R. (2010). The effects of entrepreneurship education. Journal of
Economic Behavior and Organization, 76(1), 90–112.
Walter, S. G., & Block, J. H. (2016). Outcomes of entrepreneurship education: An institutional perspective.
Journal of Business Venturing, 31(2), 216–233.
Warhuus, J. P., & Basaiawmoit, R. V. (2014). Entrepreneurship education at Nordic technical higher
education institutions: Comparing and contrasting program designs and content. International Journal of
Management Education, 12(3), 317–332.
World Bank. (2018). World Bank Open Data. Geraadpleegd van data.worldbank.org
World Economic Forum. (2009). A Report of the Global Education Initiative. Geneva.

33
Bijlage 1: Technisch rapport methode en resultaten
van panel data
Managerial Efficiency and Efficiency Differentials in Adult Education: A
Conditional and Bias-Corrected Efficiency Analysis
14
Fritz Schiltz δ, Kristof De Witte δ‡ and Deni Mazrekaj δ
(δ): KU Leuven, Leuven Economics of Education Research, Naamsestraat 69, 3000 Leuven (Belgium),
fritz.schiltz@kuleuven.be; kristof.dewitte@kuleuven.be; deni.mazrekaj@kuleuven.be.
(‡): Maastricht University, Top Institute for Evidence Based Education Research, Kapoenstraat 2, MD 6200 Maastricht (the Neth-
erlands), k.dewitte@maastrichtuniversity.nl.
Abstract
This article proposes an advanced conditional efficiency model that estimates efficiency while accounting for sampling
noise. In particular, we extend the conditional efficiency model by correcting for bias within conditional draws, using
the m out of n bootstrap procedure. With a unique panel dataset, we estimate managerial efficiency (i.e. accounting
for nondiscretionary variables) and explain efficiency differentials of adult education programs in Flanders. Our
results suggest that the characteristics of learners in a program matter for managerial efficiency, and that teacher
characteristics are strongly correlated with efficiency differentials, as more homogeneity in the teacher workforce appears
to result in higher program efficiency.
Keywords: Adult education; Conditional efficiency; Bias-correction; Bootstrapping.
JEL-classification: L2, I2
Word count: 6,170
14
The authors are grateful to participants of DEA40 in Birmingham for many useful suggestions, in particular
Léopold Simar and Paul Wilson. The authors acknowledge financial support from Syntra Flanders. Cor-
responding author: Fritz Schiltz.

34
1. Introduction
A country’s human capital, proxied by the educational attainment of the adult population, is an
important driver of economic growth ( Hanushek & Kimko, 2000; Hanushek & Woessmann,
2008). Yet, in 2016, about 21 percent of the adult population (25-64 year-olds) in the OECD coun-
tries had not completed upper secondary education (OECD, 2017). Consequently, most OECD
countries have devised policy objectives to enhance the educational attainment of the adult popu-
lation. For instance, the European Education and Training 2020 framework aims to increase the
11.7 percent participation rate in adult education in 2016 to 15 percent by 2020. Adult education
is particularly important given the increased outsourcing, continuous developments in technology,
and a trend towards job-polarization.
This article evaluates the efficiency of adult education programs. Since the seminal work by
Charnes, Cooper, & Rhodes (1978), applications of efficiency models have emerged in various
sectors, ranging from health care (e.g. Cordero, Alonso-Morán, Nuño-Solinis, Orueta, & Arce,
2015), water (Cherchye, Demuynck, De Rock, & De Witte, 2014), banking (Puri, Yadav, & Garg,
2017), public sector (De Witte & Geys, 2013), farming (Asmild, Balezentis, & Hougaard, 2016) or
energy (e.g. Chen, Cook, Du, Hu, & Zhu, 2017; Hampf, Rødseth, & Løvold, 2015). In addition, a
particularly rich efficiency literature focuses on education (see De Witte & López-Torres, 2014;
Johnes, 2015; Thanassoulis et al., 2016 for a review). Although efficiency has been estimated in
primary (Blackburn, Brennan, & Ruggiero, 2014), secondary (Portela, Camanho, & Borges, 2012)
and higher education (Johnes, 2006), adult education has received no attention in the efficiency
literature. To the best of our knowledge, no article in the efficiency literature has estimated the
efficiency of adult education programs. Outside the efficiency literature, a number of articles have
estimated the causal effects of such programs (Blanden, Buscha, Sturgis, & Urwin, 2012; Martin et
al., 2013; Oosterbeek et al., 2010). These studies generally conclude that adult education increases
labour market outcomes. Yet, evaluating the efficiency of adult education programs is particularly
important to ensure that budget resources are allocated in a way that maximizes outcomes.
This article contributes to the literature in at least three ways. First, from a methodological per-
spective, we introduce an innovative approach to estimate efficiency in the presence of heteroge-
neity and sampling noise. In particular, we extend the commonly used conditional model (Daraio
& Simar, 2007) by correcting for bias within conditional draws, using the m out of n bootstrap
procedure (Simar & Wilson, 2011). Inputs and outputs are often noisy measures, especially when
education data is used, due to uncertainty when statistical procedures are not adhered to. For in-
stance, inputs and outputs may be noisy due to imputation errors from using plausible values (PVs)

35
in PISA (Jerrim, Lopez-Agudo, Marcenaro-Gutierrez, & Shure, 2017), due to inaccurate use of
survey tests (von Davier, Gonzalez, & Mislevy, 2009), or due to measurement errors and outlying
observations. As a result, efficiency estimates can be biased, despite the use of conditional models
that account for observed heterogeneity.
15
As a second contribution, we distinguish between man-
agerial efficiency and efficiency differentials. The former does not allow separability as nondiscre-
tionary variables need to be accounted for in a conditional model. The latter can be regressed on a
set of discretionary variables using a two-stage approach, as the attainable set is not affected by
those variables (separability) (Cherchye et al., 2014). Third, we extend the efficiency of education
literature to the yet unexplored field of adult education. We do so by exploiting a unique panel
dataset from the Belgian region of Flanders. This dataset comprises detailed information on pro-
gram costs and learners’ outcomes, in addition to a rich set of both learners’ and teachers’ charac-
teristics. Using this dataset, managerial efficiency estimates can be obtained while accounting for
the observed characteristics of learners in a program, and efficiency differentials can be explained
using discretionary teacher and program characteristics.
Our results indicate that a larger share of low educated learners has an unfavorable influence on
the evaluation of adult education programs. By contrast, a larger share of men appears to have a
favorable influence on the evaluation of adult education programs, while the age of learners does
not appear decisive. Overall, we observe that characteristics of learners matter significantly for
managerial efficiency, motivating the need for a conditional model. In addition, we find that a
considerable amount (over 30 percent) of the bias in our unconditional estimates persists when a
conditional model is used to obtain managerial efficiency estimates, despite the subsampling ap-
proach implemented to obtain the latter. This highlights the importance of a bias-correction in
conditional models. With respect to the efficiency differentials, we find that teacher and program
characteristics are able to explain efficiency differentials between adult education programs. In par-
ticular, female teachers and a more homogenous teacher composition, in terms of age and number
of hours allocated to teachers, are likely to correspond with a higher program efficiency.
The remainder of the article is structured as follows. Section 2 proposes the conditional and bias-
corrected efficiency model. Section 3 provides a brief introduction to the adult education system
in Flanders and presents the data. Section 4 presents the results and section 5 concludes.
2. Methodology
2.1 Efficiency in Adult Education
15
The suggested approach can also be applied in other fields where sampling noise is present. To facilitate further applications, the R code is
available upon request.

36
Data Envelopment Analysis (DEA) models have received considerable attention in the effi-
ciency literature, considering their ability to aggregate information on different inputs and outputs.
The DEA model emanates from work by Farrell (1957), later implemented by Charnes, Cooper, &
Rhodes, 1978; 1981). Our study further extends this non-parametric methodology and applies it
on the yet relatively unexplored field of adult education. In particular, we estimate the efficiency of
adult education program o using the following baseline output-oriented model:


   (1)
     (1a)
         (1b)
  (1c)
 
   (1d)
Solving the above linear program essentially constructs a production frontier composed of effi-
cient education programs, and benchmarks all programs relative to this frontier. The DEA model
in (1) yields an efficiency score  for program o, with q different outputs y, weighted by u, after
normalizing the p different inputs x, weighted by v, in (1a). The weights u and v are determined
endogenously to maximize this score. Condition (1b) requires the efficiency score of each educa-
tion program o to attain at most 1, while (1c) implies that efficiency is increasing in the outputs
used to construct it – i.e. weights are non-negative. The final condition (1d) imposes an integer
formulation, i.e. the Free Disposal Hull (FDH) model of Deprins, Simar, & Tulkens (1984), rather
than imposing a convexity assumption on the production frontier. Note that in the application at
hand (see Section 2), all output variables are expressed as ratios. An additional benefit of FDH
estimates is that the omission of convexity allows the use of ratio measures in our output-oriented
model (Olesen, Petersen, & Podinovski, 2015).
The baseline FDH model, as presented above, can be improved along three lines. First, environ-
mental variables which are not at the discretion of managers need to be included in the analysis to
obtain an estimate of managerial efficiency. In the application at hand, the observed differences in
learners’ characteristics between programs call for a method that accounts for the environment
when assessing performance, as the inflow of learners cannot be directly manipulated. Second, in
the presence of noisy data, emanating from inaccurate use of survey tests (e.g. Jerrim et al., 2017;
von Davier et al., 2009), invalid assessments, measurement errors or outliers in the inputs or out-
puts, conditional efficiency estimates should be corrected for bias. Parametric evidence suggests
that ignoring similar uncertainty in the data results in biased estimates (e.g. Jerrim et al., 2017; von
Davier et al., 2009). Third, variables at the discretion of managers can be used to explain differen-
tials in conditional and bias-corrected efficiency differentials and draw policy conclusions. The next
subsections provide more details on these extensions.
2.2 Conditional Efficiency

37
One possible approach to account for nondiscretionary variables that are beyond the influence
of the observation’s managers (the ‘environment’) would be to obtain efficiency estimates using
our baseline model (1) and regress these estimates on nondiscretionary variables (Z). However, this
approach would impose a ‘separability’ condition, claiming that variables in Z are not affecting the
attainable set, or production frontier (Simar & Wilson, 2007). Clearly, this assumption is unlikely
to hold when different types of learners sort into programs (see Section 3). Therefore, we evaluate
adult education programs relative to a sample of programs with similar characteristics z. For each
program o, we draw B subsamples of size m where the likelihood of being drawn depends on z and
the kernel function estimated around z.
16
Each subsample is then used to compute a `conditional’
efficiency score
17
:
 (2)
For example, education programs with mostly low educated and male learners are more likely to
be drawn into the reference set of program o when this program has a similar inflow of learners.
18
This contrasts to an unconditional model where the likelihood of being included in the reference
set is independent of Z, and hence equal for all units. As a result, when applying the conditional
model, the assumption that variables in Z are independent of the attainable set (i.e. separability)
need not be imposed as programs are ‘liked with likes’. In our application, we only include contin-
uous (Epanechnikov kernel function) and ordered discrete variables (Li & Racine, 2007; De Witte
& Kortelainen, 2013) and estimate bandwidths using least squares cross-validation (Li & Racine,
2008).
2.3 Conditional and Bias-Corrected Efficiency
We correct for possible remaining sampling noise in the conditional sample. A naive bootstrap
is invalid for FDH (Model 1) estimators as the sample maximum is drawn too frequently (Simar &
Wilson, 2011). Therefore, we follow Simar & Wilson (2011) by implementing the m out of n boot-
strap procedure. As we are drawing B subsamples (of size s) from within the conditional draws (of
size m), without replacement, we essentially implement an s out of m approach.
19
Denote the bias-
corrected efficiency score as follows:

  (3)
 

 


  
Correcting for bias can prove useful in applications with noisy data in general and education data
in particular. In education, inputs and outputs are often noisy measures (e.g. Jerrim et al. (2017) for
16
To avoid super-efficient observations, the evaluated observation is always added to the reference set.
17
We set m=200, in accordance with the procedure described by Daraio & Simar (2007), see Figure 2.
18
This approach resembles to a traditional matching analysis (see De Witte & López-T orres, 2014).
19
We set the subsample size s=mk equal to 118, which corresponds to k=0.9. In unconditional bias-corrected estimates, the subsample size is equal
to 644 (= nk).

38
a discussion of imputation error through the misuse of plausible values of PISA test scores). De-
spite mitigating the influence of outlying observations by the B draws of size m in the conditional
efficiency estimator, the noisy input and output variables can result in biased estimates. The pro-
posed method, combining conditional and bias-corrected efficiency, can be seen as an alternative
to partial frontier approaches such as the robust order-m approach (Cazals, Florens, & Simar, 2002;
Daraio & Simar, 2007) or order-α approach (Aragon, Daouia, & Thomas-Agnan, 2005). Although
the conditional estimates account for the operational environment an observation is operating in,
subsampling within conditional draws allows us to correct for remaining bias in the input and output
variables of the conditional estimates. As we will illustrate in Section 4, bias-corrected estimates of
the conditional model can still differ considerably from their conditional counterparts, despite an
m out of n procedure being used to obtain the latter. In the application at hand, over 30 percent of
the initially estimated bias remains after conditionally subsampling. As an additional advantage, con-
fidence intervals can be constructed from the distribution of bootstrap estimates, which facilitates
the comparison and ranking of evaluated units (e.g. Johnes, 2006).
2.4 Statistical inference for managerial efficiency and efficiency differentials
Once conditional and unconditional bias-corrected efficiency estimates are obtained for every pro-
gram o, we can compute the ratio of both:



 (4)
Using this ratio, it is possible to gain insights into which nondiscretionary characteristics are favor-
able and unfavorable when measuring managerial efficiency (Daraio & Simar, 2005). For example,
when Q is increasing with the number of learners in program, it suggests that having more learners
in a program is favorable. Nonparametric regression plots uncover such (nonlinear) relationships
and corresponding significance levels can be computed (Li & Racine, 2007).
In order to explain efficiency differentials, we regress the conditional and bias-corrected efficiency
estimates on a set of explanatory variables in a nonparametric two-stage regression. As noted in
Section 3, this set of variables consists of teacher and program characteristics that are discretionary,
and hence subject to optimization by program providers. In contrast to the composition of learners
choosing to enroll in a program, which cannot be directly manipulated, these variables are not
included in the set of conditional variables. Again, nonparametric regression plots and significance
levels can be obtained (Li & Racine, 2007).
2.5 Summary of the methodology
Summarizing our approach, we proceed in four steps to measure and explain managerial effi-
ciency. First, a subsample of size m is drawn based on a set of nondiscretionary characteristics (Z).
Second, using this sample, the efficiency score is corrected for bias in inputs and outputs using
bootstrapped (size s) estimates. This procedure is repeated many times to mitigate the influence of

39
a single conditional draw.
20
Third, after averaging the results for each procedure, we compute the
ratio of unconditional over conditional estimates to gain insights into which characteristics are
favorable and unfavorable when measuring managerial efficiency (Daraio & Simar, 2005), and com-
pute significance levels (Li & Racine, 2007). Finally, we explain efficiency differentials in condi-
tional and bias-corrected efficiency estimates using a set of discretionary variables in a nonpara-
metric regression.
3. Data and Background
Adult education programs in Flanders aim to provide lifelong learning opportunities to adults in
various sectors (i.e. technology, management, environment, food, design, and materials), and are
designed to foster entrepreneurship within these sectors. No prerequisites are required for enrol-
ment, although multiple programs can be organized in an adjacent manner, increasing in the diffi-
culty level. Completion of previous programs will then be needed to proceed to the next program.
The length of programs can vary considerably, but is at the discretion of centers providing adult
education. Adult education programs are subsidized in an output-oriented manner by the Flemish
government. Centers of adult education receive funding per student obtaining his or her certificate,
depending on the length of the program and whether or not it is an officially recognized program.
In contrast to the financing of compulsory education, funding is not earmarked such that resources
can be allocated freely by the centers. Adult education programs are available throughout Flanders,
as displayed in Figure 1.
Our dataset covers the period 2006-2015 and includes detailed information on learners, teachers,
and programs. We analyze efficiency at the program level to explain the differences in the ability
of programs to transform inputs into outputs. All models estimated here are output-oriented, as
our focus is on the maximization of learners’ outcomes for a given set of inputs. The first panel of
Table 1 reports summary statistics for the input and the outputs. As an input, we consider the cost
per learner for each session. This input is measured in euros and computed by dividing the total
cost of a program by the number of learners in a program and the number of sessions in a program.
The total cost is obtained by multiplying the average hourly wage of teachers assigned to the pro-
gram and the total number of hours taught. Hence, the cost per learner for each session is affected
by the number of sessions, the number of learners, the number of hours taught, and the wage of
the teachers hired for the program. Note that only the latter cost component cannot be altered by
providers of entrepreneurial programs, as the teachers’ wage is set by the central government. Sum-
mary statistics on the number of sessions per program and the number of learners per program are
provided in Table 1. In terms of outputs, we calculated the average score on the final exam, the
20
The number of repetitions is set at 200, analogous to the number of conditional bootstrap draws of size m.

40
overall presence in the classes (reported by teachers and very accurate as it is used for funding
purposes), and the participation rate of students in the final exam. The outputs are chosen in ac-
cordance with the criteria for evaluation put forward by the Flemish government, although the
efficiency framework allows us to refrain from imposing any weighting structure on the outputs.
All outputs are measured as ratios, ranging from 0 to 1.
The second panel of Table 1 presents summary statistics for learners enrolled in an adult educa-
tion program between 2006 and 2015. Our dataset includes information on the share of boys rela-
tive to girls (‘gender balance’), the average age of learners, the share of low educated (at most high
school) learners, the number of sessions per program, and the size of the program – measured as
the number of learners. Apart from the two latter variables, learner characteristics cannot be di-
rectly manipulated by providers of adult education programs. Therefore, in order to benchmark
programs in a more equitable manner, we compare programs that started with a similar composi-
tion of learners using a conditional efficiency model. It can be seen intuitively that non-discretion-
ary variables (e.g. prior education of learners choosing a program) should be taken into account
when benchmarking programs, while discretionary variables (e.g. the size of the groups created per
program) should not. Along the same lines, the panel data structure requires programs to be eval-
uated relative to programs instructed in the same reference period to account for time-varying
efficiency.
In addition to characteristics of learners following adult education programs, our unique dataset
allows the inclusion of the gender balance of teachers, their average age, but also the variation in
age between teachers and the way teaching hours are allocated between teachers. In the third panel,
we present this set of variables related to programs’ teacher workforce and the corresponding sum-
mary statistics. It is debatable whether teacher characteristics can be altered at will. Evaluating adult
education programs in Flanders, two arguments can be raised to not include them as conditions in
our model. First, the employment restrictions in adult education are less strict than in the compul-
sory education system. Teachers in adult education can be hired and fired more easily compared to
those employed in the compulsory education system, making them more prone to managerial
forces – and hence can be considered discretionary. Second, using our dataset, it is unfeasible to
include all learners’ and teachers’ characteristics as conditions, as the curse of dimensionality would
render all programs efficient. Therefore, once managerial efficiency estimates are obtained for all
programs accounting for the variation in the inflow of learners, the teacher variables will be used
in a second stage to explain efficiency differentials across programs. Our final sample includes 1200
observations, which corresponds to 120 programs observed over a 10 years’ time span.

41
4. Results
4.1 Measuring efficiency
Table 2 presents the efficiency scores of adult education programs under different model as-
sumptions, introduced in the previous section. We start from our baseline FDH model without
bias-correction (Model 1) and gradually extend it to measure managerial efficiency with bias-cor-
rection. On average, the FDH unconditional efficiency score amounts to 0.87, implying that pro-
grams could improve their performance by 13 percent if they were as efficient as those programs
in their reference set. This rate of improvement amounts to over 50 percent for the worst perform-
ing programs. We enrich this unconditional FDH model to account for sampling noise in the data
by adding bias-correction (Model 2), using the s out of m bootstrap, and identify an upward bias of
around 1 percentage points.
However, as performance is expressed in terms of learners’ presence, participation in exams, and
exam results, the inflow of learners in a program will be decisive for its evaluation. Failing to ac-
count for differences in inflow will complicate the comparison of programs. For example, two
programs with the same budget (input) but with a different composition in learners might perform
differently, which does not necessarily lead to the conclusion that one program is more efficient
than the other. It might be that the program deemed efficient is attracting more motivated or
mature learners who always attend classes and study well for their exams. In order to account for
programs’ environment, not at the discretion of providers of adult education, we employ condi-
tional models to obtain managerial efficiency scores. Efficiency differences are then due to mana-
gerial decisions as similar programs are used to benchmark each other.
4.2 Measuring managerial efficiency
Model 3 in Table 2 presents the results from the conditional model, accounting for the age,
gender, and education background of learners in a program. In addition, we include the year of
assessment as an ordered conditional variable. On average, conditional efficiency estimates are
higher and less dispersed. This follows directly from programs being benchmarked to more similar
programs in smaller subsamples. Nonetheless, efficiency estimates still vary considerably, ranging
from full efficiency (efficiency score equal to 1) to a projected improvement of 43 percent for the
worst performing programs. In Model 4, we further extend the conditional model to its bias-cor-
rected form by accounting for sampling noise. Bias-corrected estimates again suggest an upward
bias of conditional estimates, around 0.2 percentage points. Comparing the ratio of bias in the
unconditional model to bias in the conditional model reveals that over 30 percent of the initial
bias persists in the conditional model, despite the subsampling approach implemented to obtain
the conditional estimates. Accordingly, 95 percent confidence intervals of conditional estimates are
markedly narrower on average. The final row of Table 2 presents the ratio of unconditional over

42
conditional bias-corrected efficiency estimates. Figure 3 presents the plots of nonparametric re-
gressions, relating this ratio to the set of conditional variables.
21
By considering the slope graph-
ically, an interpretation can be inferred for the marginal effect of a given variable on the attainable
set. The share of low educated learners appears to have an unfavorable influence on the evaluation
of adult education programs, although its influence only appears once a certain threshold is reached
(around 40 percent low educated learners in a program). This negative correlation implies that the
frontier used to evaluate programs with many low educated learners is positioned below the frontier
used in the unconditional model. The timing of data collection and the age of learners does not
appear to be of major importance, whereas the gender balance of learners appears important for
the assessment of programs. Overall, as the share of men increases, the evaluation of programs
appears to be more favorable.
4.3 Explaining efficiency differentials
Once we obtained efficiency estimates that measure the managerial efficiency – i.e. accounting
for non-discretionary variables – of adult education programs, we are interested in which discre-
tionary variables are able to explain efficiency differentials. In particular, we focus on teacher and
program characteristics (see Section 2). Figure 4 presents the plots of nonparametric regressions,
relating the conditional and bias-corrected efficiency estimates to the size of the program (in num-
ber of learners and number of sessions), and the composition of the teacher workforce (age, gender
and hours).
22
To reduce the influence of outliers, the number of learners per program and the
number of sessions per program are expressed in logs.
Our results suggest that efficiency is increasing in the number of learners in a program and
decreasing in the number of sessions per program, although the longest programs appear to be
efficient again. In terms of demographics, it can be seen that, in contrast to learners’ gender, the
most efficient programs are characterized by mostly female teachers. With respect to age, a U-
shaped curve is found, where the least efficient programs are taught by teachers averaging age 40.
Finally, the composition of teachers seems to matter for efficiency. In general, more homogeneous
groups (little variation in age, and number of hours allocated to teachers) result in more efficient
adult education programs.
5. Discussion and Conclusion
This article introduced an innovative approach to estimate managerial efficiency in the presence
of sampling noise. Using the m out of n bootstrap procedure (Simar & Wilson, 2011), we extended
21
We obtained p-values using nonparametric bootstraps (Li & Racine, 2007), and conclude that all conditional variables are significantly related
to the ratio of unconditional over conditional estimates (p<0.05), except the share of l ow educated learners in a program (p=0.234).
22
Again, we obtained p-values using nonparametric bootstraps (Li & Racine, 2007), and conclude that all program and teacher charac teristics
are significantly related to the managerial efficiency estimates (p<0.05), except the way teaching hours are al located between teachers
(p=0.132).

43
the conditional efficiency model (Daraio & Simar, 2007) by correcting for bias within conditional
draws. Inputs and outputs are often noisy measures, which is especially the case when education
data is used due to uncertainty emanating from survey sample designs, measurement errors or
outlying observations. As a result, efficiency estimates can be biased, also when conditional models
are used. We further distinguished between managerial efficiency and efficiency differentials. The
former does not allow separability such that nondiscretionary variables need to be accounted for
in a conditional model. The latter can be regressed on a set of discretionary variables using a two-
stage approach to provide an insight into factors that explain why some units are efficient and
others are not.
Using a rich panel dataset from Flanders, we illustrate the usefulness of this framework to meas-
ure and explain managerial efficiency of adult education programs. Our results suggest that a higher
share of low educated learners has an unfavorable influence on the evaluation of adult education
programs. By contrast, a higher share of men appears to have a favorable influence on the evalua-
tion of adult education programs. Furthermore, we find that teacher characteristics influence the
efficiency of adult education programs. In particular, more female teachers and a more homoge-
nous teacher composition in terms of age and number of hours allocated to teachers are likely to
result in a higher program efficiency. Finally, the estimated bias in our conditional model amounts
to 30 percent of the initial bias estimate in the unconditional model, despite the subsampling ap-
proach used when estimating the conditional model.
Nonetheless, several limitations of our approach are worth noting. First, we do not claim to
present causal evidence, but we contribute by using a novel empirical framework to benchmark
adult education programs. Future research might expand the range of environmental variables or
exploit exogenous shocks that may address causality. Second, although the education system in
Flanders is similar to the education system in many OECD countries, results cannot be simply
extrapolated to other countries. Nonetheless, the framework proposed here can serve as a starting
point for further research. As the main use of conditional models is to account for the exogenous
environment, the methodology can be applied to other educational systems as well. Finally, a pos-
sible avenue to explore is to extend the proposed model to the linearized version of FDH
(‘LFDH’), introduced by Jeong & Simar (2006). This extension provides a means to overcome
limitations of the subsampling approach when constructing confidence intervals for the FDH es-
timator in finite sample applications, as suggested by Jeong & Simar (2006). Further research should
address these topics.

44
TABLES
Table 1. Summary statistics.
Variable (N=1220)
Mean
SD
Median
Min
Max
Input
Cost per learner per session (in euro)
9.097
8.365
7.648
0.635
110.468
Outputs
Average exam score
0.664
0.091
0.673
0.242
1
Total presence in class
0.761
0.099
0.777
0.405
1
Participation rate in exam
0.544
0.213
0.560
0.010
1
Learners
Gender balance
0.491
0.340
0.480
0
1
Age
30.822
4.634
30.345
19.875
47.500
% low educated
0.101
0.089
0.088
0
0.667
Program
Sessions per program
110.033
63.719
94
4
422
Learners per program
96.290
223.054
43
2
1581
Teachers
Gender balance
0.734
0.326
0.870
0
1
Age
46.448
6.124
46.647
29.365
72.795
Age composition (sd)
8.816
2.959
8.958
0
20.506
Hours composition (sd)
59.002
33.128
52.292
0
225.931

45
Table 2. Efficiency estimates.
Model
Mean
SD
Median
Min
Max
1
Unconditional
0.869
0.084
0.875
0.500
1
2
Unconditional and bias-corrected
0.860
0.085
0.866
0.499
1
Lower bound
0.805
0.088
0.810
0.432
1
Upper bound
0.870
0.084
0.875
0.500
1
3
Conditional
0.963
0.058
0.991
0.568
1
4
Conditional and bias-corrected
0.961
0.059
0.990
0.567
1
Lower bound
0.949
0.074
0.984
0.560
1
Upper bound
0.963
0.058
0.991
0.568
1
5
Unconditional BC / Conditional BC
0.894
0.062
0.898
0.619
1
Note: Conditional models are obtained by including the following set of variables as conditions: the year of assess-
ment, the gender balance, the average age, and the share of low educated learners. Bounds are constructed at the 95%
level.

46
FIGURES
Figure 1. Coverage of adult education programs (dark) in Flanders.
Figure 2. Choosing m. Depending on the choice of m, the proportion of super-efficient observa-
tions varies since the size of the drawn sample (m) with respect to the total sample
size n influences the probability of observation o not belonging to the production fron-
tier. The value of m is set in a way to attain a sufficiently small decrease in the propor-
tion of super-efficient observations (here, m=200).

47
Figure 3. Conditional efficiency. Plots of nonparametric regressions are presented linking the ratio of uncondi-
tional to conditional estimates and the conditional variables included in the analysis. A negative slope
suggests an unfavorable influence on efficiency, while a positive slope suggests a favorable influence
on efficiency. We obtained p-values using nonparametric bootstraps (Li & Racine, 2007), and conclude
that all conditional variables are significantly related to the ratio of unconditional over conditional esti-
mates (p<0.05), except the share of low educated learners in a program (p=0.234).

48
Figure 4. Explaining efficiency differentials. Plots of nonparametric regressions are presented, relating the conditional
and bias-corrected efficiency estimates to teacher and program characteristics. A negative slope suggests an
unfavorable influence on efficiency, while a positive slope suggests a favorable influence on efficiency. We
obtained p-values using nonparametric bootstraps (Li & Racine, 2007), and conclude that all program and
teacher characteristics are significantly related to the managerial efficiency estimates (p<0.05), except the
way teaching hours are allocated between teachers (p=0.132).

49
REFERENCES
Aragon, Y., Daouia, A., & Thomas-Agnan, C. (2005). Nonparametric frontier estimation: a
conditional quantile-based approach. Econometric Theory, 21(2), 358–389.
Asmild, M., Balezentis, T., & Hougaard, J. L. (2016). Multi-directional program efficiency: the case
of Lithuanian family farms. Journal of Productivity Analysis, 45(1), 23–33.
Bae, T., Qian, S., Miao, C., & Fiet, J. (2014). The Relationship Between Entrepreneurship
Education and Entrepreneurial Intentions: A Meta-Analytic Review. Entrepreneurship Theory
and Practice, 38(2), 217–254.
Blanden, J., Buscha, F., Sturgis, P., & Urwin, P. (2012). Measuring the earnings returns to lifelong
learning in the UK. Economics of Education Review, 31, 501–514.
Cazals, C., Florens, J.-P., & Simar, L. (2002). Nonparametric frontier estimation: a robust approach.
Journal of Econometrics, 106(1), 1–25.
Charnes, A., Cooper, W. W., & Rhodes, E. (1978). Measuring the efficiency of decision making
units. European Journal of Operational Research, 2(6), 429–444.
Charnes, A., Cooper, W. W., & Rhodes, E. (1981). Evaluating Program and Managerial Efficiency :
An Application of Data Envelopment Analysis to Program Follow Through. Management
Science, 27(6), 668–697.
Chen, Y., Cook, W. D., Du, J., Hu, H., & Zhu, J. (2017). Bounded and discrete data and Likert
scales in data envelopment analysis: application to regional energy efficiency in China. Annals
of Operations Research, 347–366.
Cherchye, L., Demuynck, T., De Rock, B., & De Witte, K. (2014). Non-parametric analysis of
multi-output production with joint inputs. Economic Journal, 124(577), 735–775.
Chrisman, J. J., McMullan, E., & Hall, J. (2005). The influence of guided preparation on the long-
term performance of new ventures. Journal of Business Venturing, 20(6), 769–791.
Cordero, J. M., Alonso-Morán, E., Nuño-Solinis, R., Orueta, J. F., & Arce, R. S. (2015). Efficiency
assessment of primary care providers: A conditional nonparametric approach. European Journal
of Operational Research, 240(1), 235–244.
Daraio, C., & Simar, L. (2005). Introducing environmental variables in nonparametric frontier
models: A probabilistic approach. Journal of Productivity Analysis, 24(1), 93–121.
Daraio, C., & Simar, L. (2007). Conditional nonparametric frontier models for convex and
nonconvex technologies: a unifying approach. Journal of Productivity Analysis, 28(1), 13–32.
De Rick, K., Mazrekaj, D., & De Witte, K. (2016). Het rendement van opleidingen in het beleidsdomein
‘werk’. Een conceptuele analyse en ont-wikkeling van een meetmodel.
De Witte, K. (2007). Het beste van twee werelden: Vewin versus Dijkgraaf (‘The best of two
worlds: Vewin versus Dijkgraaf’). Helder, 2(7), 6–7.
De Witte, K., & Geys, B. (2013). Citizen coproduction and efficient public good provision: Theory
and evidence from local public libraries. European Journal of Operational Research, 224(3), 592–
602.
De Witte, K., & Kortelainen, M. (2013). What explains the performance of students in a
heterogeneous environment? Conditional efficiency estimation with continuous and discrete
environmental variables. Applied Economics, 45(17), 2401–2412.
De Witte, K., & López-Torres, L. (2014). Efficiency in Education . A review of literature and a way
forward. Journal of the Operational Research Society, 1–25.
De Witte, K., & Schelfhout, W. (2015). Vakdidactiek Economie. Lannoo Campus.
De Witte, K., & Schiltz, F. (2018). Measuring and explaining organizational effectiveness of school
districts. Evidence from a robust and conditional Benefit-of-the-Doubt approach. European
Journal of Operational Research, 267(3), 1172–1181.
Declercq, K., & Verboven, F. (2018). Uitdagingen voor het hoger onderwijs. In K. De Witte & J.
Hindriks (Red.), De (her)vormende school (p. 248). Skribis.
Deprins, D., Simar, L., & Tulkens, H. (1984). Measuring labor inefficiency in post offices. The Performance
of Public Enterprises: Concepts and measurements. M. Marchand, P. Pestieau and H. Tulkens (eds.).
North-Holland, Amsterdam.

50
Dickson, P. H., Solomon, G. T., & Weaver, K. M. (2008). Entrepreneurial selection and success:
Does education matter? Journal of Small Business and Enterprise Development, 15(2), 239–258.
Europese Unie. (2006). Aanbeveling van het Europees Parlement en de Raad van 18 december
2006 inzake sleutelcom-petenties voor een leven lang leren. Publicatieblad van de Europese Unie.
Farrell, M. J. (1957). The measurement of productive efficiency. Journal of the Royal Statistical Society.
Series A (General), 120(3), 253–290.
Farrington, C. A., Roderick, M., Allensworth, E., Nagaoka, J., Keyes, T. S., Johnson, D. W., &
Beechum, N. O. (2012). Teaching Adolescents To Become Learners The Role of
Noncognitive Factors in Shaping School Performance: A Critical Literature Review. ERIC.
Gibb, A. (2002). In Pursuit of a New ’ Enterprise ’ and ’ Entrepreneurship ’ Paradigm for Learning:
Creative Destruction , New Values , New Ways of Doing Things and New Combinations of
Knowledge. International Journal of Management Revviews, 4(3), 233–269.
Gibb, A., & Hannon, P. (2006). Towards the Entrepreneurial University. International Journal of
Entrepreneurship Education, 4(1), 73–110.
Global Entrepreneurship Monitor. (2017). Global Report.
Haelermans, C., & De Witte, K. (2012). The role of innovations in secondary school performance
- Evidence from a conditional efficiency model. European Journal of Operational Research, 223(2),
541–549.
Hampf, B., Rødseth, K. L., & Løvold, K. (2015). Carbon dioxide emission standards for U.S. power
plants: An efficiency analysis perspective. Energy Economics, 50, 140–153.
Hanushek, E. A. E., & Woessmann, L. (2008). The role of cognitive skills in economic
development. Journal of economic literature, 46(3), 607–668.
Hanushek, E. a, & Kimko, D. D. (2000). Schooling, Labor Force Quality, and the Growth of
Nations. American Economic Review, 90(5), 1184–1208.
Huber, L. R., Sloof, R., & Van Praag, M. (2014). The effect of early entrepreneurship education:
Evidence from a field experiment. European Economic Review, 72, 76–97.
Hytti, U., & O’Gorman, C. (2004). What is “enterprise education”? An analysis of the objectives
and methods of enterprise education programmes in four European countries. Education +
Training, 46(1), 11–23.
Jerrim, J., Lopez-Agudo, L. A., Marcenaro-Gutierrez, O. D., & Shure, N. (2017). What happens
when econometrics and psychometrics collide? An example using the PISA data. Economics of
Education Review, 61(August), 51–58.
Johnes, J. (2006). Data envelopment analysis and its application to the measurement of efficiency
in higher education. Economics of Education Review, 25(3), 273–288.
Johnes, J. (2015). Operational Research in Education. European Journal of Operational Research, 243(3).
Kirkwood, J., Dwyer, K., & Gray, B. (2014). Students’ reflections on the value of an
entrepreneurship education. International Journal of Management Education, 12(3), 307–316.
Küttim, M., Kallaste, M., Venesaar, U., & Kiis, A. (2014). Entrepreneurship Education at
University Level and Students’ Entrepreneurial Intentions. Procedia - Social and Behavioral
Sciences, 110, 658–668.
Lackéus, M. (2015). Entrepreneurship in education: What, why, when, how. Paris.
Lackéus, M., & Williams Middleton, K. (2015). Venture creation programs : bridging
entrepreneurship education and technology transfer. Education, 57(1), 48–73.
Li, Q., & Racine, J. (2007). Nonparametric Econometrics: Theory and Practice. Princeton University Press.
Li, Q., & Racine, J. S. (2008). Nonparametric estimation of conditional CDF and quantile functions
with mixed categorical and continuous data. Journal of Business & Economic Statistics, 26(4), 423–
434.
Maresch, D., Harms, R., Kailer, N., & Wimmer-Wurm, B. (2016). The impact of entrepreneurship
education on the entrepreneurial intention of students in science and engineering versus
business studies university programs. Technological Forecasting and Social Change, 104, 172–179.
Martin, B. C., McNally, J. J., & Kay, M. J. (2013). Examining the formation of human capital in
entrepreneurship: A meta-analysis of entrepreneurship education outcomes. Journal of Business

51
Venturing, 28, 211–224.
Montes, G. C., & Bastos, J. C. A. (2013). Economic policies, macroeconomic environment and
entrepreneurs’ expectations: Evidence from Brazil. Journal of Economic Studies, 40(3), 334–354.
Morselli, D., Costa, M., & Margiotta, U. (2014). Entrepreneurship education based on the Change
Laboratory. International Journal of Management Education, 12(3), 333–348.
Neck, H. M., & Greene, P. G. (2011). Entrepreneurship Education: Known Worlds and New
Frontiers. Journal of Small Business Management, 49(1), 55–70.
OECD. (2009). Evaluation of Programmes Concerning Education for Entrepreneurship. Paris.
OECD. (2015). Entrepreneurship in Education: What, why, when, how. Paris.
OECD. (2017a). Entrepreneurship at a Glance. Paris.
OECD. (2017b). Entrepreneurship at a Glance 2017. Paris. Geraadpleegd van
http://dx.doi.org/10.1787/entrepreneur_aag-2017-en
Olesen, O. B., Petersen, N. C., & Podinovski, V. V. (2015). Efficiency analysis with ratio measures.
European Journal of Operational Research, 245(2), 446–462.
Oosterbeek, H., van Praag, M., & IJsselstein, A. (2008). The Impact of Entrepreneurship Education
on Entrepreneurship Competencies and Intentions: An Evaluation of the Junior
Achievement Student Mini-Company Program. SSRN Electronic Journal.
Oosterbeek, H., van Praag, M., & IJsselstein, A. (2010). The impact of entrepreneurship education
on entrepreneurship skills and motivation. European Economic Review, 54(3), 442–454.
Pittaway, L., & Cope, J. (2007). Simulating entrepreneurial learning: Integrating experiential and
collaborative approaches to learning. Management Learning, 38(2), 211–233.
Premand, P., Brodmann, S., Almeida, R., Grun, R., & Barouni, M. (2016). Entrepreneurship
Education and Entry into Self-Employment Among University Graduates. World Development,
77, 311–327.
Puri, J., Yadav, S. P., Garg, H., Prasad, S., & Harish, Y. (2017). A new multi-component DEA
approach using common set of weights methodology and imprecise data: an application to
public sector banks in India with undesirable and shared resources. Annals of Operations
Research, 259(1–2), 351–388.
Rauch, A., & Hulsnik, W. (2015). Putting entrepreneurship education where the intention to act
lies: An investigation into the Impact of Entrepreneurship Education on Entrepreneurial
Behavior. Academy of Management Learning & Education, 14(2), 187–204.
Ruskovaara, E., Hämäläinen, M., & Pihkala, T. (2016). HEAD teachers managing entrepreneurship
education - Empirical evidence from general education. Teaching and Teacher Education, 55, 155–
164.
Simar, L., & Wilson, P. W. (2007). Estimation and inference in two-stage, semi-parametric models
of production processes. Journal of Econometrics, 136(1), 31–64.
Simar, L., & Wilson, P. W. (2011). Inference by the m out of n bootstrap in nonparametric frontier
models. Journal of Productivity Analysis, 36(1), 33–53.
Testa, S., & Frascheri, S. (2015). Learning by failing: What we can learn from un-successful
entrepreneurship education. International Journal of Management Education, 13(1), 11–22.
Thanassoulis, E., De Witte, K., Johnes, J., Johnes, G., Karagiannis, G., & Portela, C. S. (2016).
Applications of Data Envelopment Analysis in Education. In J. Zhu (Red.), Data Envelopment
Analysis. International Series in Operations Research & Management Science. (vol 238). Boston:
Springer.
von Davier, M., Gonzalez, E. J., & Mislevy, R. J. (2009). What are plausible values and why are
they useful? IERI monograph series: Issues and methodologies in large-scale assessments, 2, 9–36.
Geraadpleegd van
http://www.ierinstitute.org/fileadmin/Documents/IERI_Monograph/IERI_Monograph_
Volume_02_Chapter_Introduction.pdf
von Graevenitz, G., Harhoff, D., & Weber, R. (2010). The effects of entrepreneurship education.
Journal of Economic Behavior and Organization, 76(1), 90–112.
Walter, S. G., & Block, J. H. (2016). Outcomes of entrepreneurship education: An institutional

52
perspective. Journal of Business Venturing, 31(2), 216–233.
Warhuus, J. P., & Basaiawmoit, R. V. (2014). Entrepreneurship education at Nordic technical
higher education institutions: Comparing and contrasting program designs and content.
International Journal of Management Education, 12(3), 317–332.
World Bank. (2018). World Bank Open Data. Geraadpleegd van data.worldbank.org
World Economic Forum. (2009). A Report of the Global Education Initiative. Geneva.