Wie kann Forschendes Lernen evaluiert werden?

Abstract

Zusammenfassung
Forschendes Lernen wird bislang nur an wenigen Hochschulen gezielt evaluiert. Um die Evaluationspraxis voranzubringen, gibt der vorliegende Beitrag einen Überblick über Evaluationen zum Forschenden Lernen. Laufende und abgeschlossene Evaluationen werden nach verwendeten Forschungsmethoden sowie nach der Zielgruppe der Evaluation systematisch dargestellt.

Full text

187
Wie kann Forschendes Lernen
evaluiert werden?
Janina Thiem und Christopher Gess
Forschendes Lernen wird bislang nur an wenigen Hochschulen gezielt evaluiert.
Um die Evaluationspraxis voranzubringen, gibt der vorliegende Beitrag einen
Überblick über Evaluationen zum Forschenden Lernen. Laufende und abgeschlos-
sene Evaluationen werden nach verwendeten Forschungsmethoden sowie nach
der Zielgruppe der Evaluation systematisch dargestellt. Darüber hinaus werden
Entwicklungspotenziale für die Evaluation von Forschendem Lernen aufgezeigt.
1 Einleitung
Mit der Ausrichtung auf die Kompetenzentwicklung von Studierenden, die im
Zuge des Bologna-Prozesses erfolgte, haben alternative Lehrformate wie das
problembasierte Lernen, das Lernen in Projekten und das Forschende Lernen
Konjunktur (Metz-Göckel, Kamphans & Scholkmann, 2012, S. 216). Im Sinne des
„Shis from Teaching to Learning“ (Barr & Tagg, 1995) liegt die Aktivität in diesen
Lehr-Lern-Formaten aufseiten der Lernenden, die ihr Wissen selbst entwickeln
und in ihre individuelle Wissensstr uktur überführen (Pasternack, 2017, S. 40). Auf
diese Weise eignen sich die Studierenden Kompetenzen an, die über den reinen
Wissenserwerb hinausgehen.
C. Wulf et al. (Hrsg.), Forschendes Lernen,
https://doi.org/10.1007/978-3-658-31489-7_14
© Der/die Autor(en) 2020

188 Janina Thiem und Christopher Gess
Ursprünglich geht es bei Forschendem Lernen um ein Lernen durch Forschung
oder durch Beteiligung an Forschung (Bundesassistentenkonferenz, 1970). So
liegen die Besonderheiten des Forschenden Lernens – im Vergleich zu anderen
aktivierenden Lehr-Lern-Formaten – darin, dass die Studierenden selbst (oder mit
Unterstützung der Lehrenden) eine sie interessierende Frage- oder Problemstellung
entwickeln und diese auf die Gewinnung neuer Erkenntnis ausgerichtet ist. Dieser
Prozess kann – wie im problembasierten Lernen – von einem konkreten Fall oder
Problem ausgehen, führt aber weiter, da beim Forschenden Lernen nicht praktische
Produkte, sondern theoretische Einsichten und empirische Erkenntnisse im Zent
-
rum stehen (Huber, 2004). Darüber hinaus soll Wissenscha durch das Forschende
Lernen als sozialer und emotionaler Prozess erfahrbar werden:
„Denn das Wichtige am Prinzip des Forschenden Lernens ist die kognitive, emoti-
onale und soziale Erfahrung des ganzen Bogens, der sich vom Ausgangsinteresse,
den Fragen und Strukturierungsaufgaben des Anfangs über die Höhen und Tiefen
des Prozesses, Glücksgefühle und Ungewissheiten, bis zur selbst (mit-)gefundenen
Erkenntnis oder Problemlösung spannt“ (Huber, 2004, S. 33).
Die wissenschastheoretische (und -politische) Begründung für das Forschende
Lernen ist dabei keine ausschließlich idealistische (im Humboldt’schen Sinne),
sondern vielmehr eine funktionalistische (Funktion der Hochschulbildung für das
vornehmlich außerwissenschaliche Beschäigungssystem) (Pasternack, 2017). So
zielt das Forschende Lernen nicht nur auf eine Förderung von Forschungskompeten-
zen und meta kognitiven Kompetenzen sowie auf die Entwick lung einer forschenden
Haltung (Huber, 2004; Gess, Deicke & Wessels, 2017), sondern soll auch durch
die Vermittlung von sogenannten Schlüsselkompetenzen wie Problemlösungs-,
Analyse- und Kommunikationsfähigkeit zur allgemeinen Berufsqualizierung der
Studierenden beitragen (Huber, 2004; Wissenschasrat, 2001, 2006, 2015; Schubart h
& Speck, 2014). Angesichts der zunehmenden Ähnlichkeiten zwischen Forschungs-
prozess einerseits und problemlösendem beruichen Handeln andererseits schlägt
Pasternack eine Brücke zwischen beiden Begründungen:
„Um in den sich ergebenden ber uichen Situat ionen sicher handel n zu können, wird
wissenschalich basierte Urteilsfähigkeit – das heißt die Befähigung, komplexe
Sachverhalte methodisch geleitet und kritisch zu analysieren und bewerten – sowie
eine expl izit darauf gr ündende Handlungs fähigkeit benötigt. […] ‚Das Lernziel lautet
intelligentes Wissen aufzubauen, das die Übertragung von Lösungsstrategien auf
neue Situationen ermöglicht‘ (Schumacher, 2009, S. 883)“ (Pasternack, 2017, S. 41).
Die Erwartungen an das Forschende Lernen im Hinblick auf die Aneignung
vielfältiger Kompetenzen sind somit sehr hoch. Damit verbunden ist auch ein

Wie kann Forschendes Lernen evaluiert werden? 189
hoher Anspruch an die Evaluation von Forschendem Lernen, denn je breiter und
dierenzierter die Wirkungserwartungen sind, desto mehr Voraussetzungen hat
die Wirkungsanalyse hinsichtlich der Operationalisier- und Messbarkeit und der
Interpretation von Ergebnissen zu erfüllen. Da so unterschiedliche und teils abstrakte
Kompetenzziele verfolgt werden, ist die Evaluation mit einigen Herausforderungen
verbunden. Trotz der wachsenden Anzahl von Projekten, die Forschendes Lernen
an deutschen Hochschulen fördern – etwa im Rahmen des Qualitätspakts Lehre,
der Qualitätsoensive Lehrerbildung oder der Einführung von Forschungsan-
teilen im Praxissemester im Lehramt – wird Forschendes Lernen über gängige
Lehrevaluationen hinaus bislang nur an wenigen Hochschulen gezielt evaluiert.
Dies überrascht, da zum einen durch den Projektträger die evaluative Begleitung
dieser Maßnahmen vorgeschrieben ist (z. B. BMBF, 2013) und zum anderen – auf
einer allgemeineren Ebene – der Nachweis von Qualitätssicherungsmaßnahmen
eine notwendige Voraussetzung zur erfolgreichen Akkreditierung von Studien-
programmen ist (Braun & Hannover, 2012).
Ziel des vorliegenden Beitrags ist deshalb, einen Überblick über Evaluationsbe-
mühungen zum Forschenden Lernen zu geben und auf bereits etablierte Evaluati-
onskonzepte zu verweisen, an denen sich Praktikerinnen und Praktiker orientieren
können. Dafür werden bestehende Evaluationen zum Forschenden Lernen in einem
Systematisierungsraster verortet, das nach verwendeten Forschungsmethoden sowie
nach der Zielgruppe der Evaluation dierenziert. Im Ausblick werden abschließend
Lücken identiziert und Entwicklungspotenziale aufgezeigt.
2 Was macht eine Evaluation aus?
Das Ziel von Evaluationen ist die Sammlung von Informationen und deren Bewer-
tung im Hinblick auf ein Eva luationsobjekt (z. B. eine Maßnahme, ein Projekt oder
Programm), um Entscheidungen zu treen (Stockmann, 2016, S. 36). Diese Denition
reicht jedoch nicht aus, um Evaluation vom „Alltagshandeln“ zu unterscheiden,
wonach irgendetwas von irgendjemandem nach irgendwelchen Kriterien in irgend-
einer Weise bewertet wird (Kromrey, 2003, S. 107). Bei einem solchen Vorgehen
kann derselbe Sachverhalt von verschiedenen Personen sehr unterschiedlich oder
gar gegensätzlich bewertet werden. Professionelle, wissenschalich durchgeführte
Evaluationen sind dadurch gekennzeichnet, dass

190 Janina Thiem und Christopher Gess
• sie sich auf einen klar denierten Evaluationsgegenstand beziehen,
• empirische (sozialwissenschaliche) Forschungsmethoden zur Informations-
gewinnung nutzen,
• die Bewertung anhand explizit festgelegter, intersubjektiv nachprüarer Kri-
terien erfolgt,
•
systematische (vergleichende Verfahren) zur Informationsbewertung verwendet
werden,
•
die Durchführung von in der Regel dafür besonders befähigten Personen
(Evaluatoren) erfolgt,
•
sie das Ziel verfolgen, den Nutzen (Wert) eines Evaluationsobjektes zu bestimmen,
um Entscheidungen treen zu können (Stockmann, 2016, S. 36; Kromrey, 2005).
Mit anderen Worten bedeutet das, dass für jede professionell durchgeführte Evalua-
tion zu klären ist, was wozu anhand welcher Kriterien von wem wie evaluiert wird.
Dabei ist Evaluation im professionellen Sinn angewandte Sozialwissenscha
(Kromrey, 2005). Das Besondere der Evaluation liegt darin, dass sie – im Unterschied
zur wissenschalichen (Grundlagen-)Forschung – keinen Selbstzweck darstellt,
indem sie nicht (ausschließlich) dem Erkenntnisinteresse verpichtet ist, sondern
einen Nutzen stien soll (Stockmann, 2002). Während sich Grundlagenforschung bei
allen zu treenden Entscheidungen ausschließlich an wissenschalichen Kriterien
zu orientieren hat (insbesondere Erkenntnisfortschritt a ls Selbstzweck, Gültigkeit,
Zuverlässigkeit, Generalisierbarkeit der Ergebnisse), ist darüber hinaus für Evalua-
tionen als Form der anwendungsorientierten Forschung die Berücksichtigung
von außerwissenschalichen Erkenntnisinteressen und Verwertungskontexten
zentral (Kromrey, 2003). Für die angewandte Sozialwissenscha sind also beide
Prinzipien relevant. Ein weiterer Unterschied zur Grundlagenforschung liegt darin,
dass Grundlagenforschung „sich irren“ darf (Kromrey, 2003, S. 98). Hypothesen
dürfen sich im Laufe der Forschung als falsch erweisen und können damit sogar
den Grundstein für neue Erkenntnisse legen. Dies gilt nicht für die angewandte
Sozialforschung, die Handlungswissen für die Praxis liefert. Da falsche Interpre-
tationen, die zum Beispiel aufgrund fehlerhaer Forschungsdaten oder falscher
Prämissen gezogen werden, reale Konsequenzen für die Betroenen haben, ist
eine sorgf ältige Konzipierung des Forschungsdesigns essenziell. Das bedeutet, dass
sich die Anna hmen und Hypothesen bereits empirisch bewä hrt haben sollten und
der Prozess der Erhebung, Auswertung und Interpretation aller Informationen
methodisch abgesichert erfolgen sollte (Kromrey, 2003, S. 98).
In der Evaluationsforschung werden drei Funktionen von Evaluationen („Para-
digmen“) analytisch unterschieden (Chelimsky, 1997; Kromrey, 2005):

Wie kann Forschendes Lernen evaluiert werden? 191
1.
Erkenntnisgeleitete Evaluationen („Forschungsparadigma“): Diese Form der
Evaluation weist eine große Nähe zur sozialwissenschalichen (Grundlagen-)
Forschung auf und kann als Bindeglied zwischen eorie und Praxis angesehen
werden (Kromrey, 2005). Es geht hier insbesondere um Wirkungsforschung,
wofür die Frage nach der Kausalität zentral ist – also die Prüfung, ob die beob-
achteten Wirkungen eine Folge der zu evaluierenden Maßnahmen sind oder ob
sie auf andere Faktoren zurückzuführen sind. Ein Ziel von erkenntnisgeleiteten
Evaluationen kann darin liegen, aus den gewonnenen Erkenntnissen Steue-
rungsentscheidungen abzuleiten (Stockmann, 2016).
2. Ausübung von Kontrolle („Kontrollparadigma“): Hier ist anhand von objekti-
vierbaren Er folgskriterien (z. B. Eektivität, Ezienz, Ak zeptanz) zu prüfen, ob
die festgelegten Ziele eines Programmes erreicht wurden; dies kann sich zum
Besipiel auf die ordnungsgemäße Verausgabung von Finanzmitteln beziehen.
Wie und nach welchen Kriterien die Erfolgskontrolle erfolgt, hängt vom In-
formationsbedarf der ausführenden und/oder der nanzierenden Instanz ab
(Kromrey, 2005).
Diese beiden Evaluationtypen sind durch mindestens drei interdependente Di-
mensionen gekennzeichnet: Ziele, Maßnahmen und Eekte. Diese Dimensionen
sind zu präzisieren und zu operationalisieren. Dabei sind Ziele von Maßnahmen
(als Instrumente zu deren Erreichung) abzugrenzen; die vorgesehene Umsetzung
ist ebenso zu konkretisieren wie das, was das Vorhaben bewirken soll (und mögli-
cherweise unbeabsichtigt bewirken ka nn) (Kromrey, 2005). Im Gegensatz zu einer
Laborsituation können die Dimensionen nicht von Umwelteinüssen abgeschirmt
werden.
3.
Auslösung von Entwick lungs- und Lernprozessen („Entwicklungsparadigma“):
Die Problemstellung und das Erkenntnisinteresse der Eva luation sind hier – im
Vergleich zum Forschungs- und zum Kontrollparadigma – anders ausgerichtet. So
steht in dieser Form der Evaluation das Lernen im Vordergrund. Die Evaluationen
werden deshalb in der Regel formativ, also programmgestaltend, durchgeführt.
Die Lern- und Entwicklungsprozesse können sowohl auf der Basis von Best
Practices als auch durch „fehlerhae“ Maßnahmen erfolgen (Stockmann, 2016).
Dass die Paradigmen in der Praxis nicht immer trennscharf abgrenzbar sind,
zeigt der aus der amerikanischen Bildungsforschung stammende Ansatz des De-
sign-based Research (Brown, 1992; Collins, 1992), der neben der Evaluierung von
Veränderungsmaßnahmen in seiner konzeptionellen Ausrichtung auch gezielt die
(Weiter-)Entwicklung dieser Maßnahmen einplant und da mit die Entwicklung und

192 Janina Thiem und Christopher Gess
den Test einer Intervention berücksichtigt (Gess, Rueß & Deicke, 2014). Zentral
für den Ansatz ist, dass die Entwicklung von Interventionen zwar auf eorien
basiert und den aktuellen Forschungsstand berücksichtigt, jedoch immer bezogen
auf die Lösung eines konkreten, praktischen Problems erfolgt (Reinmann, 2005).
Die Festlegung auf ein Evaluationsparadigma hat Auswirkungen auf das Design
und die Durchführung der Evaluation. Abhängig von dem Verwendungszweck
und dem damit verbundenen Erkenntnisinteresse können Evaluationen mehr for-
mativ, das heißt aktiv gestaltend, prozessorientiert und kommuni kationsfördernd
angelegt sein, oder mehr summativ, das heißt zusammenfassend, bilanzierend und
ergebnisorientiert (Stockmann, 2016).
Forschungsmethodisch kann Evaluation auf das gesamte Spektrum der em-
pirischen Sozialforschung zurückgreifen. Zu unterscheiden ist hier zwischen der
qualitativen und quantitativen Sozialforschung (z. B. Bryman, 2001; Döring &
Bortz, 2016; Creswell, 2014; Hitzler, 2016) sowie der Mixed-Methods-Forschung,
die unterschiedliche Kombinationen qualitativer und quantitativer Forschung
umfasst (Johnson, Onwuegbuzie & Turner, 2007); gerade bei den qualitativen
Forschungsmethoden existiert eine Vielzahl methodologischer und methodischer
Ansätze (Mruck, Cisneros Puebla & Faux, 2005). Während auf die Methodologien
im vorliegenden Beitrag schon aus Platzgründen nicht vertie eingegangen werden
kann, ist für die angestrebte Systematisierung von Evaluation zumindest der Blick
auf mögliche Erhebungsmethoden von Interesse. Mey (2016) unterscheidet in der
qualitativen Sozialforschung zwischen Interv iew, Gruppendiskussion, teilnehmende
Beobachtung, Videograe, Analyse von Dokumenten, Artefakten, Bildmaterial
und Interaktionen.
3 Evaluationen von Forschendem Lernen
Im Hinblick auf Evaluationen zum Forschenden Lernen wurde die Leitfrage ver-
folgt, für welche Evaluationstypen bereits Evaluationskonzepte und -instrumente
vorliegen. Zu diesem Zweck wurde eine oene Abfrage an deutschen Hochschulen
(Universitäten und Fachhochschulen) durchgeführ t, ob und wie dort Forschendes
Lernen evaluiert wird. In dem Fragebogen wurde abgefragt, was aus dem Bereich
des Forschenden Lernens vor Ort mit welchem Ziel wie evaluiert wird. Dabei wa-
ren sowohl spezisch ausgerichtete Evaluationen, die sich ausschließlich auf das
Forschende Lernen beziehen, von Interesse als auch a llgemeine Studiengangs- und
Lehrveranstaltungsevaluationen – sofern diese spezische Fragestellungen zum
Forschenden Lernen berücksichtigen.

Wie kann Forschendes Lernen evaluiert werden? 193
Für die Abfrage wurden die Verteiler der Arbeitsgemeinscha Forschendes
Lernen in der Deutschen Gesellscha für Hochschuldidaktik (dghd) und des
Qualitätspakt-Lehre-Begleitforschungsprogramms ForschenLernen genutzt. Die
Abfrage wurde ab Sommer 2015 durchgeführt und laufend ergänzt. Insgesamt ha-
ben sich 14 Hochschulen gemeldet, hiervon führen sechs Hochschulen spezische
Evaluationen zum Forschenden Lernen durch (Humboldt-Universität (HU) zu
Berlin, Universität Bremen, Universität Duisburg-Essen, Universität Hohenheim,
Carl von Ossietzky Universität Oldenburg, Fachhochschule Potsdam). An der Freien
Universität (FU) Berlin erfolgt eine Abfrage von forschungsbezogenen Kompetenzen
sowie von Forschungsbezügen der Studiengänge im Rahmen einer Evaluation der
konsekutiven, nicht lehramtsbezogenen Master-Studiengänge.
Die Evaluationen werden durchgeführt mit dem Ziel der Weiterentwicklung
von spezischen Formaten des Forschenden Lernens (HU Berlin, Duisburg-Essen,
Hohenheim, Oldenburg, Potsdam) oder von gesamten Studiengängen (FU Berlin,
Bremen) sowie mit dem Ziel der Prolbildung der gesamten Universität (Bremen,
Oldenburg). In allen evaluierten Vorhaben wird die Denition Forschenden Lernens
nach Huber (2009) zugrunde gelegt.
Um einen Überblick über die Evaluationslandscha im Forschenden Lernen geben
zu können, werden diese Eva luationen in einem Systematisierungsraster dargestellt
(siehe Tab.1). Dafür wurden sie den drei Evaluationsparadigmen zugeordnet. Da
diese in der Empirie nicht immer trennscharf abzugrenzen sind, wurden einzelne
Vorhaben zum Teil zwei Paradigmen zugeordnet. In einem weiteren Schritt wurden
die in der Evaluation berücksichtigten inhaltlichen Dimensionen des Forschenden
Lernens herausgearbeitet sowie die für die Eva luation verwendeten Methoden dar-
gestellt. Das Systematisierungsraster berücksichtigt ebenfalls, an welche Zielgruppe
sich die Evaluation richtet. Um die Einordnung der jeweiligen Evaluation in das
Raster zu validieren, wurden kurze Interviews mit den Evaluationsverantwort lichen
durchgeführt. In der Tabelle sind nur jene Evaluationen der Hochschulen berück-
sichtigt, die sich auf die genannte Anfrage gemeldet haben. Die Systematisierung
erhebt keinen Anspruch auf Vollständigkeit.

194 Janina Thiem und Christopher Gess
Tab . 1 Systematisierung von Evaluationen zum Forschenden Lernen
emen
Zielgruppe
Quantitative Erhebung Qualit.
Befragung
Delphi-
Studie
Selbst-
berichte
Inter-
views
Gruppen-
diskussion
Forschung / Wirkungen
fächerübergreifende
Kompetenzen
Lehrende      
Studierende Oldenburg; Hohenheim 
fachliches Wissen/
Fachkompetenz
Lehrende      
Studierende Oldenburg; Hohenheim 
forschungsmethodisches
Wissen
Lehrende      
Studierende Oldenburg; Bremen Bremen Bremen
(Lern)motivation Lehrende Hohenheim     
Studierende Oldenburg; Hohenheim
FU Berlin
Bremen Bremen
Forschungsinteresse Lehrende      
Studierende HU Berlin; Duisburg-
Essen

forschungsbezogene
Selbstwirksamkeit
Lehrende      
Studierende HU Berlin; Oldenburg 
Forschungskompetenz Lehrende      
Studierende FU Berlin 
epistemische Neugier Lehrende      
Studierende Oldenburg     

Wie kann Forschendes Lernen evaluiert werden? 195
emen
Zielgruppe
Quantitative Erhebung Qualit.
Befragung
Delphi-
Studie
Selbst-
berichte
Inter-
views
Gruppen-
diskussion
Kontrolle
Akzeptanz bei Projekt-
beteiligten
Lehrende      
Studierende 
Akzeptanz bei L ehrenden Lehrende Hohenheim Bremen   Hohen-
heim
Studierende Bremen Bremen
Akzeptanz bei Studierenden Lehrende      
Studierende Hohenheim Hohen-
heim
Akzeptanz in der Hoch-
schul leitung
Lehrende      
Studierende      
Entwicklung / Umsetzung
Didaktische Aspekte Lehrende Hohenheim; HU Berlin   Bremen HU Berlin
Studierende Potsdam Hohen-
heim
Bremen Potsdam
Aufwand für Lehrende Lehrende Hohenheim     
Studierende Bremen 
Herausforderungen von FL Lehrende   Duis-
burg-Es-
sen

Studierende Potsdam Duis-
burg-Es-
sen

Forschungsbezug von
Studiengängen
Lehrende      
Studierende FU Berlin     

196 Janina Thiem und Christopher Gess
3.1 Evaluationen von Forschendem Lernen im Sinne des
Forschungsparadigmas
In diesem Paradigma ist insbesondere die Analyse von Wirkungen von Interesse.
So geht es in den vorliegenden Evaluationen dieses Paradigmas in erster Linie um
Untersuchungen von Lernerfolgen oder Kompetenzzuwächsen durch Forschendes
Lernen. Größtenteils erfolgt dies anhand quasi-experimenteller Forschungsde-
signs mittels Prä-Post-Messungen in quantitativen Befragungen. Lediglich die
Universität Bremen führt eine qualitative Untersuchung mittels Interviews und
Gruppendiskussionen durch. Sie wird dem Forschungsparadigma zugeordnet, da
Selbsteinschätzungen der Studierenden über ihr forschungsmethodisches Wissen
und ihre Lernmotivation im Zeitverlauf eines an Forschendem Lernen ausge-
richteten Studiengangs untersucht wurden (Kaufmann & Koch, 2015; Kaufmann
& Schelhowe, 2017). An der Freien Universität Berlin erfolgt im Rahmen einer
Studiengangsevaluation eine retrospektive Einschätzung zum Erwerb forschungs
-
bezogener Kompetenzen.
In den Wirkungsanalysen werden die folgenden Zielkonstrukte betrachtet:
• forschungsmethodisches Wissen sowie allgemeine forschungsbezogene Kom-
petenzen (nur retrospektiv);
• Forschungsinteresse, forschungsbezogene Selbstwirksamkeit und weitere for-
schungsbezogene aektiv-motivationale Konstrukte;
•
epistemische Neugier, (Lern-)Motivation und weitere aektiv-motivationale
wie kognitive fächerübergreifende Kompetenzen;
• fachliches Wissen sowie allgemeine Fachkompetenz.
Während sich die beschriebenen Evaluationen an der Humboldt-Universität zu
Berlin, der Freien Universität Berlin sowie an den Universitäten Oldenburg und
Duisburg-Essen ausschließlich an Studierende richten, werden im Rahmen der
Hohenheimer sowie der Bremer Evaluationen auch Lehrende einbezogen.
Für die Messung der Zielkonstrukte wurden in den Evaluationen zum Teil
eigens psychometrische Skalen entwickelt und validiert (z. B. forschungsbezogene
Selbstwirksamkeit, Forschungsinteresse an der HU Berlin, siehe Deicke, Gess &
Rueß, 2014; Gess, Rueß & Deicke, 2014) oder etablierte Skalen übernommen und
gegebenenfal ls angepasst. Es fällt auf, dass ein für das Forschende Lernen zentrales
Konstrukt, die Forschungskompetenzen, in den genannten Wirkungsanalysen – mit
Ausnahme einer retrospektiven Erhebung von selbsteingeschätzten Forschungs-
kompetenzen (FU Berlin) – nicht berücksichtigt wird.

Wie kann Forschendes Lernen evaluiert werden? 197
3.2 Evaluationen von Forschendem Lernen im Sinne des
Kontrollparadigmas
Im Zentrum dieses Evaluationsparadigmas steht die Erfolgskontrolle. Zur Syste-
matisierung ist hier zunächst zu klä ren, wie der Erfolg in dem jeweiligen Vorhaben
deniert wird. Bei den Eva luationen von Forschendem Lernen, die diesem Paradigma
zugeordnet werden können, handelt es sich ausschließlich um Akzeptanzstudien,
die an den Universitäten Hohenheim und Bremen durchgeführt werden. Erfolg
wird hier demnach mit Akzeptanz bei relevanten Zielgruppen gleichgesetzt.
Die betrachteten Evaluationen richten sich sowohl an Studierende (Hohenheim,
Bremen) als auch an Lehrende (Hohenheim) und folgen qualitativen (Bremen,
Hohenheim) und quantitativen Ansätzen (Hohenheim). Während die Akzeptan-
zuntersuchung in Bremen im Ra hmen der Studiengangsevaluation erfolgt, handelt
es sich bei der Hohenheimer Analyse um eine einmalig durchgeführte Studie zur
Einschätzung der Akzeptanz des Projektes „Humboldt reloaded“ (Voeth, Kienzle
& Heuchemer, 2015). Im Rahmen der Hohenheimer Studie wurden nicht nur Stu-
dierende und Lehrende befragt, die an dem Projekt teilgenommen bzw. Projekt-
veransta ltungen durchgeführt oder betreut haben, sondern auch „Non-User“. Dies
hatte das Ziel, nach den Quellen möglicherweise mangelnder Akzeptanz zu suchen.
3.3 Evaluationen Forschenden Lernens im Sinne des
Entwicklungsparadigmas
In diesem Paradigma ist es das Ziel, Lern- und Entwicklungsprozesse zu stimulieren.
Entsprechende Evaluationen werden deshalb in der Regel formativ durchgeführt,
also prozessbegleitend. Im Entwicklungsparadigma ist die Einbindung und aus-
führliche Rückmeldung der beteiligten Agierenden wichtig (Stockmann, 2016),
weshalb insbesondere qualitative Methoden eingesetzt werden.
In den Evaluationen von Forschendem Lernen, die dem Entw icklungsparadig ma
zugeordnet werden können, steht überwiegend die didaktische Umsetzung von
Lehrveranstaltungen im Format des Forschendem Lernen im Zentrum, beispiels-
weise die genutzten Lehrmethoden oder die Schwerpunkte innerha lb der Seminare
auf bestimmte Phasen des Forschungsprozesses. Andere Evaluationen betrachten
die Herausforderungen von Forschendem Lernen, beispielsweise den Aufwand für
die Lehrenden, und suchen nach Möglichkeiten, Forschendes Lernen in der Breite
attraktiver zu gestalten. Dies wurde an der Universität Hohenheim umgesetzt.
Auallend ist zudem, dass einige Evaluationen des Forschungsparadigmas auch
formative und qualitative Elemente im Sinne des Entwicklungspa radigmas aufweisen

198 Janina Thiem und Christopher Gess
und insofern beiden Paradigmen zuzuordnen sind. So kombiniert beispielsweise
die Humboldt-Universität zu Berlin Wirkungsanalysen mit Gruppendiskussionen
unter Lehrenden, um Empfehlungen zur didaktischen Umsetzung von Forschendem
Lernen geben zu können (Gess, Rueß & Deicke, 2014).
4 Zusammenfassung und Ausblick
In deutschen Hochschulen wurden in den letzten Jahren einige Evaluationen zum
Forschenden Lernen durchgeführt, wobei teilweise sehr unterschiedliche Evalua-
tionsdesigns angelegt wurden. Am häugsten wurden quantitative Wirkungsana-
lysen mittels Selbsteinschätzungen von Studierenden, qualitative Interviews und
Gruppendiskussion zur didaktischen Umsetzung von Forschendem Lernen und
Akzeptanzstudien konzipiert und realisiert. Sie sind jeweils unterschiedlichen
Evaluationsparadigmen zuzuordnen und verfolgen unterschiedliche Ziele. Mit
dem Beitrag werden somit erstmals systematisch Informationen von vorliegenden
Evaluationskonzepten und -instrumenten zum Forschenden Lernen bereitgestellt,
die beispielsweise von interessierten Hochschulen genutzt werden können, um
eigene Evaluationen zu diesem ema durchzuführen.
Eine Folge der Diversität von Evaluationsdesigns ist, dass sich die Evaluati-
onsergebnisse nicht vergleichen oder zusammenführen lassen. Wird Forschendes
Lernen an zwei Hochschulen wiederholt entlang zweier sehr spezischer Designs
evaluier t und modiziert, entwickeln sich an diesen Hochschulen in der Folge sehr
unterschiedliche Praktiken. Dies ist einerseits wünschenswert, da auf diese Weise
umfassende Erfahrungen mit der Lehr-Lern-Form gesammelt werden. Anderer-
seits könnte dies jedoch dazu führen, dass der interuniversitäre Austausch zur
Lehr-Lern-Form versiegt. Innerhalb dieses Zielkonikts wäre es daher sinnvoll,
zumindest einen Austausch an Evaluationsdesigns und Instrumenten zu ermögli-
chen. Bei der Entwicklung eines Evaluationsdesigns rund um Forschendes Lernen
sollte daher nach Möglichkeit auf bereits entwickelte Verfahren und Instrumente
zurückgegrien und der Austausch mit Hochschulen gesucht werden, die bereits
entsprechende Evaluationen durchgeführt haben. Ein solches Vorgehen erleichtert
wiederum sowohl den thematischen Austausch zwischen den Hochschulen als auch
den Vergleich von Evaluationsergebnissen.
Davon unbenommen sollten weitere Evaluationsdesigns und Instrumente
entwickelt werden. So werden bei Betrachtung bestehender Designs einige Lücken
deutlich. Die größte Lücke besteht vermutlich bei der Entwick lung von Forschungs-
kompetenzen, immerhin ein zentrales Ziel von Forschendem Lernen. Zudem wurde

Wie kann Forschendes Lernen evaluiert werden? 199
der Kompetenzerwerb beim Forschenden Lernen zum Zeitpunkt der Abfrage an
keiner Hochschule gemessen. Ebenfalls unbeachtet bleiben die Wirkungen für die
Lehrenden, beispielsweise hinsichtlich ihrer Einstellungen gegenüber Studierenden
sowie ihrer lerntheoretischen Überzeugungen oder ihrer hochschuldidaktischen
Bedarfe. Zumindest im Hinblick auf die ersten beiden Lücken wurden in den
letzten Jahren zwei Instrumente entwickelt, mit denen Forschungskompetenzen
erhoben, teilweise sogar gemessen werden können: ein Fragebogen zur Erfassung
fachkulturübergreifender studentischer Forschungskompetenzen (Böttcher & iel,
2016) sowie ein Test zur Messung sozialwissenschalicher Forschungskompetenz
(Gess, 2018):
• Selbsteinschätzung fachkulturübergreifender Forschungskompetenzen: Der von
Böttcher und iel entwickelte Fragebogen dient dazu, die Förderung von selbst-
eingeschätzten studentischen Forschungskompetenzen in forschungsbezogenen
Lehr-Lern-Formaten zu evaluieren (Böttcher &iel, 2016, 2018). Das Instrument
basiert auf einem generischen Modell fachkulturübergreifender studentischer
Forschungskompetenzen (iel & Böttcher, 2014). Es besteht aus insgesamt fünf
Dimensionen und umfasst vier Kompetenzbereiche, die sich an der Logik des
Forschungsprozesses orientieren (Böttcher & iel, 2016). Dabei handelt es sich
um die fachunabhängigen Dimensionen Recherche-, Methoden-, Reexions- u nd
Kommunikationskompetenzen, die um die Dimension des fachlichen Wissens
ergänzt werden. Für jede der Dimensionen wurden mehrere Facetten operati-
onalisiert. In konrmatorischen Faktorenanalysen konnte die angenommene
Modellstruktur von fünf Dimensionen weitgehend bestätigt werden.
•
Messung sozialwissenschalicher Forschungskompetenzen: Der von Gess entwi-
ckelte Kompetenztest erlaubt es, die Entwicklung von forschungsbezogenem
Wissen im Studienverlauf zu erheben (Gess, 2018). Es kann in allen Lehrformaten
in sozialwissenschalichen Studiengängen eingesetzt werden. Der Test basiert
auf einem Modell von Forschungskompetenz, das Forschungsprozesswissen,
Methodenwissen und methodologisches Wissen umfasst (Gess, Rueß & Blöme-
ke, im Druck). In Validierungsanalysen konnte nachgewiesen werden, dass die
Testwerte ein erlernbares, in sozialwissenschalichen Studienfächern vermit-
teltes und forschungsbezogenes Konstru kt wiedergeben (Gess, Geiger & Ziegler,
2018). Da die vorliegenden Testaufgaben eine eindimensionale Interpretation
der Testwerte ermöglichen, ist der Test in Veranstaltungen zu qualitativen wie
auch zu quantitativen Methoden einsetzbar. Im Gegensatz zum Verfahren von
Böttcher und iel erhebt der Test objektive Forschungskompetenz anstelle der
Selbsteinschätzung von Forschungskompetenzen.

200 Janina Thiem und Christopher Gess
Beide Instrumente ermöglichen es, Forschendes Lernen unter neuen Perspektiven
zu evaluieren. Weitere Instrumente zu aektiv-motivationalen Forschungskompe-
tenzen werden aktuell entwickelt (Wessels etal., 2018). Wir empfehlen, zukünig
Evaluationen, die im Feld des Forschungsparadigmas durchgeführ t werden sollen,
verstärkt a n diesen Instrumenten auszurichten und Ergebnisse auszutauschen sowie
Evaluationsstudien hochschulübergreifend oder als Längsschnittstudie anzulegen
– eine Panelbefragung von Studierenden zum Forschen im Studium wird beispiels-
weise seit dem Wintersemester 2017/18 an der Universität Oldenburg durchgeführt.
Für Evaluationen, die das Entwicklungsparadigma berücksichtigen, empfehlen
wir, die Wirkungen von Forschendem Lernen auf die Lehrenden zukünig stärker
als bislang zu untersuchen – auch im Hinblick auf begleitende Maßnahmen wie
zum Beispiel hochschuldidaktische Weiterbildungsmaßnahmen zum Forschen-
den Lernen, die an der Technischen Universität Hamburg durchgeführt werden
(Bulmann etal., 2018).
Schließlich empfehlen wir im Feld Kontrollparadigma, auf bisherigen Ak-
zeptanzstudien aufzubauen und diese hochschulübergreifend durchzuführen.
Auf diese Weise könnten unterschiedliche Umsetzungsformate und didaktische
Begleitungssettings hinsichtlich der Akzeptanz verglichen werden.
Literatur
Barr, R. B. & Tagg , J. (1995). From Teaching to Lea rning: A New Parad igm for Undergraduate
Education. Change, 27(6), S. 12–25.
Böttcher, F. & iel, F. (2016). Der Fragebogen z ur Erfassung s tudentischer Forschungs kom-
petenzen: Ein Inst rument auf der Grund lage des RMR K-W-Modells zur Ev aluation von
Formaten forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, N. Schaper, B.
Szczyrba & J. Wildt (Hrsg.), Neues Handbuch Hochschullehre (I 2.11, S. 57–74). Berlin:
DUZ Medienhaus.
Böttcher, F. & iel, F. (2018). Evaluating research-oriented teaching: A new instrument
to assess university students’ research competences. Higher Education, 75(1), S. 91–110 .
Braun, E. & Hannover, B. (2012). Editorial. Zeitschri für Erziehungswissenscha, 15,
S. 209–212.
Brown, A. L. (1992). Design Experiments: eoretical and Methodological Challenges in
Creating C omplex Interventions in Classroom Set tings. Journal of th e Learning Scienc es,
2(2), S. 141–178.
Bryman, A. (2001). Social reseach methods. Oxford: Oxford University Press.
Bulmann, U., Braun, S., Vosgerau, K., Ellinger, E. & Knutzen, S. (2018). Combining research
and teaching in enginee ring: Creating a dida ctic qualication pro gramme on research-ba sed

Wie kann Forschendes Lernen evaluiert werden? 201
learning for early stage researchers (Full Paper, Se Annual Conference). Copenhagen
(accepted).
Bundesa ssistentenkonferenz (BAK) (1970). Forschendes Lernen – Wissenschaliches Prüfen
(Schrien der BAK, 5. Neudruck). Bielefeld: UVW.
Bundesministerium für Bildung und Forschung (BMBF) (2013). Richtlinien zur Förderung
von Vorhaben zur Begleitforschung zum Qualitätspakt Lehre. BAnz AT 07.10.2013 B2.
Chelimsky, E. (1997). oughts for a new evaluation society: Keynote speech at the UK
Evaluation Society conference in London 1996. Evaluation, 3(1), S. 97–109.
Collins, A. (1992). Towards a design science of education. In E. Scanlon & T. O´Shea, T.
(Hrsg.), New directions in educational technology (S. 15–22). Berlin: Springer.
Creswell, J. W. (2014). Research design: qualitative, quantitative and mixed methods ap-
proaches. Los Angeles: Sage.
Deicke, W., Gess, C. & Rueß, J. (2014). Increasing Student’s Research Interest through
Research-Based Learning at Humboldt-University. Council on Undergraduate Research
Quarterly, 35(1), S. 27–33.
Döring, N. & Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Hu-
manwissenschaen (5. Au.). Heidelberg: Springer.
Gess, C . (2 018). Entwicklung und Validier ung eines Tests zur Messung sozialwissenschalicher
Forschungskompetenz (Unveröentlichte Dissertationsschri).
Gess, C ., Deicke, W. & Wess els, I. (2017). Kompetenzentw icklung durch Forschende s Lernen.
In H. A. Mieg & J. Lehmann (Hrsg.), Forschendes Lernen: Wie die Lehre in Universität
und Fachhochschule erneuert werden kann (S. 79 –90). Frankfurt: Campus.
Gess, C ., Geiger, C. & Ziegler, M. (2018). Social-scientic research competenc y: Va lidation of
test score interpretations for e valuative purposes in hig her education. European Journal
of Psychological Assessment. S. 1–14.
Gess, C., Rueß, J. & Blömeke, S. (2019). Fach- und paradigmenübergreifendes Modell der
Forschungskompetenz in den Sozialwissenschaen. Zeitschri für empirische Hoch-
schulforschung. S. 7–27.
Gess, C., Rueß, J. & Deicke, W. (2014). Design-based Research als Ansatz zur Verbesserung
der Lehre an Hochschulen – Einführung und Praxisbeispiel. Qualität in der Wissen-
scha, 8(1), S. 10–16.
Hitzler, R. (2016). Zentrale Merkmale und periphere Irritationen interpretativer Sozialfor-
schung. Zeitschri für Qualitative Forschung, 17(1_2) , S. 17 1–184.
Huber, L. (2004). Forschendes L ernen: 10 esen zum Verhältnis von Fors chung und Lehre
aus der Perspektive des Studiums. die hochschule, 13(2), S . 29–49.
Huber, L. (2009). Warum Forschendes Lernen nötig und möglich ist. In L. Huber, J. Hell-
mer & F. Schneider (Hrsg.), Forschendes Lernen im Studium (S. 9–35). Bielefeld: UVW.
Johnson, R. B., Onwuegbuzie, A. J. & Turner, L. A. (2007). Toward a denition of mixed
methods research. Journal of Mixed Methods Research, 1(2), S. 112–133.
Kaufma nn, M. E. & Koch, H. (2015). Evaluierende Begleitforschu ng zum Umgang mit Hetero-
genität beim Forschenden Ler nen in der Studieneinga ngsphase. In S. Har ris-Hümmert,
L. Mit terauer & P. Pohlen z (Hrsg.), Heterogenität der Studierendenschaen: Herausforde-
rung für die Qualitätsentwicklung in Lehre und St udium, neuer Foku s für die Evaluation?
(S. 113–128) Bielefeld: UVW.
Kaufmann, M. E. & Schelhowe, H. (2017). Forschendes Lernen als Lehrprol von Hoch-
schulen – am Beispiel der Universität Bremen. In H. A. Mieg & J. Lehmann (Hrsg.),

202 Janina Thiem und Christopher Gess
Forschendes Lernen: Wie die Lehre in Universität und Fachhochschule erneuert werden
kann (S. 392–400). Frankfurt: Campus.
Kromrey, H. (2003). Evaluat ion in Wissenscha u nd Gesellscha . Zeitschri für Evaluation,
2(1), S. 93–116.
Kromrey, H. (2005). Evaluation – ein Üb erblick. In H. Schöch (H rsg.), Was ist Qualität? Die
Entzauberung eines Mythos (Bd. 6, S. 31–85). Berlin: Wissenschalicher Verlag (Schrif-
tenreihe Wandel und Kontinuität in Organisationen).
Metz-Göckel, S., Ka mphans, M. & Scholk mann, A. (2012). Hochschuldida ktische Forschun g
zur Leh rqualität und Ler nwirksam keit: Ein Rückblick, Ü berblick und Ausblick. Zeitschri
für Erziehungswissenscha, 15, S. 213–232.
Mey, G. (2016). Qu alitative Forschung: Zu einem Über(be)gri u nd seinen (Ver)Wendungen.
ZQF – Zeitschri für Qualitative Forschung, 17(1–2), S. 185–197.
Mruck, K ., Cisneros Puebla, C. A . & Faux, R. (2005). Editoria l: Über Zentren u nd Per ipherien
qualitativer Forschung. Forum Qualitative Sozialforschung, 6(3).
Pasternack, P. (2017). Was die Hochschulforschung zum Forschenden Lernen weiß. In H.
A. Mieg & J. Lehmann (Hrsg.), Forschendes Lernen: Wie die Lehre in Universität und
Fachhochschule erneuert werden kann (S. 37–44). Frankfurt: Campus.
Reinmann, G., (2005). Innovation ohne Forschung? Ein Plädoyer für den Design-Based
Research-Ansatz in der Lehr-Lernforschung. Unterrichtswissenscha, 33(1), S. 52– 69.
Schubarth, W. & Speck, K. (2014). Employability und Praxisbezüge im wissenschalichen
Studium. Fachgutachten für die Hochschulrek torenkonferenz. Verfügba r unter https://
www.hrk-nexus.de/leadmin/redaktion/hrk-nexus/07-Downloads/07-02-Publikationen/
Fachgutachten_Employability-Praxisbezuege.pdf [20.02.2019].
Schumacher, R. (20 09). Was heißt es, etwas verstanden zu haben? Menschliches Lernen aus
Sicht der Psychologie. Forschung & Lehre, 16(12), S. 8 82–883.
Stockmann, R. (2002). Qualitätsmanagement und Evaluation – Konkurrierende oder sich
ergänzende Konzepte? Zeitschri für Evaluation, 2, S. 209–243.
Stockmann, R. (2016). Entstehung und Grundlagen der Evaluation. In D. Großmann & T.
Wolbring, (Hrsg.), Evaluation von Studium und Lehre: Grundlagen, methodische Her-
ausforderungen und Lösungsansätze (S. 27–56). Wiesbaden: Springer VS.
iel, F. & Böttcher, F. (2014). Modellierung fächerübergreifender Forschungskompeten-
zen: Das RMKR-W-Modell als Grundlage der Planung und Evaluation von Formaten
forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, N. Schaper, B. Szczirba &
J. Wildt (Hrsg.), Neues Handbuch Hochschullehre (Grima rke I 2.10, S. 109–124). B erlin.
Voeth, M., Kienzle, N. & Heuchemer, A. (2015). Beurteilung der Akzeptanz von Humboldt
reloade d an der Universität Hohenheim. Universität Hohenheim. Verfügbar unter https://
studium-3-0.uni-hohenheim.de/akzeptanzstudie [20.02.2019].
Wessels, I., Rueß, J., Jenßen, L., G ess, C. & Deicke, W. (30.07.2018). Beyond C ognition: Exper ts’
Views on Aec tive-Motivational Research Di spositions in the Soc ial Sciences. Frontiers
in Psychology, 9:1300. Verfügbar unter https://www.frontiersin.org/articles/10.3389/
fpsyg.2018.01300/full [20.02 .2019].
Wissenschasrat (2001). Empfehlungen zur künigen Struktur der Lehrerbildung (Drs.
5065/01). Verfügbar unter https://www.wissenschasrat.de/download/archiv/5065-01.
pdf [20.02.2019].
Wissenschasrat (2006). Empfehlungen zur künigen Rolle der Universitäten im Wissen-
schassystem (Drs. 7067-06). Verfügbar unter https://www.wissenschasrat.de/download/
archiv/7067-06.pdf [20.02.2019].

Wie kann Forschendes Lernen evaluiert werden? 203
Wissenschasrat (2015). Empfehlungen zum Verhältnis von Hochschulbildung und Arbeits-
markt (Drs. 4925-15). Verfügbar unter https://www.wissenschasrat.de/download/
archiv/4925-15.pdf [20.02 .2019].
Zur Autorin und zum Autor
Dr. Janina iem ist Mitarbeiterin in der Internen Eva luation im Referat Studium und
Lehre der Carl von Ossietzky Universität Oldenburg und für die Projekteva luation
des Qualitätspakt-Lehre-Projekts „Forschungsbasiertes Lernen im Fokus (FLiF)“
zuständig. E-Mail: janina.thiem@uol.de
Dr. Christopher Gess hat ein Lehramtsstudium an der Universität Bielefeld mit dem
ersten Staatsexamen sowie ein Masterstudium der Public Administration an der
Columbia University (USA) abgeschlossen. Er arbeitete von 2012 bis 2017 im bologna.
lab der Humboldt-Universität zu Berlin. Dort lag sein Forschungsschwerpunk t auf
den Wirkungen Forschenden Lernens, insbesondere auf dem Forschungsinteresse
und der Forschungskompetenz. Letzteres ist das ema seiner 2019 abgeschlossenen
Dissertation. E-Mail: christopher.gess@hu-berlin.de
Open Access Dieses Kapitelwirdunter der Creative Commons Namensnennung
4.0 International Lizenz (http://creativecommons.org/licenses/by/4.0/deed.de)
veröentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung
und Wiedergabe in jeglichem Medium und Format erlaubt, sofernSie den/die
ursprünglichenAutor(en) und die Quelleordnungsgemäßnennen, einen Link zur
Creative Commons Lizenzbeifügen und angeben, obÄnderungenvorgenommen-
wurden.
Die in diesemBuchenthaltenenBilder und sonstigesDrittmaterialunterliegene-
benfalls der genannten Creative Commons Lizenz, sofernsichaus der Abbil-
dungslegendenichtsanderesergibt. Sofern das betreende Material nichtunter der
genannten Creative Commons Lizenzsteht und die betreendeHandlungnicht-
nachgesetzlichenVorschrienerlaubtist, istfür die obenaufgeführtenWeiterverwen-
dungen des Materials die Einwilligung des jeweiligenRechteinhaberseinzuholen.