Content uploaded by Benedikt Hell
Author content
All content in this area was uploaded by Benedikt Hell
Content may be subject to copyright.
Konstruktion und Evaluation eines mehrstufigen Auswahl-
verfahrens für Lehramtsstudierende im Fach Biologie an der
Universität Hohenheim1
Sabrina Trapmann, Benedikt Hell und Heinz Schuler
1. Ausgangslage
Ein zentrales Ergebnis der bisherigen Forschung zur Studierendenauswahl ist, dass
jedes Auswahlverfahren auf die spezifischen Bedingungen der Universität und des
Studiengangs, für den es eingesetzt werden soll, angepasst werden sollte. Dabei ist nicht
nur die Validität der Verfahren zu berücksichtigen, sondern auch Rahmenbedingungen
(vgl. Hell, Trapmann & Schuler, in diesem Band) und Zielsetzungen des betreffenden
Studiengangs und der auswählenden Universität. In diesem Kapitel wird beispielhaft ein
mehrstufiges Auswahlverfahren beschrieben, das für den Lehramtsstudiengang im Fach
Biologie an der Universität Hohenheim konzipiert wurde.
Ausgangspunkt für die Neugestaltung der Auswahl der Lehramtsstudierenden im
Fach Biologie war v.a. die Beobachtung der Hochschullehrer, dass eine nicht
unbeträchtliche Anzahl der Lehramtsstudierenden zwar Neigungen für das Fach
Biologie zeigt, aber scheinbar kaum über lehrertypische Interessen und Fähigkeiten
verfügt. Typisch für das Lehramtsstudium ist jedoch, dass dieser Studiengang beinahe
zwangsläufig auch im Lehrerberuf mündet. Den Absolventen des Lehramtsstudiums
stehen nicht – wie den Absolventen vieler anderer Studiengänge – verschiedenartige
ausbildungsadäquate Berufsfelder offen. Der Berücksichtigung des Lehrerberufs bei der
Studierendenauswahl kommt in diesem Fall also eine besondere Bedeutung zu. Die
Frage, ob bei der Auswahl von Studierenden nicht nur die Studieneignung, sondern
auch die Berufseignung berücksichtigt werden sollte, ist immer im einzelnen Fall zu
überprüfen und kann in den meisten Fällen kritisch betrachtet werden. Im vorliegenden
Fall haben sich die Autoren gemeinsam mit den für den Studiengang Verantwortlichen
dazu entschieden, die Berufseignung auf Grund des engen Berufsfelds für die
Absolventen bei der Auswahl von Studierenden zu berücksichtigen.
Die Auswahl für einen Lehramtsstudiengang zu optimieren wird auch von
alarmierenden Berichten über Häufigkeiten psychosomatischer Beschwerden und
Burnout-Syndrom im Lehrerberuf (Kupper & Hempel, 2006) sowie häufige
krankheitsbedingte Frühpensionierungen von Lehrern (Bund-Länder-Projektgruppe,
2003; Statistisches Bundesamt, 2002) nahegelegt. Neben erfolgreichen Studierenden des
Faches Biologie sollten in einem Auswahlverfahren für diesen Studiengang also auch
diejenigen Bewerber gefunden werden, die eine Passung zum Lehrerberuf aufweisen.
Rahmenbedingungen für die Konzeption des neuen Auswahlverfahrens waren die
kleine Anzahl zu vergebener Studienplätze von 18 (22 Studienplätze abzüglich
Vorabquoten für ausländische Bewerber und Wartezeit) und die demgegenüber große
Anzahl von 152 Bewerbern für diesen Studiengang.
1 Die Entwicklung der Auswahlverfahren wurde unterstützt von der Universität Hohenheim.
2. Anforderungsanalyse
Zur Bestimmung der Anforderungen, die der betrachtete Studiengang an seine
Studierenden stellt, wurden zwei Anforderungsanalysen durchgeführt. Eine Analyse
bezog sich auf die Anforderungen, die an Studierende des Faches Biologie gestellt
werden, die andere auf die Anforderungen an Gymnasiallehrer.
Zur Erfassung der Anforderungen des Biologiestudiums wurden Studierende und
Hochschullehrer des Diplomstudiengangs Biologie an der Universität Hohenheim
befragt. Die Anforderungsanalyse zum Biologiestudium wurde durchgeführt unter
Verwendung der Methodik zur Ermittlung und Validierung von Anforderungen an
Studierende (MEVAS; Hell, Ptok & Schuler, 2007). Die Anforderungen des
Lehrerberufs wurden mit Hilfe erfahrener Lehrkräfte verschiedener Gymnasien
bestimmt, die aus der Literatur abgeleitete und durch Mitglieder des Lehrerseminars
Esslingen ergänzte Anforderungen hinsichtlich ihrer Bedeutsamkeit einstuften.
Die beiden Anforderungsanalysen brachten zum Teil überlappende, zum Teil aber
auch unterschiedliche Anforderungsdimensionen hervor. Die Anforderungs-
dimensionen, die sowohl für das Fachstudium als auch für den Lehrerberuf als
besonders bedeutsam eingestuft wurden, waren das Fachinteresse sowie die
Persönlichkeitseigenschaften Gewissenhaftigkeit, Belastbarkeit, Selbstbeherrschung und
Ausdauer. Für das Biologiestudium sind darüber hinaus bedeutsam für den
Studienerfolg: Verarbeitungskapazität und Merkfähigkeit, Kenntnisse der Schulfächer
Englisch, Chemie, Biologie und Mathematik sowie eine sorgfältige Studienwahl und
Identifikation mit dem Studienfach. Zu den bedeutsamsten Anforderungen an
Lehrkräfte gehören außerdem das Interesse an pädagogischer Arbeit, Durchsetzungs-
fähigkeit sowie kommunikative und soziale Fertigkeiten.
3. Mehrstufiges Auswahlverfahren
Um alle der oben aufgeführten Anforderungsdimensionen sorgfältig aber auch
ökonomisch im Auswahlverfahren abzubilden und somit valide Prädiktoren für die
verschiedenen Erfolgskriterien berücksichtigen zu können, werden die Bewerber einem
mehrstufigen Auswahlverfahren unterzogen. Alle Studieninteressierten haben die
Möglichkeit, die Adäquatheit ihrer Studienwahl im Self-Assessment zu überprüfen. Im
Rahmen des Auswahlprozesses werden zunächst die Schulnoten der Bewerber erfasst
und ausgewertet. Im Anschluss daran werden die besten Bewerber zu einem
Auswahlgespräch mit Hochschullehrern des gewünschten Studiengangs eingeladen. Die
folgenden Abschnitte stellen diese drei Stufen des Auswahlverfahrens im Einzelnen vor.
3.1. Hohenheimer Online-Interessentest
Der Hohenheimer Online-Interessentest für Studieninteressierte („was-studiere-ich.de“)
ist ein für Bewerber kostenloses Selbsteinschätzungsverfahren, mit dem studien- und
berufsrelevante Interessen und Vorlieben systematisch erfasst werden. Der Test bietet
Schülern der gymnasialen Oberstufe Unterstützung und Hilfestellung in der Frage,
welche Studienfächer zu ihren persönlichen Interessen passen. In erster Linie sollen
Studieninteressierte informiert werden und zur differenzierten und gründlichen
Auseinandersetzung mit den eigenen Neigungen angeregt werden. Den Testteilnehmern
sollen Möglichkeiten der beruflichen Entwicklung aufgezeigt werden und sie sollen zu
einer sorgfältigen Studienfachwahlentscheidung geführt werden.
Das Verfahren besteht aus zwei Teilen. Im ersten Teil (49 Items) wird ein
generelles Interessenprofil ermittelt, aus dem ortsübergreifende
Studienfachempfehlungen abgeleitet werden. Dieser Teil des Interessentests beruht auf
dem Modell beruflicher Interessen von John Holland (z. B. 1997), das sechs
verschiedene Interessenfelder unterscheidet und grafisch anordnet. Abbildung 1 zeigt
dieses sog. RIASEC-Modell. Den Interessen der Personen können Anforderungen von
Berufen zugeordnet werden, die ebenfalls anhand dieses Modells beschrieben werden.
Dazu muss jedem Beruf eine Kombination von drei Interessenfeldern zugeordnet
werden, die einen erfolgreichen und zufriedenen Berufsinhaber auszeichnen würden.
Abbildung 1: Die Struktur beruflicher Interessen und beruflicher Umwelten nach
Holland (1997)
Anmerkungen: r = praktisch-technische Interessen/Umwelten (realistic); i = wissenschaftliche
Interessen/Umwelten (investigative); a = künstlerisch-sprachliche Interessen/Umwelten (artistic);
s = soziale Interessen/Umwelten (social); e = unternehmerische Interessen/Umwelten
(enterprising); c = ordnend-verwaltende Interessen/Umwelten (conventional).
Den Testteilnehmern werden nicht nur ihre individuellen Ausprägungen der sechs
Interessenfeldern und die dazu passenden Berufe zurückgemeldet, sondern darüber
hinaus auch noch die Studiengänge aufgezeigt, die zu den interessenkonformen Berufen
führen. Weiterführende Informationen zu diesen Studiengängen werden den
Testteilnehmern durch eine Verlinkung mit den Internetseiten der Bundesagentur für
Arbeit zur Verfügung gestellt.
Der zweite Teil des Online Self-Assessments besteht aus weiteren 87 Fragen,
nach deren Beantwortung den Testteilnehmern eine speziell auf die einzelnen
Studiengänge der Universität Hohenheim und deren Ausrichtung abgestimmte
Studienfachempfehlung gegeben wird. Auch hier führen Links zu weiteren
Informationen im Internet. Sowohl die Items als auch die Auswertungsalgorithmen
wurden in Zusammenarbeit mit den Fachstudienberatern der einzelnen Studiengänge
entwickelt und an verschiedenen Stichproben erprobt.
i a
rs
ce
Seit Bekanntmachung des Verfahrens im September 2006 haben über 60 000
Personen den Test durchgeführt. Die große Resonanz zeigt die gute Annahme und
Akzeptanz des Verfahrens und weist auf großen Beratungsbedarf der
Studieninteressierten hin. Mit einem Datensatz von über 30 000 Fällen wurde die
Struktur des Tests überprüft. Kriteriendaten des Studienerfolgs liegen noch nicht vor, so
dass die kriterienbezogene Validität des Testergebnisses zur Vorhersage des
Studienerfolgs nicht überprüft werden kann. Hier sollen einige Ergebnisse des
allgemeinen Teils des Tests vorgestellt werden. Neben Analysen der internen
Konsistenz der sechs RIASEC-Skalen, die alle zufriedenstellend ausfielen (Cronbachs α
im Bereich von .64 bis .85), wurde die Struktur des zugrunde liegenden Modells, auf
dem die Berufs- und Studienfachempfehlungen fußen, mittels multidimensionaler
Skalierung und Faktorenanalyse analysiert.
Zur Überprüfung der Modellannahmen wurde eine Multidimensionale Skalierung
mit den z-standardisierten Werten vorgenommen. Dieses Verfahren verortet die
Testergebnisse im zweidimensionalen Raum und zeigt so die Nähe oder Distanz der
Skalen zueinander an. Aufgrund der ebenfalls zweidimensionalen Struktur des Modells
berufsbezogener Interessen von Holland lassen sich die theoretischen Annahmen mit
den empirischen Ergebnissen vergleichen. Abbildung 2 zeigt die Verteilung der
Skalenwerte auf zwei Dimensionen; die Struktur bildet Hollands Modell
berufsbezogener Interessen nach. Die Extrema der ersten Dimension können
interpretiert werden als Interesse für Dinge (negativer Pol) vs. Personen (positiver Pol).
Die zweite Dimension spannt den Raum zwischen Interesse für Daten (negativer Pol)
vs. Ideen (positiver Pol) auf.
Abbildung 2: Multidimensionale Skalierung des allgemeinen Teils des Hohenheimer
Online-Interessentests
Anmerkungen: siehe Abbildung 1
Euklidisches Distanzmodell
Dimension 1
3210-1-2
Dimension 2
1.0
.5
0.0
-.5
-1.0
-1.5
a
s
r
i
e
c
Zur Bestimmung der Anzahl der Faktoren, zu denen sich die Items verdichten
lassen, wurde auf drei etablierte Kriterien zurückgegriffen. Die Analyse des Screeplots
spricht für die Extraktion von sechs Faktoren, wie es das Modell von Holland vorsieht.
Die Hornsche Parallelanalyse legt die Bildung von acht Faktoren nahe, das Kaiser-
Guttman-Kriterium spricht sogar für neun zu extrahierende unabhängige Faktoren. Nach
dem von Goldberg (2006) vorgeschlagenen Verfahren wurde ein hierarchisches
Vorgehen gewählt, aus dem ersichtlich wird, welche Faktoren zusätzlich entstehen und
woraus sie sich entwickeln, wenn man sukzessive mehr Faktoren bei der Analyse
zulässt (vgl. Abbildung 3). Dazu werden Faktorenanalysen mit ansteigender Anzahl von
Faktoren berechnet und die Faktorwerte der verschiedenen Faktorlösungen miteinander
korreliert. Auf der obersten Ebene sind sechs Faktoren aus den Daten extrahiert, auf der
zweiten Ebene sieben, auf der dritten acht und auf der untersten Ebene neun Faktoren.
In der Abbildung sind die Korrelationen zwischen den jeweiligen Faktoren
veranschaulicht. Bei genauer Betrachtung der Faktorladungen der Items kann man
erkennen, dass die sechs Faktoren genau die sechs Facetten des zugrunde liegenden
RIASEC-Modells darstellen. Bei Hinzunahme jeweils eines weiteren Faktors lassen sich
Faktoren abtrennen, die das Interesse am Umgang mit dem Computer, das Interesse am
Malen und Zeichnen vs. das Interesse am Lesen und Schreiben sowie das Interesse am
Lehren und Erziehen abbilden. Bei einer Erweiterung des Modells um mehr Faktoren
wäre also möglicherweise eine noch genauere Zuweisung zu Berufen und
Studiengängen möglich. Sowohl die Multidimensionale Skalierung als auch die
Faktorenanalyse zeigen, dass die Modellpassung gegeben ist und so die Zuordnung der
Berufe und mithin der Studienfächer über die Interessenfelder des RIASEC-Modells
sinnvoll möglich ist.
R I A S E C
R I A S E CPC
.99 1.0 .95
1.0 1.0 .69 .71
R I A
Graphik
E C PC
A
Text
S
.88 .98 1.0
.99 .96.99
.73 .65
.42
R I E C PC
S S
Lehren
.99 1.0 .99 1.0
1.0.93
1.0 1.0 .36
A
Graphik
A
Text
R I A S E C
R I A S E CPC
.99 1.0 .95
1.0 1.0 .69 .71
R I A S E CPC
.99 1.0 .95
1.0 1.0 .69 .71
R I A
Graphik
E C PC
A
Text
S
.88 .98 1.0
.99 .96.99
.73 .65
.42
R I A
Graphik
E C PC
A
Text
S
.88 .98 1.0
.99 .96.99
.73 .65
.42
R I E C PC
S S
Lehren
.99 1.0 .99 1.0
1.0.93
1.0 1.0 .36
A
Graphik
A
Text
R I E C PC
S S
Lehren
.99 1.0 .99 1.0
1.0.93
1.0 1.0 .36
A
Graphik
A
Text
Abbildung 3: Hierarchische Faktorstruktur
Anmerkungen: siehe Abbildung 1; PC = Interesse am Umgang mit Computer; AGraphik = Interesse am Zeichnen
und Malen; AText = Interesse am Umgang mit Sprache; SLehren = Interesse am Unterrichten und
Erziehen. Korrelationen zwischen den Faktoren ab einer Höhe von .30
3.2. Schulnoten
Schulnoten und insbesondere durchschnittliche Schulnoten wie die Abiturnote gelten als
der valideste Einzelprädiktor für Studiennoten (vgl. Hell et al., in diesem Band), die
zweifelsohne ein wichtiges Studienerfolgskriterium darstellen. Darüber hinaus lassen
sich zwei der oben aufgeführten und als besonders bedeutsam bewerteten
Anforderungen mit Schulnoten abbilden: Verarbeitungskapazität und Merkfähigkeit
sowie Kenntnisse in den relevanten Schulfächern. Die Note der
Hochschulzugangsberechtigung (HZB) – das ist im Regelfall die durchschnittliche
Abiturnote – wird bei dem hier beschriebenen Auswahlverfahren an zwei Stellen
berücksichtigt, um eine Auswahl hinsichtlich des Studienerfolgs zu treffen. Zunächst
werden die zum Interview eingeladenen Bewerber anhand ihrer Schulnote
vorausgewählt. Kriterium für eine Einladung zum Gespräch war eine HZB-Note von 2,4
oder besser. Darüber hinaus geht dieser Notendurchschnitt gleichgewichtig mit dem
Ergebnis des Auswahlgesprächs in die Bildung der Rangreihe ein, aus der die Bewerber
für die Zulassung zum Studiengang Biologie Lehramt ausgewählt werden.
3.3. Strukturiertes Mehrkomponenten-Interview
Von den 152 Bewerbern für den Studiengang Biologie Lehramt wurden 80 Personen zu
einem Auswahlgespräch an die Universität Hohenheim eingeladen. 64
Studieninteressierte, davon 50 weiblich und 14 männlich, erschienen zum Interview.
Das Gespräch wurde jeweils von zwei Hochschullehrern anhand eines Leitfadens
geführt, der sowohl den Ablauf als auch die Fragen und Anker zur Bewertung der
Antworten vorgibt. Im Vorfeld nahmen die Interviewer an einem Interviewertraining
teil. Dieses Training hatte einen Umfang von vier Stunden und diente dazu, den
Teilnehmern das Interview und seine Komponenten genauestens darzulegen und den
Umgang mit dem Leitfaden einzuüben. Anhand einer eigens erstellten DVD wurden
Beobachterfehler und Strategien zur Vermeidung dieser Fehler vorgestellt und
Einstufungsübungen durchgeführt. Im Anschluss daran führte jeder der Teilnehmer
Probeinterviews mit Schülern der gymnasialen Oberstufe. Diese ersten Interviews
wurden durch die Autoren supervidiert und ausführlich besprochen.
Die Prognosekraft von Auswahlgesprächen hängt ganz wesentlich von der
Gesprächskonzeption, also der inhaltlichen und methodischen Umsetzung ab. Die
Aussagekraft von unstandardisierten Interviews ist nach gängigem Forschungsstand als
gering zu veranschlagen (Schuler, 2002; Hell, Trapmann, Weigand & Schuler, 2007).
Anders steht es um die Prognosegüte strukturiert geführter Gespräche. In Konsequenz
der Defizite herkömmlicher Auswahlgespräche und der Einseitigkeiten bereits
publizierter strukturierter Interviewverfahren zur Personalauswahl entwickelte Schuler
(1992) das sogenannte Multimodale Interview® (MMI), das sich besonders durch seine
anforderungsbezogene, psychometrische Konstruktion und teilstandardisierte
Durchführung auszeichnet. Theoretische Grundlage ist die Mehrfachabdeckung der
Anforderungskonstrukte durch verschiedene diagnostische Methoden (Multimodalität).
Angesichts der günstigen psychometrischen Kennwerte und der hohen Validität des
MMI (Schuler, 2002) wurde entschieden, sich bei der Entwicklung der
Interviewkonzeption für den Studiengang Biologie Lehramt an den Prinzipien des MMI
zu orientieren. Ergebnis ist das Strukturierte Mehrkomponenten-Interview für den
Studiengang Biologie Lehramt. Als neuartige Komponente wurde eine
Tätigkeitssimulation aufgenommen, bei der die Bewerber die Aufgabe haben, einen
unmittelbar vor dem Interview ausgegebenen Text in Form eines kurzen Referats
vorzutragen. Diese Aufgabe soll in erster Linie die Anforderungen simulieren, die an
Lehrer gestellt werden; zudem stellt sie aber auch eine Simulation von
Studienanforderungen dar, indem die Aufnahme, Verarbeitung, Strukturierung, Wieder-
gabe und Kommunikation von Inhalten simuliert werden. Das Strukturierte
Mehrkomponenten-Interview setzt sich aus folgenden sieben Teilen zusammen:
I. Gesprächsbeginn
II. Selbstvorstellung
III. Studienfach- und Berufswahl
IV. Biografische Fragen
V. Tätigkeitssimulation: Kurzreferat
VI. Situative Fragen
VII. Gesprächsabschluss
Die Beurteilung des Bewerberverhaltens erfolgt gemäß den zuvor definierten
Anforderungsdimensionen:
-Fachinteresse
-Pädagogisches Interesse und Schülerorientierung
-Kommunikative und soziale Fertigkeiten
-Belastbarkeit, Selbstbeherrschung und Ausdauer
-Durchsetzungsfähigkeit
Jede der genannten Anforderungsdimensionen wird erstens durch verschiedene
diagnostische Ansätze (biografie- und simulationsorientiert) und zweitens durch
mehrere Interviewfragen abgedeckt. Alle Anforderungsdimensionen gehen mit dem
gleichen Gewicht in das Interview-Gesamtergebnis ein. Der Fragenpool für das
Interview besteht aus insgesamt 60 Fragen, von denen jeder Bewerber 15 zu
beantworten hat. Jede Antwort wird unmittelbar für sich vom Interviewer und einem
weiteren Hochschullehrer auf einer Skala von 1 bis 5 bewertet. Die Bewertungsskala ist
zur Verbesserung der Messgenauigkeit mit Verhaltensbeispielen verankert. Die freien
Gesprächsteile werden ebenfalls hinsichtlich der vorgegebenen Anforde-
rungsdimensionen und deren konkreter Beschreibung eingestuft, so dass 21 einzelne
Bewertungen im Verlauf des Gesprächs vorgenommen werden. Das Endergebnis wird
ermittelt, indem die Bewertungen der einzelnen Fragen zu einem Gesamtwert addiert
werden. Dieser wird auf eine zu Schulnoten äquivalente Skala transferiert und
gemeinsam mit den HZB-Noten gleichgewichtig zur Auswahl herangezogen.
Im Anschluss an den Ersteinsatz zur Zulassung zum Wintersemester 2006/2007
wurde eine erste Evaluation des Verfahrens durchgeführt. Betrachtet wurden neben der
Analyse der Aufgabenschwierigkeiten und der Häufigkeitsverteilung der
Interviewbewertungen – die hier nicht dargestellt werden – die Veränderung der
Bewerberauswahl bei Berücksichtigung des Interviewergebnisses, die Fairness des
Verfahrens und die Beurteilerübereinstimmung. Eine Berechnung der prädiktiven
Validität des Interviews für den Studien- und Berufserfolg kann zum jetzigen Zeitpunkt
noch nicht erfolgen, da keine geeigneten Erfolgskriterien der zugelassenen Studierenden
vorliegen.
Eine Voraussetzung für den praktischen Nutzen des Auswahlgesprächs ist die
Frage, ob tatsächlich andere Bewerber aufgrund eines gleichgewichteten Kriteriums aus
Interviewergebnis und Abiturnote zugelassen wurden, oder ob letztlich die gleichen
Personen einen Studienplatz erhalten, die diesen auch gemäß einer Rangreihung auf
Basis der Abiturnote allein erhalten hätten. Für die Zulassung von 18 Personen aus den
64 Bewerbern beträgt der Austauscheffekt 29,4 %, d.h. es wurden knapp 30 % andere
Bewerber nach diesem neuen Verfahren zugelassen.
Auswahlverfahren sollten keine Bevölkerungsgruppe bevorzugen oder
benachteiligen. Ein erster Schritt zur Prüfung der Fairness der durchgeführten
Auswahlgespräche besteht darin, die Mittelwerte verschiedener Gruppen miteinander zu
vergleichen. Im vorliegenden Fall kann eine solche Prüfung für die Merkmale
Geschlecht und Alter der Bewerber vorgenommen werden. Im Ergebnis unterscheiden
sich weder die Geschlechter noch Personen unterschiedlichen Alters statistisch
signifikant voneinander. Jedoch ist die Größe der Stichprobe sehr klein, so dass eine
erneute Überprüfung in den Folgejahren notwendig ist. Tendenziell schneiden Frauen
besser ab als Männer und Ältere besser als Jüngere. Diese Unterschiede wären durchaus
plausibel und würden zu bestehenden Forschungserkenntnissen passen. Letztlich kann
die Frage nach der Fairness des Verfahrens erst beantwortet werden, wenn a) eine
größere Stichprobe vorliegt (mehrere Jahrgänge) und wenn b) Studien- oder noch besser
Berufserfolgsdaten zugänglich sind und die Validität des Verfahrens für die
verschiedenen Gruppen verglichen werden kann.
Da jedes Gespräch von zwei Personen bewertet wurde, ist es möglich, die
Übereinstimmung und die Unterschiede zwischen den Beobachtern anhand der
Einzelbewertungen (Bewertung einzelner Fragen) und anhand der Gesamtwerte
(Summe aller Einzelbewertungen eines Beobachters für einen Bewerber) zu berechnen.
Auf Ebene der Einzelbewertungen (Bewertung jeder einzelnen Frage) ergeben sich
zufriedenstellende Übereinstimmungen zwischen den Bewertungen der Beobachter.
Tabelle 1 zeigt die Interkorrelationen und die Intraklassenkorrelationen für die
einzelnen Gesprächsabschnitte.
Tabelle 1: Übereinstimmung auf Ebene der Einzelbewertungen
Interviewkomponente Interkorrelation Intraklassenkorrelation
Bewertung der Selbstvorstellung .63 .78
Bewertung des Kurzreferats .76 .86
Fragen zur Studienfach- und Berufswahl .43 .60
Biografische Fragen .64 .78
Situative Fragen .62 .77
Über alle Fragen hinweg .64 .79
Wie zu erkennen ist, fällt insbesondere die Beobachterübereinstimmung der
Bewertungen des Kurzreferats außerordentlich hoch aus. Aber auch in den
Gesprächsabschnitten Selbstvorstellung, biografische Fragen und situative Fragen wird
eine hohe Übereinstimmung erreicht. Betrachtet man die additiven Gesamtwerte
(Summe aller Einzelbewertungen eines Beobachters für einen Bewerber) ergibt sich
sogar noch eine bessere Bewertung der Beobachterübereinstimmung, da Fehlereinflüsse
auf dieser Ebene weniger stark wirken. Die Bewertungen der beiden Beobachter
korrelieren zu r = .77 miteinander, die Intraklassenkorrelation (ICC 1,2) beträgt .87.
Die günstigen Kennwerte hinsichtlich der Beobachterübereinstimmung können
auf mehrere Faktoren zurückgeführt werden. An erster Stelle ist die Konzeption des
Interviews zu nennen. Die Anzahl der Messungen ist weitaus höher als bei freien oder
unstrukturierten Interviewvarianten üblich. Hierdurch werden unsystematische
Fehlertendenzen eliminiert. Darüber hinaus wird den Beobachtern durch die
Verhaltensverankerung der Antwortbewertungen ein einheitlicher Bewertungsmaßstab
zur Verfügung gestellt, der die Objektivität der Einzelbewertungen erhöht. Auch das
zuvor durchgeführte Training hat sicher zu der guten Beobachterübereinstimmung
beigetragen.
Zusammengefasst sprechen alle angestellten Analysen – die
Verteilungseigenschaften des Gesamtwerts, der Austauscheffekt, die nicht signifikanten
Gruppenunterschiede und die ausgezeichnete Beobachterübereinstimmung – für eine
sehr gute psychometrische Qualität des Mehrkomponenten-Interviews für den
Studiengang Biologie Lehramt.
4. Resümee
Obwohl die prädiktive Validität zur Vorhersage des Studien- und Berufserfolgs für das
hier vorgestellte mehrstufige Auswahlverfahren noch nicht überprüft werden konnte,
stimmen die ersten Ergebnisse optimistisch.
Die durchgeführten Anforderungsanalysen gewährleisten eine umfassende
Definition der Anforderungen. Alle wichtigen Anforderungen konnten im mehrstufigen
Auswahlprozess operationalisiert werden. Neben dieser inhaltlichen Validität sind
weitere Merkmale bei der Bewertung eines Auswahlinstruments zu beachten. Nur ein
objektives, reliables und konstruktvalides Instrument kann gültige Vorhersagen für
zukünftiges Verhalten leisten. Die Analysen bestätigen die Erfüllung dieser
grundlegenden Gütekriterien für den Interessentest und das strukturierte Interview. Die
Einbeziehung der Schulnoten ist auf Grund ihrer leichten Verfügbarkeit und der
mehrfach erwiesenen prädiktiven Validität für die Studiennoten eine ökonomische und
unbedingt sinnvolle Maßnahme. Auch die Mehrstufigkeit der Vorgehensweise hat sich
bewährt. Durch die Vorschaltung zweier wenig aufwändiger Verfahren (Self-
Assessment und Auswertung der HZB-Durchschnittsnote) entsteht trotz zeitintensiver
Auswahlgespräche ein insgesamt ökonomisches Verfahren zur Auswahl der
Studierenden.
Literatur
Bund-Länder-Projektgruppe (2003). Bericht der Bund-Länder-Projektgruppe „Eindämmung
von Frühpensionierungen“. Berlin: Bundesministerium des Inneren D I 1-210 142/33b.
Goldberg, L. (2006): Doing it all Bass-Ackwards: The development of hierarchical factor
structures from the top down. Journal of Research in Personality, 40, 347-358.
Hell, B., Ptok, C. & Schuler, H. (2007). Methodik zur Ermittlung und Validierung von
Anforderungen an Studierende (MEVAS): Anforderungsanalyse für das Fach
Wirtschaftswissenschaften. Zeitschrift für Arbeits- und Organisationspsychologie, 52, 88-
95.
Hell, B., Trapmann, S., Weigand, S. & Schuler, H. (2007). Die Validität von
Auswahlgesprächen im Rahmen der Hochschulzulassung – eine Metaanalyse.
Psychologische Rundschau, 58, 93-102.
Holland, J.L. (1997). Making vocational choices: A theory of vocational personalities and work
environments. Odessa, FL: Psychological Assessment Resources.
Kupper, S. & Hempel, C. (2006). Burnout bei Lehrern – Folgeerkrankungen und ihre
Behandlung. Report Psychologie, 31, 57-60.
Schuler, H. (1992). Das Multimodale Einstellungsinterview. Diagnostica, 38, 281-300.
Schuler, H. (2002). Das Einstellungsinterview. Göttingen: Hogrefe.
Statistisches Bundesamt (2002). Pressemitteilung vom 14. November 2002. www.destatis.de
