ArticlePDF Available

Evaluierung des Aufnahmeverfahrens eines Fernstudiengangs anhand des Studienerfolges: Vorhersage des Studienerfolges durch studienbezogene Lerntests, Englischtests, objektive Leistungsmotivationstests, Intelligenztests und Eignungsinterviews

Authors:

Abstract

Ziel der vorliegenden Studie ist es, das Aufnahmeverfahren (d.h. studienbezogener Lerntest, Englischtest, objektiver Leistungsmotivationstest, Intelligenztest, Eignungsinterview) am Studiengang ‚Betriebswirtschaft & Wirtschaftspsychologie (Bachelor)‘ mit hohem Fernlehranteil anhand des Studienerfolges der aufgenommenen Studierenden (N=267) zu evaluieren. Die Varianzanalysen zeigen, dass erfolgreiche Studierende beim studienbezogenen Lerntest bessere Werte erzielten als weniger erfolgreiche Studierende. Für die restlichen Module des Verfahrens zeigten sich weniger deutliche Ergebnisse. Die Regressionsanalysen ergeben, dass im ersten Semester der studienbezogene Lerntest und der Intelligenztest signifikante Prädiktoren für den Notendurchschnitt waren, während im zweiten Semester nur der studienbezogene Lerntest signifikante Vorhersagen traf. Es wird diskutiert, dass der studienbezogene Lerntest durch seine Ähnlichkeit zum späteren Studium die fach- und fernstudienspezifischen Fähigkeiten, die für ein erfolgreiches Studium wichtig sind, indirekt erhebt. Title: Evaluation of the admission procedure of a distance learning degree program by means of the study success: Predicting the study success through study-related learning tests, English tests, objective achievement motivation tests, intelligence tests and admission interviews Summary: The aim of the present study is to evaluate the admission procedure (i.e. study-related learning test, English test, objective achievement motivation test, intelligence test, admission interview) of the study program ‘Business Administration & Economic Psychology (Bachelor)’ with a high proportion of distance education with the accepted students’ (N=267) academic success. The analyses of variance show that successful students achieved better results in the study-related learning test compared to less successful students. The results of the other modules of the admission procedure were not as distinct. The regression analyses reveal that the study-related learning test and the intelligence test are signifi cant predictors of the fi rst term’s grade point average, whereas for the second term’s grade point average only the study-related learning test is a signifi cant predictor. It is discussed that the study-related learning test measures the required subject-specifi c and distance learning-specific abilities, which are important for studying successfully later on, indirectly.
www.waxmann.com
Mehr zur ZfEval hier.
Steinfurter Str. 
 Münster Fon   –   -
Fax   –   - info@waxmann.com
order@waxmann.com
DIGITALER SONDERDRUCK
Zeitschrift für
Evaluation,
16. Jahrgang,
Heft 1/2017
ISSN 1619-5515
© Waxmann
Verlag GmbH,
2017
Evaluierung des Aufnahmeverfahrens eines
Fernstudiengangs anhand des Studienerfolges
Vorhersage des Studienerfolges durch studienbezogene
Lerntests, Englischtests, objektive Leistungsmotivationstests,
Intelligenztests und Eignungsinterviews
Ingrid Wahl,1
Christa Walenta1
Zusammenfassung: Ziel der vorliegenden Studie ist es, das Aufnahmeverfahren (d.h. studienbezoge-
ner Lerntest, Englischtest, objektiver Leistungsmotivationstest, Intelligenztest, Eignungsinterview) am
Studiengang ‚Betriebswirtschaft & Wirtschaftspsychologie (Bachelor)‘ mit hohem Fernlehranteil an-
hand des Studienerfolges der aufgenommenen Studierenden (N=267) zu evaluieren. Die Varianzana-
lysen zeigen, dass erfolgreiche Studierende beim studienbezogenen Lerntest bessere Werte erzielten
als weniger erfolgreiche Studierende. Für die restlichen Module des Verfahrens zeigten sich weniger
deutliche Ergebnisse. Die Regressionsanalysen ergeben, dass im ersten Semester der studienbezoge-
ne Lerntest und der Intelligenztest signi kante Prädiktoren für den Notendurchschnitt waren, während
im zweiten Semester nur der studienbezogene Lerntest signi kante Vorhersagen traf. Es wird disku-
tiert, dass der studienbezogene Lerntest durch seine Ähnlichkeit zum späteren Studium die fach- und
fernstudienspezi schen Fähigkeiten, die für ein erfolgreiches Studium wichtig sind, indirekt erhebt.
Schlagwörter: Studieneingangsprüfung, Auswahlverfahren, Studienerfolg, Fernlehre
Evaluation of the Admission Procedure of a Distance Learning
Degree Program by Means of the Study Success
Predicting the Study Success through Study-Related Learning Tests,
English Tests, Objective Achievement Motivation Tests, Intelligence
Tests and Admission Interviews
Summary: The aim of the present study is to evaluate the admission procedure (i.e. study-relat-
ed learning test, English test, objective achievement motivation test, intelligence test, admission in-
terview) of the study program ‘Business Administration & Economic Psychology (Bachelor)’ with
a high proportion of distance education with the accepted students’ (N=267) academic success. The
analyses of variance show that successful students achieved better results in the study-related learning
test compared to less successful students. The results of the other modules of the admission procedure
were not as distinct. The regression analyses reveal that the study-related learning test and the intel-
ligence test are signi cant predictors of the rst term’s grade point average, whereas for the second
term’s grade point average only the study-related learning test is a signi cant predictor. It is discussed
that the study-related learning test measures the required subject-speci c and distance learning-specif-
ic abilities, which are important for studying successfully later on, indirectly.
Keywords: Academic Entrance Exam, Admission Procedure, Academic Success, Distance Learning
1 Ferdinand Porsche Fern-Fachhochschule, Wiener Neustadt, Österreich
Theorie, Methoden und Praxis der Evaluation
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
74 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
1. Einleitung
An Universitäten und Fachhochschulen mit einem Überhang an Bewerbungen wer-
den Aufnahmeverfahren durchgeführt, um geeignete Studierende auszuwählen. Die
verwendeten Aufnahmeverfahren sollten auf die Anforderungen des jeweiligen Stu-
diums eingehen und diese entsprechend berücksichtigen, um Fehlentscheidun-
gen bezüglich der Passung der Bewerber(innen) zu verringern. Außerdem sollten
die verwendeten Verfahren den Studienerfolg in Form von erreichten Noten, weni-
gen Prüfungswiederholungen sowie kurzer Studiendauer valide vorhersagen, so dass
der von den Hochschulen betriebene Aufwand für die Erstellung und Durchführung
von Auswahlverfahren gerechtfertigt werden kann (vgl. Messerer/Humpl 2003: 92;
Schuler/Hell 2008: 13ff.).
Ziel des vorliegenden Beitrages ist es, die Validität eines Aufnahmeverfahrens,
das aufgrund der Anforderungen eines Studiums entwickelt wurde, zu evaluieren.
Dazu wird zuerst die prognostische Validität der verwendeten Verfahren überprüft
und im Anschluss deren Fairness in Bezug auf Geschlecht, Bildungshintergrund und
Alter. Im Zuge dessen erfolgt zunächst die Beschreibung des (Fern-)Studiengangs
‚Betriebswirtschaft & Wirtschaftspsychologie (Bachelor)‘, für den das Aufnahme-
verfahren konzipiert wurde, wobei auf die spezi schen Anforderungen dieses Studi-
engangs eingegangen wird.
1.1 Fernstudiengang ‚Betriebswirtschaft & Wirtschaftspsychologie
(Bachelor)‘
An der österreichischen bundes nanzierten Fachhochschule Ferdinand Por-
sche FernFH wird der berufsbegleitende Studiengang ‚Betriebswirtschaft & Wirt-
schaftspsychologie (Bachelor)‘ angeboten. Entsprechend der Studiengangsbezeich-
nung beinhaltet das Curriculum einerseits rein betriebswirtschaftliche Module, wie
‚Rechnungswesen‘, ‚Finanzierung und Investition‘, ‚Volkswirtschaft‘ sowie ‚Unter-
nehmenssteuerung und Controlling‘, welche einer soliden betriebswirtschaft lichen
Ausbildung entsprechen. Andererseits werden im Studium auch rein psychologi-
sche Module, wie zum Beispiel ‚Allgemeine Psychologie‘, ‚Sozialpsychologie‘ und
‚Differentielle Psychologie‘, in welchen psychologische Kernkompetenzen erwor-
ben werden, unterrichtet. In zusätzlichen Modulen werden die Inhalte der Fächer
‚Betriebswirtschaft‘ und ‚Psychologie‘ verschränkt angeboten, so dass neben ei-
nem Verständnis für wirtschaftliche Abläufe auch das psychologische Verständnis
für diese erworben wird. Beispiele für diese Module sind ‚Management und Arbeits-
und Organisationspsychologie‘, ‚Marketing und ökonomische Psychologie‘ sowie
die beiden Vertiefungsrichtungen ‚Marketing Research Management‘ und ‚Human
Resource Management‘.
Eine wesentliche Besonderheit des Studiengangs ist, dass dieser stark dem
Blended-Learning-Konzept folgt. Das heißt, dass am Beginn und am Ende eines
Halbsemesters eine zweitägige Präsenzphase mit Vorträgen, Workshops und Prüfun-
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
75
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
gen statt ndet. Zwischen den Präsenzphasen lernen die Studierenden, während einer
achtwöchigen online betreuten Fernstudienphase, selbstgesteuert. In den Präsenz-
phasen und auch während der Fernstudienphasen sind von den Studierenden zahl-
reiche Einzel- und Gruppenübungen zu bearbeiten, um das Gelernte praktisch anzu-
wenden und zu festigen.
Unter Berücksichtigung der inhaltlichen und studienspezi schen Besonderhei-
ten wurde im Zuge der Erarbeitung des Akkreditierungsantrages von einem wissen-
schaftlich und berufspraktisch quali zierten Entwicklungsteam, bestehend aus Per-
sonen mit Habilitation oder habilitationsäquivalenten Leistungen, und Personen, die
eine für den Studiengang relevante Berufstätigkeit ausüben (vgl. FHSTG § 8 Abs.
4), ein Anforderungspro l für Studierende festgelegt. Daraus können einerseits fach-
spezi sche und andererseits fernstudienspezi sche Fähigkeiten und Kompetenzen
abgeleitet werden, über die Studierende schon vor Beginn des Studiums verfügen
sollten, um erfolgreich studieren zu können.
1.2 Fachspezifi sche Anforderungen, Fähigkeiten und Kompetenzen
Durch die fachliche Ausrichtung des Studiengangs ‚Betriebswirtschaft & Wirt-
schaftspsychologie (Bachelor)‘ ist das Interesse sowohl an wirtschaftlichen als
auch an psychologischen Themen eine zentrale Anforderung. Das Studium ist zwar
deutschsprachig, jedoch werden auch englische Texte und Inhalte verwendet, da-
her sind gute Sprachkenntnisse in Deutsch und Englisch wichtige Kompetenzen,
über die Studierende schon vorab verfügen sollten. Auch durch den hohen Anteil
an schriftlichen Unterlagen, auf denen das Studium basiert, sind gute sprachliche
Kenntnisse Grundvoraussetzung. Des Weiteren scheint eine hohe Leistungsmotiva-
tion für ein erfolgreiches Studium notwendig, wobei Studierende jedoch neben der
individuellen Leistungsmotivation, aufgrund des hohen Anteils an Gruppenaufga-
ben, auch Leistungsmotivation durch die Konkurrenz mit Gruppenkolleg(inn)en zei-
gen sollten.
Außerdem werden auch kognitive Fähigkeiten für das erfolgreiche Absolvie-
ren des Studiums als essenziell angesehen. Für Module, die eher lernintensiv sind,
ist vorrangig eine schnelle Auffassungsgabe wichtig, während für das Verständnis
in den rechenintensiven Fächern zusätzlich gute mathematische und analytisch-lo-
gische Fähigkeiten bedeutend sind. Beim Ablegen von Prüfungen könnte zusätzlich
die Fähigkeit schnell richtige Entscheidungen zu treffen nützlich sein.
Da zu den Präsenzzeiten auch Inhalte wie ‚Verhandlungsführung‘, ‚Präsentati-
on‘ und ‚Coaching‘ unterrichtet werden, wurden auch soziale und kommunikative
Kompetenzen in das Anforderungspro l aufgenommen. Diese Fähigkeiten sind zu-
dem für das Lösen von studienbezogenen Aufgaben in physischen und virtuellen
Gruppen wichtig.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
76 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
1.3 Fernstudienspezifi sche Fähigkeit: Selbstreguliertes Lernen
Da die Studierenden des Studiengangs neben den zweitägigen Präsenzphasen auch
mit einem hohen Anteil an Fernstudienzeiten konfrontiert sind, sollten sie für ein
erfolgreiches Studium auch über Fähigkeiten in diesem Zusammenhang verfügen.
Dohmen (1967: 9, zitiert nach Deimann/Weber/Bastiaens 2008: 7) de niert Fern-
studium als ein „planmäßig aufgebautes Selbststudium, bei dem die Anleitung zum
Studium, die Darbietung des Studienmaterials sowie die Sicherung und Überwa-
chung des Studienerfolgs durch ein Team verantwortlicher Lehrkräfte mit Hilfe
weitgehender Medien über eine größere räumliche Entfernung hinweg ermöglicht
wird“. Fernstudierende sehen sich somit mit der Situation konfrontiert, dass sie, an-
ders als Präsenzstudierende, nicht regelmäßig an der Hochschule anwesend sind
(vgl. Dibiase 2000; Peters 1975: 1). Einerseits fehlt den Fernstudierenden durch
diese spezielle Situation ein großer Anteil an Face-to-Face-Kommunikation, ande-
rerseits wird ihnen ermöglicht, Zeit und Ort des Lernens, Lerntempo und Lernin-
tensität relativ autonom zu bestimmen. Dies erfordert von den Studierenden in Fern-
studiengängen einen hohen Grad an Selbstorganisation (vgl. Kerres/Jechele 2001:
2). Dementsprechend zeigen Fernstudierende eine höhere Lernmotivation und schät-
zen ihre Lernaktivitäten gegenüber Personen aus herkömmlichen Lernsituationen als
selbstregulierter ein (vgl. Konrad 2000).
Selbstreguliertes Lernen stellt einen Prozess dar, bei dem Personen selbst ak-
tiv ihr Lernen planen, organisieren, bearbeiten und beurteilen (vgl. Knowles 1975,
zitiert nach Straka 2008). Für erfolgreiches selbstreguliertes Lernen spielen sowohl
motivationale Aspekte (z.B. Lernbereitschaft, Interesse) als auch Umgebungsfakto-
ren (z.B. Lernumgebung, Familie, Beruf) eine zentrale Rolle (vgl. Deimann/Weber/
Bastiaens 2008: 17ff.; Nenninger/Straka/Spevacek/Wosnitza 1996; Seeber/Boerner/
Keller/Beinborn 2006; Straka 2008). Da die Studierenden im Fernstudium mehr Ei-
genverantwortung für die Gestaltung des eigenen Lernprozesses übernehmen müs-
sen als Studierende in Präsenzstudien, ist die Fähigkeit zum selbstregulierten Lernen
besonders gefordert (vgl. Keller/Beinborn/Boerner/Seeber 2005; McGivney 2004:
42).
Basierend auf den beschriebenen fach- und fernstudienspezi schen Anforderun-
gen, Fähigkeiten und Kompetenzen wurde für den Studiengang ‚Betriebswirtschaft
& Wirtschaftspsychologie (Bachelor)‘ ein Aufnahmeverfahren, bestehend aus ver-
schiedenen etablierten und weniger etablierten Testmodulen, entwickelt und durch-
geführt. Ziel der vorliegenden Untersuchung ist es, das verwendete Aufnahme-
verfahren in Bezug auf seine prognostische Validität und seine Fairness gegenüber
verschiedenen Gruppen von Bewerber(inne)n zu evaluieren. Dabei wird angenom-
men, dass Studierende, die in den verschiedenen Teilen des Aufnahmeverfahrens gut
abgeschnitten haben, über bessere Fähigkeiten und Kompetenzen für ein erfolgrei-
ches Studium verfügen und daher bessere Leistungen im Studium erbringen.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
77
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
2. Methode
2.1 Stichprobe
Aufgrund ihrer Leistungen im Aufnahmeverfahren erhielten die 267 Be-
werber(innen) mit den besten Ergebnissen einen Studienplatz im Studiengang ‚Be-
triebswirtschaft & Wirtschafspsychologie (Bachelor)‘. Davon waren 169 Personen
weiblich und 98 Personen männlich und das mittlere Alter der Studierenden betrug
zu Studienbeginn 31.60 (SD=7.43; Md=30) Jahre. 27 Personen (10 Prozent), die das
Fernstudium aufgenommen haben, hatten schon zuvor ein Studium an einer Hoch-
schule absolviert, wobei die meisten in ihrem vorangegangenen Studium wirtschaft-
liche Studienfächer belegt hatten. Jedoch hatten auch einige Bewerber(innen) ein
Psychologiestudium abgeschlossen. Weitere 187 Personen (70 Prozent) gaben an,
in Österreich maturiert zu haben, während 53 Personen (20 Prozent) einen anderen
Zugang zur Hochschule hatten (d.h. ausländische Reifeprüfung, Berufsreifeprüfung,
Studienberechtigungsprüfung, usw.).
2.2 Durchführung und Material
In den drei aufeinanderfolgenden Jahren 2009, 2010 und 2011 wurde zur Auswahl
von Studierenden ein Aufnahmeverfahren durchgeführt, um die für ein erfolgreiches
(Fern-)Studium notwendigen Fähigkeiten und Kompetenzen zu überprüfen. Das Ver-
fahren bestand aus einer maximal dreistündigen Computertestung, welche einen stu-
dienbezogenen Lerntest, einen Englischtest, einen objektiven Leistungsmotivations-
test und einen Intelligenztest beinhaltete. Alle Computertestungen wurden in einem
Computerhörsaal mit 30 PC-Arbeitsplätzen unter Aufsicht durchgeführt. Außerdem
wurden in jedem Jahrgang die 100 bis 120 Bewerber(innen), die bei der Computer-
testung am besten abgeschnitten hatten, zu einem ungefähr 20-minütigen standardi-
sierten Eignungsinterview eingeladen.
Um sowohl kognitive als auch sprachliche Kompetenzen, das fachliche Inter-
esse und die Fähigkeit zum selbstregulierten Lernen zu erheben, wurde ein studi-
enbezogener Lerntest eingesetzt. Studienbezogene Lerntests (auch Studieneingangs-
prüfungen2) überprüfen im studienüblichen Kontext vermittelte Wissensinhalte (vgl.
Spiel/Litzenberger/Haiden 2007). Bei diesem Verfahren können die Studierenden ei-
nerseits die Rahmenbedingungen des Studiums erleben und ausprobieren. Anderer-
seits werden aber auch Fachwissen und kognitive Fähigkeiten, die für das Studi-
um notwendig sind, überprüft. Diese Fähigkeiten und Kompetenzen werden jedoch
nicht direkt abgefragt, sondern indirekt erhoben. So werden Personen mit schlechte-
2 Spiel, Litzenberger und Haiden (2007: 23f.) verwenden für diesen Verfahrenstyp den Begriff ‚Stu-
dieneingangsprüfungen‘, da der Begriff jedoch fallweise als Überbegriff für Verfahren zur Aus-
wahl von Studierenden verwendet wird, wird im vorliegenden Beitrag der Terminus ‚studienbezo-
gener Lerntest‘ verwendet. Wir danken dem anonymen Reviewer bzw. der anonymen Reviewerin
für den Vorschlag.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
78 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
ren kognitiven und/oder sprachlichen Fähigkeiten beim Lesen und Lernen der Lern-
unterlagen sowie bei der Wissensüberprüfung schlechter abschneiden. Durch den
studienbezogenen Lerntest erhalten die Bewerber(innen) außerdem einen ersten Ein-
blick in die relevanten Inhalte des Studiums und können vorab entscheiden, ob sie
diese interessieren. Es wird angenommen, dass interessierte Bewerber(innen) sich
mehr mit den Inhalten beschäftigen und dadurch beim Lerntest bessere Ergebnis-
se erzielen als weniger interessierte Bewerber(innen). Durch die selbstständige Vor-
bereitung auf den studienbezogenen Lerntest, die ähnlich zur späteren Fernstudien-
phase ist, kann angenommen werden, dass auch die Fähigkeit des selbstregulierten
Lernens durch den Lerntest indirekt erhoben wird. Je besser Bewerber(innen) ihr
Lernen aktiv planen, organisieren, bearbeiten und beurteilen können, desto mehr
Punkte sollten sie beim studienbezogenen Lerntest erreichen. Konkret wurde für den
studienbezogenen Lerntest des Studiengangs ‚Betriebswirtschaft & Wirtschaftspsy-
chologie (Bachelor)‘ eine schriftliche Lernunterlage, bestehend aus einer Einführung
in die Grundlagen der Betriebswirtschaft und Wirtschaftspsychologie, herangezogen,
welche insgesamt 105 Seiten umfasste. Zur Erstellung der Lernunterlage wurden
Auszüge aus im Anfangssemester eingesetzten Studienmaterialien verwendet, wo-
bei neben den fachlichen Informationen auch Lernkontrollfragen und Problemstel-
lungen sowie deren Lösungen enthalten waren. Der Aufbau der Lernunterlage ent-
sprach den Lernunterlagen, die auch im weiteren Studium eingesetzt werden. Damit
die Bewerber(innen) ausreichend Zeit für die Prüfungsvorbereitung hatten, erhiel-
ten sie die Lernunterlage mindestens drei Wochen vor der Testung. Der studienbe-
zogene Lerntest wurde auf der im Studium verwendeten elektronischen Lernplatt-
form Moodle vorgegeben und bestand aus 31 Multiple-Choice-Fragen mit jeweils
vier Antwortmöglichkeiten, wovon eine bis drei Antworten richtig waren. Außer-
dem wurden sieben Entscheidungsfragen vorgegeben, bei denen entschieden wer-
den sollte, ob die angegebene Aussage richtig oder falsch ist. Die maximal erreich-
bare Punktezahl war 131 Punkte, wobei die aufgenommenen Studierenden minimal
56.33 und maximal 128.67 Punkte erreichten. Zur prognostischen Validität von stu-
dienbezogenen Lerntests gibt es noch keine Studien (vgl. Spiel/Litzenberger/Hai-
den 2007: 25f.). Jedoch geht es bei diesem Verfahren, wie bei den fachspezi schen
Studier fähigkeitstests (z.B.: Scholastic-Assessment-Test-II-Fachtests, Graduation-
Record-Examination-Fachtests, Tests für medizinische Studiengänge), darum, fach-
spezi sche Kenntnisse zu testen. Die prognostische Validität der fachspezi schen
Studierfähigkeitstests mit Studiennoten liegt zwischen .35 und .51 (vgl. Hell/Trap-
mann/Schuler 2007; Kuncel/Hezlett/Ones 2001).
Um die Kompetenzen in Englisch zu prüfen, wurde in den Jahren 2009 und
2010 der standardisierte Oxford-Online-Placement-Test herangezogen. Dieser be-
stand aus Aufgaben zum Hör- und Textverständnis und aus Grammatikfragen. Aus
organisatorischen Gründen wurde im dritten Jahr ein Testwechsel vorgenommen
und ein selbst entwickelter Englischtest eingesetzt. Der neue Test enthielt sowohl
Fragen zum Textverständnis als auch Fragen zum Vokabel- und Grammatikwissen.
Über alle drei Jahre hinweg wurden in der Englischtestung von den Aufgenomme-
nen minimal 25.00 und maximal die Höchstpunktezahl von 100.00 Punkten erreicht.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
79
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
Die prognostische Validität von Sprachtests in Bezug auf Studiennoten wird mit .28
angegeben (vgl. Hell o. J.: 4).
Zur Messung der Leistungsmotivation wurde der standardisierte objektive Leis-
tungsmotivationstest (OLMT, vgl. Schmidt-Atzert 2004) vorgegeben. Dieser bestand
aus den Untertests ‚aufgabenbezogene Anstrengung‘, ‚Anspruchsniveau‘, ‚Moti-
vation durch Konkurrenz‘ und ‚Motivation durch Ziele‘, wobei alle Untertests bis
auf ‚Motivation durch Konkurrenz‘ die individuelle Leistungsbereitschaft erheben
sollen, während der ‚Motivation durch Konkurrenz‘-Test die Leistungsmotivation
durch (Gruppen-)Kolleg(inn)en erhebt. Die Ergebnisse der einzelnen Unterskalen
wurden in T-Werten angegeben. Die aufgenommenen Studierenden erreichten mi-
nimal einen T-Wert von 37.25 und maximal einen T-Wert von 60.25. Derzeit gibt
es noch wenige und durch die verwendeten kleinen Stichprobengrößen ungesicherte
Befunde zur prognostischen Validität von objektiven Leistungsmotivationstests und
Studiennoten (vgl. Spiel/Litzenberger/Haiden 2007: 32f.).
Um die kognitiven Fähigkeiten, die zur Bewältigung des Studiums notwendig
sind, zu erheben, wurde die standardisierte Intelligenz-Struktur-Batterie (INSBAT;
vgl. Arendasy et al. 2009) herangezogen. Zur Messung der sprachlichen Fähigkei-
ten wurden die Untertests ‚verbal-deduktives Denken‘ und ‚Wortschatz‘ herange-
zogen. Des Weiteren wurden die mathematischen Fähigkeiten mittels des Subtests
‚numerisch-induktives Denken‘ erhoben. Der Subtest ‚Raumvorstellung‘3 wurde ein-
gesetzt, um das analytisch-logische Denken zu erheben und der Subtest ‚Entschei-
dungsfähigkeit‘ sollte erheben, ob schnell korrekte Entscheidungen gefällt werden
können, während der Subtest ‚Betrachtungszeit‘ zur Erhebung der Auffassungsgabe
eingesetzt wurde. Die Ergebnisse der Untertests wurden in T-Werten angegeben und
zu einem Gesamtwert zusammengefasst. Der minimale erhobene T-Wert der aufge-
nommenen Studierenden betrug 41.17, während sich der maximale erhobene T-Wert
auf 62.83 belief.4 Die prognostische Validität von Intelligenztests und Studiennoten
beträgt .47 (vgl. Hülsheger/Maier/Stumpp/Muck 2006).
In den Eignungsinterviews wurde anhand eines standardisierten Interviewleit-
fadens in einem 20-minütigen persönlichen Gespräch auf die Berufserfahrung, das
Interesse an den Studieninhalten, die geplante Studienorganisation und das bisheri-
ge Lernverhalten der Bewerber(innen) eingegangen. Danach wurden aufgrund des
Interviews die sprachlichen Fähigkeiten, die Leistungsmotivation, das Interesse am
Studium, die Fähigkeit zum selbstregulierten Lernen und die sozialen und kommu-
nikativen Fähigkeiten eingeschätzt und ein Gesamturteil abgegeben. Alle Interviews
wurden von der gleichen Interviewerin durchgeführt, welche sowohl die Bewer-
bungsunterlagen der Bewerber(innen) als auch die Ergebnisse der Computertestung
vorliegen hatte. Die Gesamtbeurteilung des Interviews, welche für die vorliegen-
de Studie herangezogen wurde, erfolgte auf einer Skala von 0 (=nicht geeignet) bis
100 (=sehr geeignet). Der Minimalwert, der von den aufgenommenen Studierenden
3 Raumvorstellungsaufgaben werden oft durch analytisch-logisches Denken gelöst (vgl. Grüßing
2002; Maresch 2014).
4 Zu den einzelnen Testteilen des Computertests liegen lediglich die Gesamtwerte der Tests und
Untertests vor und nicht die Antworten auf die einzelnen Fragen. Daher kann die Reliabilität der
Tests und Subtests nicht berechnet werden.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
80 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
erreicht wurde, war 50 und der Maximalwert 100. Die prognostische Validität von
strukturierten Eignungsinterviews in Bezug auf Studiennoten beträgt .21 (vgl. Hell/
Trapmann/Weigand/Schuler 2007).
Die Informationen über den Studienerfolg der aufgenommenen Studierenden
wurden im Dezember 2012 aus der Studierendendatenbank entnommen. Als Indi-
katoren für den Studienerfolg der Studierenden wurden herangezogen: ob im ersten
bzw. zweiten Semester zumindest eine Prüfungswiederholung aufgrund einer nega-
tiven Beurteilung vorlag; ob das erste bzw. zweite Semester abgeschlossen wurde
oder ob noch nicht alle Prüfungen der jeweiligen Semester bestanden waren; ob es
zur Exmatrikulation, also zum Abbruch des Studiums, kam; sowie die Notendurch-
schnitte5 des ersten und zweiten Semesters.6
3. Ergebnisse
3.1 Zusammenhänge zwischen den Leistungen im
Aufnahmeverfahren
Es wird angenommen, dass die verschiedenen Tests des Aufnahmeverfahrens groß-
teils unterschiedliche Konstrukte messen. Jedoch könnte das Abschneiden beim stu-
dienbezogenen Lerntest mit Intelligenz zusammenhängen. Um diese Annahmen zu
überprüfen, wurden die Zusammenhänge zwischen den einzelnen Teilen des Auf-
nahmeverfahrens mittels Korrelationsanalysen ermittelt.
Tabelle 1 zeigt, dass die Werte des studienbezogenen Lerntests und des Intelli-
genztests signi kant korrelieren (r=.29, p<.01). Außerdem hängt der Englischtest si-
gni kant mit dem Intelligenztest (r=.13, p=.03) zusammen. Die Korrelationen zwi-
schen den übrigen Teilen des Aufnahmeverfahrens sind nicht signi kant (r zwischen
-.01 und .09).
Des Weiteren wurden die Korrelationen zwischen den Untertests des objektiven
Leistungsmotivationstests und des Intelligenztests mit den übrigen Teilen des Auf-
nahmetests betrachtet. Der Untertest ‚Motivation durch Konkurrenz‘ des objektiven
Leistungsmotivationstests korreliert negativ mit dem Englischtest (r=-.13, p=.04)
und der Untertest ‚aufgabenbezogene Anstrengung‘ korreliert positiv mit dem Intel-
ligenztest (r=.14, p=.02). Drei der vier Untertests des objektiven Leistungsmotivati-
onstests korrelieren positiv mit dem berechneten Gesamtwert des Tests (r zwischen
.52 und .69, p<.01), während der Untertest „Anspruchsniveau“ nicht signi kant mit
5 Die Noten, aus denen der jeweilige Durchschnitt gebildet wurde, beinhalten alle positiv abge-
schlossenen Lehrveranstaltungen des Semesters, wobei nur Einzelnoten und keine Gruppennoten
vergeben werden. Der Großteil der Noten setzt sich aus praktischen Arbeiten, die alleine oder in
einer Gruppe zu lösen waren, und einer abschließenden schriftlichen Prüfung zusammen.
6 Die Auswertung erfolgt getrennt für die ersten beiden Semester, da angenommen werden könnte,
dass durch die Überlappung der Inhalte des studienbezogenen Lerntests und der Studieninhalte im
ersten Semester der Lerntest für die Leistungen im ersten Semester ein guter Prädiktor sein könn-
te, jedoch nicht für die Studienleistungen des zweiten Semesters, in welchem keine Überlappun-
gen zwischen den Inhalten des studienbezogenen Lerntests und den Inhalten des Studiums vorlie-
gen.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
81
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
Tabelle 1: Korrelationen der Leistungen in den einzelnen Teilen des Aufnahmeverfahrens
MSD
studien-
bezogener
Lerntest
Englisch-
test
objektiver
Leistungs-
motivationstest
Intelligenz-
test
Eignungs-
interview
studienbezogener Lerntest 102,15 12,92 1,00
Englischtest 59,23 14,15 0,04 1,00
objektiver Leistungsmotivationstest 48,84 3,99 -0,01 -0,05 1,00
Intelligenztest 52,24 3,97 0,29** 0,13* 0,04 1,00
Eignungsinterview 83,94 8,88 0,09 -0,01 -0,03 0,02 1,00
Untertests des objektiven Leistungsmotivationstests
aufgabenbezogene Anstrengung 60,03 9,25 -0,02 -0,04 0,52** 0,14*-0,09
Anspruchsniveau 45,26 6,86 0,03 0,00 -0,11 0,02 0,04
Motivation durch Konkurrenz 43,82 9,30 -0,04 -0,13*0,69** -0,03 0,07
Motivation durch Ziele 46,24 8,92 0,01 0,09 0,63** -0,05 -0,07
Untertests des Intelligenztests
verbal-deduktives Denken 55,85 8,36 0,24** -0,03 -0,03 0,56** 0,02
Entscheidungsfähigkeit 43,77 7,81 -0,06 0,11 -0,08 0,34** -0,04
Betrachtungszeit 52,33 7,44 0,07 -0,04 0,12 0,35** 0,04
numerisch-induktives Denken 50,63 8,22 0,20** -0,03 0,08 0,58** 0,04
Raumvorstellung 54,60 7,12 0,22** 0,11 0,08 0,65** -0,02
Wortschatz 56,31 9,33 0,18** 0,25** -0,02 0,50** 0,00
Anmerkung: ** bedeutet, dass die Korrelation auf dem Niveau von p<.01 signi kant ist; * bedeutet, dass die Korrelation auf dem Niveau von p<.05 signi kant ist,
zweiseitige Testung.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
82 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
dem Gesamtwert korreliert (r=-.11, p=.06). Mit den restlichen Teilen des Aufnah-
meverfahrens bestehen keine signi kanten Korrelationen (r zwischen -.04 und .09).
Werden die Korrelationen der Untertests des Intelligenztests betrachtet, zeigen
sich für vier Subtests eine positive Korrelation mit dem studienbezogenen Lerntest
(‚verbal-deduktives Denken‘: r=.24, p<.01; ‚numerisch-induktives Denken‘: r=.22,
p<.01; ‚Raumvorstellung‘: r=.22, p<.01; ‚Wortschatz‘: r=.18, p<.01). Lediglich die
Untertests ‚Entscheidungsfähigkeit‘ (r=-.06, p=.36) und ‚Betrachtungszeit‘ (r=.07,
p=.24) korrelieren nicht mit den Werten des studienbezogenen Lerntests. Der Sub-
test ‚Wortschatz‘ korreliert ebenfalls positiv mit dem Englischtest (r=.25, p<.01).
Wie zu erwarten, korrelierten alle Untertests mit dem Gesamtwert des Intelligenz-
tests positiv (r zwischen .34 und .65; p<.01).
3.2 Überprüfung der prognostischen Validität der einzelnen Teile
des Aufnahmeverfahrens
Um festzustellen, ob die einzelnen Module des Aufnahmeverfahrens den Studiener-
folg valide vorhersagen, werden diese anhand des Studienerfolgs evaluiert. Wenn
das Aufnahmeverfahren valide ist, dann sollten Studierende, die beim Aufnahmever-
fahren besser abgeschnitten haben, im Studium erfolgreicher sein als Studierende,
die schlechter abgeschnitten haben.
Um den Zusammenhang zwischen den einzelnen Teilen des Aufnahmever-
fahrens und dem Studienerfolg des ersten und zweiten Semesters zu sehen, wur-
den zuerst bivariate Korrelationsanalysen durchgeführt. Für den Notendurchschnitt
im ersten Semester zeigten sich, wie bei der Verwendung von Noten zu erwarten,
negative Korrelationen mit dem Lerntest (r =-.40, p<.01) und dem Intelligenztest
(r=-.28, p<.01) und dessen Untertests ‚verbal-deduktives Denken‘ (r=-.22, p<.01),
‚numerisch-induktives Denken‘ (r=-.24, p<.01) und ‚Raumvorstellung‘ (r=-.23,
p<.01). Für die übrigen Testteile zeigten sich keine signi kanten Korrelationen
(r zwischen -.11 und .04). Die Korrelationsanalyse des Notendurchschnitts des zwei-
ten Semesters und den einzelnen Testteilen zeigte negative Korrelationen für den
Lerntest (r=-.39, p<.01), den Intelligenztest (r=-.15, p=.03), dessen Untertests ‚nu-
merisch-induktives Denken‘ (r=-.20, p<.01) und ‚Raumvorstellung‘ (r=-.18, p=.01)
sowie für das Eignungsinterview (r=-.16, p=.02). Auch hier sind die restlichen Kor-
relationen nicht signi kant und liegen zwischen -.10 und .13. In Tabelle 2 sind ne-
ben den Korrelationskoef zienten auch die 95%-Kon denzintervalle der Korrelati-
onen zu nden.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
83
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
Tabelle 2: Korrelationen der Leistungen in den einzelnen Teilen des Aufnahmeverfahrens mit den Notendurchschnitten des 1. und 2.
Semesters sowie die 95%-Kon denzintervalle der Korrelationen
1. Semester 2. Semester
Korrelation mit
dem Notendurch-
schnitt
unteres
95%-Kon denz-
intervall der Kor-
relation
oberes 95%-Kon-
denzintervall
der Korrelation
Korrelation mit
dem Notendurch-
schnitt
unteres
95%-Kon denz-
intervall der Kor-
relation
oberes 95%-
Kon denzinter-
vall der Korre-
lation
studienbezogener Lerntest -0,40** -0,56 -0,29 -0,39** -0,55 -0,27
Englischtest -0,05 -0,18 0,08 0,10 -0,04 0,24
objektiver Leistungsmotivationstest -0,01 -0,14 0,12 -0,10 -0,24 0,04
Intelligenztest -0,28** -0,42 -0,16 -0,15* -0,29 -0,01
Eignungsinterview -0,03 -0,16 0,10 -0,16* -0,30 -0,02
Untertests des objektiven Leistungsmotivationstests
aufgabenbezogene Anstrengung -0,08 -0,21 0,05 -0,09 -0,23 0,05
Anspruchsniveau -0,02 -0,15 0,11 -0,07 -0,21 0,07
Motivation durch Konkurrenz 0,04 -0,09 0,17 -0,06 -0,20 0,08
Motivation durch Ziele 0,03 -0,10 0,16 0,04 -0,10 0,18
Untertests des Intelligenztests
verbal-deduktives Denken -0,22** -0,36 -0,09 -0,09 -0,23 0,05
Entscheidungsfähigkeit 0,03 -0,10 0,16 0,13 -0,01 0,27
Betrachtungszeit -0,09 -0,22 0,04 -0,02 -0,16 0,12
numerisch-induktives Denken -0,24** -0,38 -0,11 -0,20** -0,34 -0,07
Raumvorstellung -0,20** -0,34 -0,07 -0,18* -0,32 -0,04
Wortschatz -0,11 -0,24 0,02 -0,10 -0,24 0,04
Anmerkungen: **bedeutet, dass die Korrelation auf dem Niveau von p<.01 signi kant ist; *bedeutet, dass die Korrelation auf dem Niveau von p<.05 signi -
kant ist, zweiseitige Testung; die Notendurchschnitte beziehen sich auf positiv abgelegte Prüfungen und reichen von 1 (Sehr gut) bis 4 (Genügend).
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
84 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
Zur Evaluierung der prognostischen Validität des Aufnahmeverfahrens wurden
multi variate Varianzanalysen herangezogen, wobei die einzelnen Module des Auf-
nahmeverfahrens als abhängige Variablen in die Analyse eingingen und die Merk-
male des Studienerfolgs jeweils als unabhängige Variablen (siehe Tabelle 3).7 Das
Signi kanzniveau wurde auf p<.01 gesenkt, um einer Kumulierung des α-Fehlers
entgegenzuwirken. Des Weiteren wurden multiple hierarchische Regressionsanaly-
sen mit den Notendurchschnitten der ersten beiden Semester als Kriteriumsvariablen
und den Testmodulen des Aufnahmeverfahrens als Prädiktorvariablen durchgeführt
(siehe Tabelle 4). Das hierarchische Vorgehen wurde gewählt, um die inkrementelle
Validität der einzelnen Module des Aufnahmeverfahrens festzustellen.
Der multivariate Test zum Erfolgsmerkmal, ob im ersten Semester eine Prüfung
wiederholt werden musste, ist signi kant (F(5,261)=9629.14, p<.01), daher werden
die univariaten Ergebnisse betrachtet. Keine Unterschiede zwischen erfolgreichen
und nicht erfolgreichen Studierenden werden für den studienbezogenen Lerntest
(F(1,265)=5.51, p=.02), den objektiven Leistungsmotivationstest (F(1,265)=0.31,
p=.58), den Intelligenztest (F(1,265)=2.57, p=.11) und das Eignungsinterview
(F(1,265)=0.02, p=.97) festgestellt. Jedoch wird für den Lerntest die Tendenz fest-
gestellt, dass Personen, die keine Prüfung wiederholen mussten, tendenziell höhe-
re Werte erreichten als Personen, die im ersten Semester zumindest eine Wiederho-
lungsprüfung ablegten. Für den Englischtest ergibt sich ein signi kantes Ergebnis
(F(1,265)=21.81, p<.01), allerdings in die Richtung, dass Personen, die eine Prüfung
im ersten Semester wiederholen mussten, signi kant besser abschnitten, als Perso-
nen, die dies nicht mussten.
Auch für die Prüfungswiederholung im zweiten Semester zeigt der multivaria-
te Test ein signi kantes Ergebnis (F(5,261)=19421.84, p<.01). Für den Englischtest
(F(1,265)=0.04, p=.84), den objektiven Leistungsmotivationstest (F(1,265)=0.37,
p=.55), den Intelligenztest (F(1,265)=2.67, p=.10) und das Eignungsinterview
(F(1,265)=0.15, p=.70) ergeben die univariaten Vergleiche keine signi kanten Un-
terschiede zwischen erfolgreichen und nicht erfolgreichen Studierenden. Jedoch ha-
ben Personen, die im zweiten Semester keine Prüfung wiederholen mussten, signi-
kant bessere Werte beim studienbezogenen Lerntest erreicht als Personen, die eine
Prüfung öfter als einmal ablegen mussten (F(1,265)=10.25, p<.01).
Für das Erfolgsmerkmal, ob das erste Semester zum Erhebungszeitpunkt ab-
geschlossen war oder nicht, weist der multivariate Test ein signi kantes Ergeb-
nis aus (F(5,258)=13265.11, p<.01). Die univariaten Vergleiche zeigen, dass sich
erfolgreiche und nicht erfolgreiche Studierende nicht in den Modulen ‚Englisch-
test‘ (F(1,262)=3.33, p=.07), ‚objektiver Leistungsmotivationstest‘ (F(1,262)=0.11,
p=.74), ‚Intelligenztest‘ (F(1,262)=1.65, p=.20) und ‚Eignungsinterview‘
(F(1,262)=1.11, p=.29) unterscheiden. Nur für den Lerntest zeigt sich, dass Per-
sonen, die das erste Semester vollständig abgeschlossen haben, signi kant bes-
7 In Bezug auf die Auswertungslogik sollten die Leistungen im Aufnahmeverfahren die unabhängi-
gen Variablen (d.h. Prädiktoren) darstellen und die Variablen zum Studienerfolg die abhängigen
Variablen (d.h. Kriterium). In diesem Fall würde die Auswertung anhand von hierarchischen binä-
ren logistischen Regressionen erfolgen. Das Vertauschen der unabhängigen und abhängigen Varia-
blen und die daraus folgende Auswertung mittels Varianzanalysen erhöht die Verständlichkeit der
Ergebnisse, beein usst diese jedoch nicht.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
85
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
Tabelle 3: Mittelwerte und Standardabweichungen der Leistungen im Aufnahmeverfahren nach verschiedenen Merkmalen des
Studienerfolgs
studienbezogener
Lerntest
Englischtest objektiver
Leistungs-
motivationstest
Intelligenztest Eignungsinterview gewichteter
Gesamtwert°
NMSDη²M SDη²M SDη²M SDη²M SDη²M SDη²
Wiederholungsprüfung im 1. Semester
ja 33 97,25 a15,25 .02 69,61 a11,77 .08 48,48 a4,32 .00 51,21 a4,01 .01 84,00 a8,02 .00 72,14 a5,60 .00
nein 234 102,84 a12,44 57,77 b13,86 48,89 a3,95 52,39 a3,95 83,93 a9,01 72,95 a4,96
Wiederholungsprüfung im 2. Semester
ja 84 98,47 a11,41 .04 59,50 a13,17 .00 48,62 a4,16 .00 51,66 a4,06 .01 83,64 a8,30 .00 71,55 a4,59 .03
nein 183 103,83 b13,25 59,11 a14,61 48,94 a3,91 52,51 a3,91 84,08 a9,16 73,54 b5,14
1. Semester noch nicht abgeschlossen
ja 49 97,08 a13,90 .04 55,84 a14,10 .01 48,68 a4,25 .00 52,88 a3,95 .01 82,87 a9,62 .00 70,84 a5,14 .04
nein 215 103,31 b12,44 59,87 a13,89 48,89 a3,96 52,07 a3,99 84,31 a8,42 73,33 b4,94
2. Semester noch nicht abgeschlossen
ja 67 97,80 a13,26 .04 54,82 a13,35 .03 49,07 a4,36 .00 52,27 a4,26 .00 83,22 a9,69 .00 70,99 a4,85 .04
nein 197 103,58 b12,55 60,63 b14,10 48,77 a3,87 52,24 a3,90 84,04 a8,59 73,44 b4,98
exmatrikuliert
ja 35 94,73 a13,46 .05 56,90 a13,88 .00 48,71 a4,71 .00 51,86 a4,30 .00 81,04 a8,53 .02 69,68 a4,74 .06
nein 232 103,27 b12,49 59,59 a14,19 48,86 a3,88 52,30 a3,92 84,38 a8,87 73,33 b4,92
Anmerkungen: Der Gesamtwert ist die gewichtete Summe der einzelnen Teile des Aufnahmetests, wobei der studienbezogene Lerntest zu 40%, der Englisch-
test zu 10%, der objektive Leistungsmotivationstest zu 15%, der Intelligenztest zu 15% und das Eignungsinterview zu 20% berücksichtigt wurden. Unter-
schiedliche Supraskripts der unabhängigen Variablen bedeuten, dass sich die Gruppen signi kant (p<.01) voneinander unterscheiden.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
86 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
Tabelle 4: Regressionskoef zienten der Leistungen im Aufnahmeverfahren in Bezug
auf die Notendurchschnitte im ersten und zweiten Semester
Notendurchschnitte des 1. Semesters
Prädiktoren: Gesamttestwerte Beta
1. Schritt
studienbezogener Lerntest -0,40**
korrigiertes R² 0,16
2. Schritt
studienbezogener Lerntest -0,35**
Intelligenztest -0,17**
korrigiertes R² 0,18
Prädiktoren: Gesamttestwerte studienbezogener
Lerntest, Englischtest, Eignungsinterview und Sub-
testwerte des objektiven Leistungsmotivationstests
und des Intelligenztests Beta
1. Schritt
studienbezogener Lerntest -0,40**
korrigiertes R² 0,15
2. Schritt
studienbezogener Lerntest -0,36**
numerisch-induktives Denken -0,16*
korrigiertes R² 0,18
Notendurchschnitte des 2. Semesters
Prädiktoren: Gesamttestwerte Beta
1. Schritt
studienbezogener Lerntest -0,39**
korrigiertes R² 0,15
Prädiktoren: Gesamttestwerte studienbezogener
Lerntest, Englischtest, Eignungsinterview und Sub-
testwerte des objektiven Leistungsmotivationstests
und des Intelligenztests Beta
1. Schritt
studienbezogener Lerntest -0,39**
korrigiertes R² 0,15
Anmerkungen: **bedeutet, dass der Regressionskoef zient auf einem Niveau von p<.01 signi kant ist; *be-
deutet, dass der Regressionskoef zient auf einem Niveau von p<.05 signi kant ist; die Notendurchschnitte
beziehen sich auf positiv abgelegte Prüfungen und reichen von 1 (Sehr gut) bis 4 (Genügend).
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
87
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
sere Leistungen erzielten als Personen, die noch Prüfungen ausständig hatten
(F(1,262)=9.59, p<.01).
Für den multivariaten Vergleich, ob das zweite Semester erfolgreich abge-
schlossen wurde, zeigt sich ebenfalls ein signi kantes Ergebnis (F(5,258)=16550.34,
p<.01). Die univariaten Ergebnisse für den objektiven Leistungsmotivationstest
(F(1,262)=0.28, p=.60), den Intelligenztest (F(1,262)=0.00, p=.95) und das Eig-
nungsinterview (F(1,262)=0.43, p=.51) sind nicht signi kant. Studierende, die das
zweite Semester abgeschlossen hatten, erbrachten signi kant bessere Leistungen
beim studienbezogenen Lerntest als Personen, die das zweite Semester noch nicht
beendet hatten (F(1,262)=10.31, p<.01). Außerdem schnitten Personen, die alle
Lehrveranstaltungen für das zweite Semester absolviert hatten, signi kant besser
beim Englischtest ab als Personen, die noch Leistungen aus dem zweiten Semester
offen hatten (F(1,262)=8.72, p<.01).
Für das Erfolgsmerkmal, ob eine Person exmatrikuliert wurde oder nicht, ergibt
der multivariate Test ein signi kantes Ergebnis (F(5,261)=10203.37, p<.01). Für
den Englischtest (F(1,265)=1.09, p=.30), den objektiven Leistungsmotivationstest
(F(1,265)=.04, p=.85), den Intelligenztest (F(1,265)=0.37, p=.55) und das Eignungs-
interview (F(1,265)=4.35, p=.04) sind die univariaten Tests jedoch nicht signi kant.
Personen, die nicht exmatrikuliert wurden, erreichten beim Lerntest signi kant mehr
Punkte als Personen, die exmatrikuliert wurden (F(1,265)=13.93, p<.01).
Um zu sehen, ob sich die einzelnen Untertests des objektiven Leistungsmotiva-
tionstests und des Intelligenztests unterscheiden, wurden ebenfalls multivariate Va-
rianzanalysen berechnet, wobei die Subtests als abhängige Variablen und die Merk-
male des Studienerfolgs als unabhängige Variablen in die Analyse eingingen. Es
zeigte sich für keinen Subtest ein signi kanter Unterschied zwischen erfolgreichen
und weniger erfolgreichen Studierenden.
Die hierarchische lineare Regressionsanalyse mit den Leistungen im Aufnahme-
verfahren als Prädiktoren und dem Notendurchschnitt im ersten Semester (M=1.79,
SD=0.54, MD=1.71) als Kriterium zeigt im ersten Schritt ein korrigiertes R² von
.16 und wird nach dem zweiten Schritt (korrigiertes R²=.18) abgebrochen. Im ers-
ten Schritt wird der studienbezogene Lerntest als signi kanter Prädiktor des No-
tendurchschnitts des ersten Semesters ausgegeben. Im zweiten Schritt sind sowohl
der Lerntest als auch der Intelligenztest signi kante Prädiktoren. Die Analyse wur-
de wiederholt und anstatt der Gesamtwerte des objektiven Leistungsmotivationstests
und des Intelligenztests wurden deren Subtestwerte herangezogen. Auch diese Ana-
lyse wurde nach dem zweiten Schritt abgebrochen und ergab als ersten signi kanten
Prädiktor den Lerntest (korrigiertes R²=.16). Im zweiten Schritt war der signi kan-
te Prädiktor wiederum der Lerntest und zusätzlich das numerisch-induktive Denken
(korrigiertes R²=.18).
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
88 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
Die erklärte Varianz der hierarchischen linearen Regressionsanalyse, bei der die
Leistungen im Aufnahmeverfahren als Prädiktoren und der Notendurchschnitt im
zweiten Semester (M=1.92, SD=0.61, MD=1.90) als Kriterium eingingen, beläuft
sich auf 15 Prozent (korrigiertes R²). Die Analyse wird nach dem ersten Schritt ab-
gebrochen und ergibt, dass der studienbezogene Lerntest den Notendurchschnitt des
zweiten Semesters signi kant vorhersagt. Auch diese Analyse wurde mit den Sub-
tests des objektiven Leistungsmotivationstests und des Intelligenztests wiederholt.
Diese wurde ebenfalls nach dem ersten Schritt abgebrochen und der signi kante
Prädiktor war der Lerntest (korrigiertes R²=0.15).8
3.3 Überprüfung der prognostischen Validität des gewichteten
Gesamtwertes des Aufnahmeverfahrens
Zur Auswahl der Studierenden wurden die einzelnen Teile des Aufnahmeverfahrens
gewichtet und zu einem Gesamtwert summiert. Die Bewerber(innen) mit den höchs-
ten Gesamtwerten wurden aufgenommen. Wie im Akkreditierungsantrag festgelegt,
gehen der studienbezogene Lerntest zu 40%, der Englischtest zu 10%, der objektive
Leistungsmotivationstest zu 15%, der Intelligenztest zu 15% und das Eignungsinter-
view zu 20% in den Gesamtwert ein. Um die Validität des Gesamtwertes zu über-
prüfen, wurden einerseits t-Tests mit dem Gesamtwert als abhängige Variable und
den Merkmalen des Studienerfolges als unabhängige Variablen durchgeführt (sie-
he Tabelle 3). Andererseits wurden auch zwei einfache lineare Regressionsanalysen
mit den Notendurchschnitten des ersten und zweiten Semesters als Kriteriumsvaria-
blen und dem Gesamtwert als Prädiktorvariable durchgeführt. Aufgrund der multip-
len Analysen wurde das Signi kanzniveau wieder auf p<.01 gesenkt.
Der Vergleich mit dem Erfolgsmerkmal, ob im ersten Semester eine Prüfung
wiederholt werden musste, war nicht signi kant (t(265)=0.86, p=.39). Jedoch wa-
ren die Mittelwertvergleiche mit den restlichen Erfolgsmerkmalen signi kant (Wie-
derholungsprüfung im zweiten Semester: t(265)=2.91, p<.01; erstes Semester noch
nicht abgeschlossen: t(262)=3.15, p<.01; zweites Semester noch nicht abgeschlos-
sen: t(262)=3.50, p<.01; exmatrikuliert: t(265)=4.11, p<.01). Die Regressionsana-
lysen waren sowohl für den Notendurchschnitt des ersten als auch für den Noten-
durchschnitt des zweiten Semesters signi kant (erstes Semester: β=-.38, p<.01,
R²=.14; zweites Semester: β=-.36, p<.01, R²=.13).
8 Da die hier analysierten Daten eine Varianzeinschränkung aufgrund der fehlenden Daten zum Stu-
dienerfolg der nicht aufgenommenen Bewerber(innen) beinhalten, wurden die Regressionsanaly-
sen auch mit für Varianzeinschränkungen korrigierten Daten wiederholt. Diese Analysen zeigen
wiederum, dass der studienbezogene Lerntest für die Notendurchschnitte im ersten und zweiten
Semester die meiste Varianz erklärt. Die Ergebnisse zu diesen Analysen sind im Anhang abgebil-
det.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
89
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
3.4 Überprüfung der Fairness der einzelnen Teile des
Aufnahmeverfahrens
Um festzustellen, ob die verwendeten Aufnahmetestteile Personen aufgrund ihres
Geschlechts, ihres Bildungshintergrunds oder ihres Alters benachteiligen, wurde das
von Cleary (1968) vorgeschlagene Verfahren verwendet. Dabei werden Regressio-
nen mit den zu testenden Aufnahmetestteilen als Prädiktoren und einem Außenkrite-
rium als abhängige Variable für die gesamte Gruppe sowie für die zu vergleichenden
Teilgruppen berechnet und die Steigungen und Achsenabschnitte der Regressionen
verglichen (siehe Tabelle 5). Auch hier wurde das Signi kanzniveau auf p<.01 ge-
senkt, um einer Kumulierung des α-Fehlers entgegenzuwirken. Für diese Regressi-
onen wurden als Kriterium die Notendurchschnitte des ersten und zweiten Semes-
ters verwendet und als Prädiktoren die erreichten Punkte in den jeweiligen Tests des
Aufnahmeverfahrens. Zur Gruppenbildung wurden das Geschlecht, der Bildungshin-
tergrund und das nach dem Median aufgeteilte Alter herangezogen.
Um zu sehen, ob die Unterschiede in den Steigungen und Achsenabschnitten
signi kant sind, wurde zuerst geprüft, ob generell Unterschiede vorliegen. Zeig-
ten sich generelle Unterschiede, wurde zuerst geprüft, ob es sich um Unterschiede
in der Steigung handelt. Danach wurde geprüft, ob Unterschiede in den Achsenab-
schnitten vorliegen, beziehungsweise, ob Unterschiede sowohl in der Steigung als
auch im Achsenabschnitt zu nden sind (vgl. Lautenschlager/Mendoza 1986).
Die Ergebnisse der Analysen zeigen für die Notendurchschnitte des ersten und
zweiten Semesters keine signi kanten Unterschiede für das Geschlecht, den Bil-
dungshintergrund und das Alter. Es kann daher angenommen werden, dass alle Tests
fair gegenüber diesen Gruppen messen.
4. Diskussion
Im vorliegenden Beitrag wurde das Aufnahmeverfahren des Studiengangs ‚Betriebs-
wirtschaft & Wirtschaftspsychologie (Bachelor)‘ vorgestellt, welches auf den erfor-
derlichen Fähigkeiten und Kompetenzen für ein erfolgreiches (Fern-)Studium auf-
baut. Dieses Aufnahmeverfahren bestand aus einem studienbezogenen Lerntest (d.h.
Überprüfung des Lernerfolgs von fach- und studienrelevanten Wissensinhalten), ei-
nem Englischtest, einem objektiven Leistungsmotivationstest, einem Intelligenztest
sowie einem Eignungsinterview und wurde anhand des Studienerfolges der aufge-
nommenen Studierenden evaluiert. Studierende, die in den ersten beiden Semestern
erfolgreich waren, schnitten signi kant besser beim Teil ‚studienbezogener Lern-
test‘ ab als weniger erfolgreiche Studierende. Auch Studierende mit einer aufrechten
Studienzulassung hatten signi kant höhere Werte beim studienbezogenen Lerntest
als Personen, die exmatrikuliert wurden. Bei den restlichen Modulen des Aufnah-
meverfahrens (d.h. Englischtest, objektiver Leistungsmotivationstest, Intelligenztest
und Eignungsinterview) waren erfolgreiche und nicht erfolgreiche Studierende meist
gleich gut. Der Notendurchschnitt des ersten Semesters wurde signi kant durch den
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
90 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
Tabelle 5: Achsenabschnitte und Steigungen der Leistungen im Aufnahmeverfahren in Bezug auf die Notendurchschnitte des ersten
und zweiten Semesters gesamt und aufgeteilt nach Geschlecht, Bildungshintergrund und Alter
studienbezogener
Lerntest
Englischtest objektiver Leistungsmo-
tivationstest
Intelligenztest Eignungsinterview
Notenduchschnitt
des 1. Semesters
Achsen
ab-
schnitt
Stei-
gung
(Beta) R²
Achsen-
ab-
schnitt
Stei-
gung
(Beta) R²
Achsen
ab-
schnitt
Stei-
gung
(Beta) R²
Achsen-
ab-
schnitt
Stei-
gung
(Beta) R²
Achsen-
ab-
schnitt
Stei-
gung
(Beta) R²
Gesamt 3,57 -0,02 0,16 1,98 0,00 0,00 1,89 0,00 0,00 3,76 -0,04 0,08 1,92 0,00 0,00
weiblich 3,58 -0,02 0,19 1,78 0,00 0,00 2,09 -0,01 0,00 3,74 -0,04 0,08 1,85 0,00 0,00
männlich 3,48 -0,02 0,10 2,08 0,00 0,01 1,62 0,01 0,00 4,15 -0,04 0,11 1,88 0,00 0,00
UNI/FH 3,00 -0,01 0,09 2,53 -0,01 0,16 0,55 0,02 0,02 3,07 -0,03 0,04 0,94 0,01 0,01
Matura 3,55 -0,02 0,15 1,71 0,00 0,00 1,89 0,00 0,00 3,56 -0,04 0,07 1,68 0,00 0,00
Sonstiges13,46 -0,02 0,13 2,20 0,00 0,00 2,20 0,00 0,00 3,75 -0,04 0,05 3,27 -0,02 0,05
Alter 30 Jahre
oder jünger 3,67 -0,02 0,18 1,73 0,00 0,00 1,71 0,00 0,00 2,87 -0,02 0,02 2,28 -0,01 0,01
Alter über 30 Jahre 3,46 -0,02 0,14 2,04 0,00 0,01 2,08 -0,01 0,00 4,46 -0,05 0,16 1,48 0,00 0,00
Notenduchschnitt
des 2. Semesters
Gesamt 3,91 -0,02 0,15 1,67 0,00 0,01 2,65 0,02 0,01 3,20 -0,02 0,02 2,87 -0,01 0,03
weiblich 3,95 -0,02 0,17 1,71 0,00 0,01 3,06 0,02 0,02 3,88 -0,04 0,05 2,99 -0,01 0,03
männlich 3,81 -0,02 0,11 1,51 0,01 0,03 1,79 0,00 0,00 2,34 -0,01 0,00 2,64 -0,01 0,02
UNI/FH 4,41 -0,03 0,26 2,42 -0,01 0,08 1,06 0,01 0,01 2,50 -0,02 0,01 4,26 -0,03 0,11
Matura 3,70 -0,02 0,09 1,46 0,01 0,03 3,13 -0,03 0,03 3,02 -0,02 0,02 2,76 -0,01 0,02
Sonstiges13,99 -0,02 0,31 1,97 0,00 0,00 1,48 0,01 0,01 2,71 -0,01 0,01 3,01 -0,01 0,03
Alter 30 Jahre
oder jünger 4,13 -0,02 0,17 1,50 0,01 0,03 2,56 -0,01 0,01 2,79 -0,02 0,01 3,54 -0,02 0,06
Alter über 30 Jahre 3,68 -0,02 0,14 1,78 0,00 0,00 2,87 -0,02 0,02 3,54 -0,03 0,05 2,09 0,00 0,00
Anmerkungen: **bedeutet, dass der Koef zient auf einem Niveau von p<.01 signi kant unterschiedlich zum Koef zienten der anderen Subgruppe ist; *bedeutet, dass
der Koef zient auf einem Niveau von p<.05 signi kant unterschiedlich zum Koef zienten der anderen Subgruppe ist; 1als sonstiger Bildungshintergrund gelten auslän-
dische Reifeprüfungen sowie der Hochschulzugang aufgrund von Lehrabschluss und Zusatzprüfungen (d.h.: Berufsreifeprüfung, Studienberechtigungsprüfung, Quali -
kationsprüfungen, etc.).
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
91
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
Lerntest und den Intelligenztest vorhergesagt, wobei der Lerntest mehr Varianz er-
klärt als der Intelligenztest. Der Notendurchschnitt des zweiten Semesters wird nur
durch den studienbezogenen Lerntest signi kant vorhergesagt.
Die verwendeten Testverfahren wurden aufgrund eines von Expert(inn)en fest-
gelegten Anforderungspro ls zu Fähigkeiten und Kompetenzen für ein erfolgreiches
Studium des (Fern-)Studiengangs ‚Betriebswirtschaft & Wirtschaftspsychologie (Ba-
chelor)‘ ausgewählt. Die Fähigkeiten und Kompetenzen umfassen fachspezi sche
(z.B. Interesse, sprachliche Fähigkeiten in Deutsch und Englisch, kognitive Fähig-
keiten, Auffassungsgabe, Leistungsmotivation, etc.) und fernstudienspezi sche (d.h.
selbstreguliertes Lernen) Aspekte. Aufgrund des Ergebnisses, dass nur der studien-
bezogene Lerntest und der Intelligenztest signi kant mit den Notendurchschnitten
des ersten und zweiten Semesters korrelierten, wobei der studienbezogene Lern-
test mehr Varianz erklärte als der Intelligenztest, könnte argumentiert werden, dass
vor allem Fähigkeiten und Kompetenzen, die durch diese beiden Verfahren erhoben
werden, für ein erfolgreiches Studium des Studiengangs wichtig sind und für die
Auswahl von Studierenden verwendet werden sollten. Dies lässt für die restlichen
Teile des Aufnahmeverfahrens zwei mögliche Schlüsse übrig. Einerseits könnten die
durch die Verfahren gemessenen Fähigkeiten und Kompetenzen für das vorliegende
Studium entgegen der Erwartungen nicht wichtig sein, oder die Kompetenzen und
Fähigkeiten sind wichtig, können aber durch die verwendeten Verfahren nicht erho-
ben werden. So sollten unabhängig davon, welcher der beiden Gründe vorliegt, die-
se Verfahren für die Auswahl zukünftiger Studierender nicht mehr verwendet wer-
den.
Durch die studiennahe Vorbereitung und Prüfung der Lerninhalte im studienbe-
zogenen Lerntest wird für die Bewerber(innen) die Anforderung des selbstregulier-
ten Lernens erfahrbar. Daher könnte die höhere prognostische Validität des Lern-
tests darin liegen, dass bei diesem Test neben den kognitiven Fähigkeiten, die für
ein Studium notwendig sind, auch implizit die Fähigkeit zum selbstregulierten Ler-
nen erhoben wird. Da das selbstständige Erarbeiten von Inhalten im Fernstudium
zentral ist (vgl. Messerer/Humpl 2003: 21), werden Bewerber(innen), die bei der
Studieneingangsprüfung zeigen, dass sie gut selbstreguliert lernen können, dies
wahrscheinlich auch später im Studium tun und daher bessere Studienleistungen er-
bringen als Personen, deren Fähigkeit zum selbstregulierten Lernen weniger ausge-
prägt ist.
Im Gegensatz zu den anderen verwendeten Teilen des Aufnahmeverfahrens
hängt die Testleistung beim studienbezogenen Lerntest stark von der Zeit, die in
die Vorbereitung investiert wurde, ab. Auch dies könnte den Zusammenhang zwi-
schen der Testleistung im Lerntest und dem Studienerfolg erklären. Es kann ange-
nommen werden, dass Bewerber(innen), die über mehr zeitliche Ressourcen verfü-
gen und diese für die Vorbereitung nutzen, dies auch bei der Prüfungsvorbereitung
im späteren Studium tun werden. So sind Umgebungsfaktoren, wie Familie und Be-
ruf, die viel Zeit in Anspruch nehmen, und die Lernbereitschaft wichtige Aspekte
des selbstregulierten Lernens (vgl. Deimann/Weber/Bastiaens 2008: 17ff.; Nennin-
ger et al. 1996; Seeber et al. 2006; Straka 2008), die im studienbezogenen Lerntest
indirekt miterfasst worden sein könnten.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
92 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
Fachspezi schen Studierfähigkeitstests und Intelligenztests wird im Allgemeinen
eine gute prognostische Validität zugeschrieben (vgl. Hell/Trapmann/Schuler 2007;
Hülsheger et al. 2006; Kuncel/Hezlett/Ones 2001). Im vorliegenden Aufnahmever-
fahren wird nur vom studienbezogenen Lerntest eine entsprechende prognostische
Validität erreicht, während die restlichen Verfahren nicht die für sie erwarteten Wer-
te erreichten. Des Weiteren werden Arbeitsproben in der Literatur eine gute prog-
nostische Validität zugeschrieben (vgl. Hunter/Hunter 1984; Robertson/Downs 1989;
Roth/Bobko/McFarland 2005; Schmidt/Hunter 1998). Das Ablegen von Prüfungen,
die den Gegebenheiten im weiteren Studienverlauf entsprechen oder zumindest sehr
ähnlich sind, wie dies beim studienbezogenen Lerntest der Fall ist, kann als eine
Art Arbeitsprobe verstanden werden (vgl. Kasper/Furtmüller 2005). Außerdem wur-
de festgestellt, dass die Leistungen der Prüfungen im ersten Jahr die Studienleis-
tung der folgenden Semester vorhersagen können (vgl. Brandstätter/Farthofer 2003).
So könnte der studienbezogene Lerntest als Arbeitsprobe oder als erste Prüfung im
Studium verstanden werden. Auch an anderen Hochschulen könnte diese Form der
Arbeitsprobe ergänzend zu anderen Verfahren angewandt werden. Dazu müssten
grundlegende Studieninhalte in der üblichen Lehr- und Lernform präsentiert werden
und die Vorbereitung auf die anschließende Prüfung ähnlich zur üblichen Vorberei-
tung erfolgen. Eine Prüfung der prognostischen Validität eines neu entwickelten stu-
dienbezogenen Lerntests ist aber dennoch nötig.
Aufnahmeverfahren sollten nicht nur valide, sondern auch fair gegenüber ver-
schiedenen Gruppen messen (Trost 2003, zitiert nach Trost/Haase 2005). Für das
vorliegende Aufnahmeverfahren wurde festgestellt, dass alle Verfahren fair gegen-
über Personen unterschiedlichen Geschlechts, Bildungshintergrunds und Alters mes-
sen.
Des Weiteren ist es wichtig, dass die Macht der durchgeführten statistischen
Analysen hoch genug ist, so dass tatsächlich vorhandene Ein üsse auch entdeckt
werden können. Für die vorliegenden multivariaten Varianzanalysen und die Relia-
bilitätsanalysen ergeben sich für kleine Effektgrößen (.10; Cohen 1992) Teststärken
von .95. Daher wird angenommen, dass die nicht signi kanten Ergebnisse verschie-
dener Teile des Aufnahmeverfahrens nicht auf eine zu geringe Testmacht zurückge-
führt werden können.
Kritisch zu bemerken ist, dass sowohl der objektive Leistungsmotivationstest
als auch der Intelligenztest geringe Standardabweichungen aufweisen, was auf eine
geringe Differenzierung zwischen den Bewerberinnen und Bewerbern aufgrund die-
ser Tests schließen lässt. Dies könnte die geringere prognostische Validität dieser
beiden Testmodule erklären. Außerdem ist der Wechsel des Englischtests im dritten
Jahrgang problematisch, da sich dadurch die prognostische Validität dieses Testmo-
duls verringern könnte.
Neben den erhobenen Kriterien des Studienerfolgs können auch andere Kriteri-
en, wie die Studienzufriedenheit, der erfolgreiche Studienabschluss und der Berufs-
erfolg, Auskunft über den Studienerfolg geben (vgl. Schuler/Hell 2008). Diese Kri-
terien des Studienerfolgs könnten in zukünftigen Untersuchungen zur Evaluierung
von Aufnahmeverfahren berücksichtigt werden, stellen aber eine hohe Anforderung
an die Sammlung diesbezüglicher personenbezogener Daten.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
93
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
Nachdem im vorliegenden Fall vor allem der studienbezogene Lerntest den Studien-
erfolg der Fernstudierenden gut prognostizieren konnte, wurde eine Überarbeitung
der restlichen Module des Auswahlverfahrens für den Studiengang in die Wege ge-
leitet. Es sollen dafür weitere Tests entwickelt werden, die sich stärker an der Stu-
dienrealität orientieren. So wird überlegt, in Zukunft verbale Fähigkeiten nicht mehr
mittels Intelligenztests zu erheben, sondern Texte aus den im Studium verwendeten
Lernunterlagen vorzugeben und inhaltliche Fragen zum Verständnis zu stellen.
Danksagung
Wir danken unserer Kollegin Karin Waldherr für ihre Beratung bei der Daten aus-
wertung.
5. Literatur
Arendasy, Martin/Hornke, Lutz F./Sommer, Markus/Häusler, Joachim/Wagner-Menghin, Michaela/
Gittler, Georg/Bognar, Bettina/Wenzl, M. (2009): Intelligenz-Struktur-Batterie (INSBAT): Eine
Testbatterie zur Messung von Intelligenz (Manual & Test). Mödling: Schuhfried.
Brandstätter, Hermann/Farthofer, Alois (2003): Erste Prüfungen – weiterer Studienerfolg. In: Psycho-
logie in Erziehung und Unterricht, 50 (1), S. 58-70.
Cleary, T. Anne (1968): Test Bias: Prediction of Grades of Negro and White Students in Integrated
Colleges. In: Journal of Educational Measurement, 5 (2), S. 115-124.
Cohen, Jacob (1992): A Power Primer. In: Psychological Bulletin, 112 (1), S. 155-159.
Deimann, Markus/Weber, Benjamin/Bastiaens, Theo (2008): Volitionale Transferunterstützung (VTU)
– Ein innovatives Konzept (nicht nur) für das Fernstudium. IfBM.Impuls – Schriftenreihe des
Instituts für Bildungswissenschaft und Medienforschung. Hagen. Verfügbar unter: http://ifbmim
puls.fernuni-hagen.de/2008-01-Volitionale-Transferunterstuetzung.pdf [24.07.2015].
Dibiase, David (2000): Is Distance Education a Faustian Bargain? In: Journal of Geography in High-
er Education, 24 (1), S. 130-136.
Dohmen, Günther (1967): Das Fernstudium – ein neues pädagogisches Forschungs- und Entwick-
lungsfeld. Heidelberg: Quelle & Meyer.
Grüßing, Meike (2002): Wieviel Raumvorstellung braucht man für Raumvorstellungsaufgaben? In:
Zentralblatt für Didaktik der Mathematik, 34 (2), S. 37-45.
Hell, Benedikt (o. J.): Die Validität von Verfahren zur Auswahl von Studierenden: eine Metaanalyse.
Verfügbar unter: http://vhbonline.org/uploads/media/Hell.pdf [18.10.2016].
Hell, Benedikt/Trapmann, Sabrina/Schuler, Heinz (2007): Eine Metaanalyse der Validität von fachspe-
zi schen Studierfähigkeitstests im deutschsprachigen Raum. In: Empirische Pädagogik, 27 (3),
S. 251-270.
Hell, Benedikt/Trapmann, Sabrina/Weigand, Sonja/Schuler, Heinz (2007): Die Validität von Auswahl-
gesprächen im Rahmen der Hochschulzulassung – eine Metaanalyse. In: Psychologische Rund-
schau, 58 (2), S. 93-102.
Hülsheger, Ute R./Maier, Günter W./Stumpp, Thorsten/Muck, Peter M. (2006): Vergleich kriteri-
umsbezogener Validitäten verschiedener Intelligenztests zur Vorhersage von Ausbildungserfolg
in Deutschland: Ergebnisse einer Metaanalyse. In: Zeitschrift für Personalpsychologie, 5 (4),
S. 145-162.
Hunter, John E./Hunter, Ronda F. (1984): Validity and Utility of Alternative Predictors of Job Perfor-
mance. In: Psychological Bulletin, 96 (1), S. 72-98.
Kasper, Helmut/Furtmüller, Gerhard (2005): Die Studieneingangsphase als Auswahlinstrument für die
Zulassung von Studierenden. In: Zeitschrift für Hochschuldidaktik, 6, S. 19-33.
Keller, Helmut/Beinborn, Peter/Boerner, Sabine/Seeber, Günther (2005): Selbstgesteuertes Lernen im
Fernstudium. Ergebnisse einer Studie an den AKAD Privathochschulen. In: Schriften der wissen-
schaftlichen Hochschule Lahr, 5, S. 1-61.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
94 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
Kerres, Michael/Jechele, Thomas (2001): Didaktische Konzeption des Tele-Lernens. In: Issing, Lud-
wig J./Klimsa, Paul (Hg.): Information und Lernen mit Multimedia. Weinheim: Beltz (2. Au .),
S. 267-282.
Knowles, Malcom S. (1975): Self-Directed Learning. Chicago: Follett.
Konrad, Klaus (2000): Selbstgesteuertes Lernen: Differentielle Effekte unterschiedlicher Handlungs-
felder und demographischer Variablen. In: Unterrichtswissenschaft, 28 (1), S.75-91.
Kuncel, Nathan R./Hezlett, Sara A./Ones, Deniz S. (2001): A Comprehensive Meta-Analysis of the
Predictive Validity of the Graduate Record Examinations: Implications for Graduate Student Se-
lection and Performance. In: Psychological Bulletin, 127 (1), S. 162-181.
Lautenschlager, Gary J./Mendoza, Jorge L. (1986): A Step-Down Hierarchical Multiple Regression
Analysis for Examining Hypotheses about Test Bias in Prediction. In: Applied Psychological
Measurement, 10 (2), S. 133-139.
Maresch, Günter (2014): Strategies for Assessing Spatial Ability Tasks. In: Journal for Geometry and
Graphics, 18 (1), S. 125-132.
McGivney, Veronica (2004): Understanding Persistence in Adult Learning. In: Open Learning: The
Journal of Open, Distance and e-Learning, 19 (1), S. 33-46.
Messerer, Karin/Humpl, Stefan (2003): Bewerbung – Auswahl – Aufnahme: Das Aufnahmeverfahren
an österreichischen Fachhochschul-Studiengängen. Schriftenreihe des Fachhochschulrates, Bd. 7.
Wien: WUV.
Nenninger, Peter/Straka, Gerald A./Spevacek, Gert/Wosnitza, Marold (1996): Die Bedeutung motiva-
tionaler Ein ußfaktoren für selbstgesteuertes Lernen. In: Unterrichtswissenschaft, 24 (3), S. 250-
266.
Peters, Otto (1975): Hinweise zu einem allgemeinen didaktischen Konzept für die Entwicklung von
Studienmaterialien im Fernstudium. Verfügbar unter: http://deposit.fernuni-hagen.de/1695/1/
ZP_001.pdf [11.08.2015].
R Core Team (2016): R: A Language and Environment for Statistical Computing. R Foundation for
Statistical Computing. Vienna. Verfügbar unter: https://www.R-project.org/ [24.11.2016].
Revelle, William (2015): psych: Procedures for Personality and Psychological Research, Northwest-
ern University, Evanston. Verfügbar unter: http://CRAN.R-project.org/package=psych (Version =
1.5.8) [11.05.2016].
Robertson, Ivan T./Downs, Sylvia (1989): Work-Sample Tests of Trainability: A Meta-Analysis. In:
Journal of Applied Psychology, 74 (3), S. 402-410.
Roth, Philip L./Bobko, Philip/McFarland, Lynn A. (2005): A Meta-Analysis of Work Sample Test
Validity: Updating and Integrating Some Classic Literature. In: Personnel Psychology, 58 (4),
S. 1009-1037.
Schmidt, Frank L./Hunter, John E. (1998): The Validity and Utility of Selection Methods in Personnel
Psychology: Practical and Theoretical Implications of 85 Years of Research Findings. In: Psy-
chological Bulletin, 124 (2), S. 262-274.
Schmidt-Atzert, Lothar (2004): Objektiver Leistungsmotivations-Test. Mödling: Schuhfried.
Schuler, Heinz/Hell, Benedict (2008): Studierendenauswahl und Studienentscheidung aus eignungs-
diagnostischer Sicht. In: Schuler, Heinz/Hell, Benedict (Hg.): Studierendenauswahl und Studie-
nentscheidung. Göttingen: Hogrefe, S. 11-17.
Seeber, Günther/Boerner, Sabine/Keller, Helmut/Beinborn, Peter (2006): Strategien selbstorganisier-
ten Lernens bei berufstätigen Studierenden. Ausgewählte Ergebnisse einer empirischen Unter-
suchung. In: Journal für Sozialwissenschaften und ihre Didaktik, 2 (1), S. 1-19.
Spiel, Christiane/Litzenberger, Margarete/Haiden, Daniela (2007): Bildungswissenschaftliche und psy-
chologische Aspekte von Auswahlverfahren. In: Badelt, Christoph/Wegscheider, Wolfhard/Wulz,
Heribert (Hg.): Hochschulzugang in Österreich. Graz: Grazer Universitätsverlag, S. 479-552.
Straka, Gerald A. (2008): Selbstgesteuertes Lernen und Qualität der Lehre. In: Neue Didaktik, 1/2008,
S. 1-12.
Trost, Günter (2003): Deutsche und internationale Studierfähigkeitstests. Arten, Brauchbarkeit, Hand-
habung. Dokumentationen & Materialien, Bd. 51. Bonn: DAAD.
Trost, Günter/Haase, Klaudia (2005): Hochschulzulassung: Auswahlmodelle für die Zukunft. Eine
Entscheidungshilfe für Hochschulen. Essen u.a.: Stifterverband für die deutsche Wissenschaft.
Wiberg, Marie/Sundström, Anna (2009): A Comparison of Two Approaches to Correction of Restric-
tion of Range in Correlation Analysis. In: Practical Assessment Research & Evaluation, 14 (5),
S. 1-9.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
95
I. Wahl, C. Walenta: Evaluierung des Aufnahmeverfahrens
6. Anhang
Anhang: Regressionskoef zienten der Leistungen im Aufnahmeverfahren in
Bezug auf die Notendurchschnitte im ersten und zweiten Semester für die
Stichprobe mit korrigierter Varianzeinschränkung
Notendurchschnitte des 1. Semesters
Prädiktoren: Gesamttestwerte Beta
1. Schritt
studienbezogener Lerntest -0,63**
korrigiertes R² 0,39
2. Schritt
studienbezogener Lerntest -0,56**
Intelligenztest -0,21**
korrigiertes R² 0,43
3. Schritt
studienbezogener Lerntest -0,56**
Intelligenztest -0,19**
Englischtest -0,14**
korrigiertes R² 0,45
Prädiktoren: Gesamttestwerte studienbezogener Lern-
test, Englischtest, Eignungsinterview und Subtestwer-
te des objektiven Leistungsmotivationstests und des
Intelligenztests Beta
1. Schritt
studienbezogener Lerntest
korrigiertes R² -0,63**
2. Schritt 0,39
studienbezogener Lerntest -0,57**
verbal-deduktives Denken -0,24**
korrigiertes R² 0,45
3. Schritt
studienbezogener Lerntest -0,56**
verbal-deduktives Denken -0,25**
Englischtest -0,17**
korrigiertes R² 0,48
4. Schritt
studienbezogener Lerntest -0,52**
verbal-deduktives Denken -0,21**
Englischtest -0,18**
numerisch-induktives Denken -0,23**
korrigiertes R² 0,53
5. Schritt
studienbezogener Lerntest -0,51**
verbal-deduktives Denken -0,20**
Englischtest -0,19**
numerisch-induktives Denken -0,24**
Betrachtungszeit -0,15**
korrigiertes R² 0,55
6. Schritt
studienbezogener Lerntest -0,52**
verbal-deduktives Denken -0,21**
Englischtest -0,19**
numerisch-induktives Denken -0,22**
Betrachtungszeit -0,14**
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
96 Zeitschrift für Evaluation, Jg. 16, Heft 1, 2017 – Originalbeiträge, S. 73-96
aufgabenbezogene Anstrengung -0,15**
korrigiertes R² 0,57
7. Schritt
studienbezogener Lerntest -0,52**
verbal-deduktives Denken -0,21**
Englischtest -0,20**
numerisch-induktives Denken -0,21**
Betrachtungszeit -0,15**
aufgabenbezogene Anstrengung -0,15**
Motivation durch Ziele 0,15**
korrigiertes R² 0,59
8. Schritt
studienbezogener Lerntest -0,51**
verbal-deduktives Denken -0,22**
Englischtest -0,22**
numerisch-induktives Denken -0,21**
Betrachtungszeit -0,16**
Aufgabenbezogene Anstrengung -0,15**
Motivation durch Ziele 0,15**
Entscheidungsfähigkeit 0,09**
korrigiertes R² 0,60
Notendurchschnitte des 2. Semesters
Prädiktoren: Gesamttestwerte Beta
1. Schritt
studienbezogener Lerntest -0,51**
korrigiertes R² 0,26
2. Schritt
studienbezogener Lerntest -0,51**
Englischtest 0,17**
korrigiertes R² 0,28
3. Schritt
studienbezogener Lerntest -0,50**
Englischtest 0,16**
Eignungsinterview -0,14**
korrigiertes R² 0,30
Prädiktoren: Gesamttestwerte studienbezogener Lern-
test, Englischtest, Eignungsinterview und Subtestwer-
te des objektiven Leistungsmotivationstests und des
Intelligenztests Beta
1. Schritt
studienbezogener Lerntest -0,51**
korrigiertes R² 0,26
2. Schritt
studienbezogener Lerntest -0,51**
Englischtest 0,17**
korrigiertes R² 0,28
3. Schritt
studienbezogener Lerntest -0,50**
Englischtest 0,16**
Eignungsinterview -0,14**
korrigiertes R² 0,30
Anmerkungen: **bedeutet, dass der Regressionskoef zient auf einem Niveau von p<.01 signi kant ist; *be-
deutet, dass der Regressionskoef zient auf einem Niveau von p<.05 signi kant ist; die Notendurchschnitte
beziehen sich auf positiv abgelegte Prüfungen und reichen von 1 (Sehr gut) bis 4 (Genügend); die Analysen
basieren auf der nach Thornedike Case 2 korrigierten Korrelationsmatrix (vgl. Wiberg/Sundström 2009: 4)
und wurde mit R (vgl. R Core Team 2016) und dem package ‚psych‘ (vgl. Revelle 2015) analysiert.
© Waxmann Verlag GmbH | Sonderdruck für Ingrid Wahl und Christa Walenta
Article
Full-text available
This article summarizes the practical and theoretical implications of 85 years of research in personnel selection. On the basis of meta-analytic findings, this article presents the validity of 19 selection procedures for predicting job performance and training performance and the validity of paired combinations of general mental ability (GMA) and the 18 other selection procedures. Overall, the 3 combinations with the highest multivariate validity and utility for job performance were GMA plus a work sample test (mean validity of .63), GMA plus an integrity test (mean validity of .65), and GMA plus a structured interview (mean validity of .63). A further advantage of the latter 2 combinations is that they can be used for both entry level selection and selection of experienced employees. The practical utility implications of these summary findings are substantial. The implications of these research findings for the development of theories of job performance are discussed.
Article
Full-text available
Das Interesse an Kriterien und eignungsdiagnostischen Verfahren zur Auswahl von Studierenden im Rahmen der Hochschulzulassung hat in den vergangenen Jahren im deutschsprachigen Raum stark zugenommen. Neben Schulnoten und Auswahlgesprächen kommen insbesondere Studierfähigkeitstests als Auswahlinstrument in Frage. Der Beitrag fasst die seit 1980 publizierten Ergebnisse zur Validität von studienfachspezifischen Studierfähigkeitstests für den Studienerfolg im Sinne von Studiennoten zusammen. Insgesamt konnten 9 Publikationen mit K = 36 unabhängigen Stichproben zusammengetragen werden, die addiert einen kumulierten Primärstudien-Stichprobenumfang von 45.091 Personen ergeben. Die Validität der Studierfähigkeitstests wird durch das Studienfach, den Studienabschnitt und die Heterogenität der Stichprobe moderiert. Für alle untersuchten Studienfächer kann eine positive Validität der fachspezifischen Studierfähigkeitstests generalisiert werden. Die höchste Validität wird im Studiengang Humanmedizin erreicht (r = .507), gefolgt von den Studiengängen Veterinärmedizin (r = .431), Zahnmedizin (r = .353) und Wirtschaftswissenschaften (r = .325). Weiterer Forschungsbedarf besteht hinsichtlich der Prädiktion der Erfolgskriterien Studienabbruch, Studiendauer und Studienzufriedenheit.
Article
Full-text available
A common problem in predictive validity studies in the educational and psychological fields, e.g. in educational and employment selection, is restriction in range of the predictor variables. There are several methods for correcting correlations for restriction of range. The aim of this paper was to examine the usefulness of two approaches to correcting for range restriction; Thorndike's case 2 correction and ML estimates obtained from the EM algorithm, by comparing the corrected correlations with the correlation from an unrestricted sample. The unrestricted sample consisted of examinees who took the practical Swedish driving-license test regardless of their result on the theory test. Examinees that passed the theory test and took the practical test were regarded as a restricted sample. The result provided empirical support for the appropriateness of Thorndike's case 2 correction method. Although using the EM algorithm yielded a good estimate of the correlation in the unrestricted sample, further studies are needed on this topic.
Article
Full-text available
The problem of determining test bias in prediction using regression models is reexamined. Past ap proaches have made use of separate regression anal yses in each subgroup, moderated multiple regression analysis using subgroup coding, and hierarchical mul tiple regression strategies. Although it is agreed that hierarchical multiple regression analysis is preferable to either of the former methods, the approach pre sented here differs with respect to the hypothesis test ing procedure to be employed in such an analysis. This paper describes the difficulties in testing hy potheses about the existence of bias in prediction us ing step-up methods of analysis. Some shortcomings of previously recommended approaches for testing these hypotheses are discussed. Finally, a step-down hierarchical multiple regression procedure is recom mended. Analysis of real data illustrates the potential usefulness of the step-down procedure.
Article
Zusammenfassung. In dieser Metaanalyse wurden die Validitäten verschiedener Intelligenztests (z. B. IST-70, WIT, LPS, PSB, CFT-3, SPM) zur Vorhersage von Ausbildungserfolg in Deutschland ermittelt. Darüber hinaus wurde untersucht, ob sich die Validität kognitiver Fähigkeit je nach Operationalisierung des Ausbildungserfolgs (Noten vs. Leistungsbeurteilungen) unterscheidet. Die Analysen basierten auf 90 unabhängigen Stichproben, die 49 publizierten bzw. unpublizierten Beiträgen entnommen wurden. Obgleich zwischen einigen Testverfahren Validitätsunterschiede bestanden, erwiesen sich alle untersuchten Testbatterien als valide Prädiktoren von Ausbildungserfolg (ρ = .48-.54). Unterschiedlich hohe Validitäten je nach Ausbildungserfolgskriterium konnten größtenteils auf unterschiedliche Reliabilitäten dieser Kriterien zurückgeführt werden. Die Befunde werden hinsichtlich ihrer Implikationen für die eignungsdiagnostische Praxis diskutiert.
Article
The paper summarizes recent data on the retention and non‐completion patterns of adult students, especially those over the age of 25 who have had a gap since completing full‐time education. While data on further and higher education suggest that older learners are less likely than younger ones to complete longer, qualification‐bearing programmes, central statistics do not distinguish between students in their early‐to‐mid 20s, many of whom still have much in common with those in their late teens, and those in their 30s, 40s and 50s whose lifestyles, learning goals and aspirations are often qualitatively different.The section on retention data is followed by a summary of the reasons for not completing courses commonly cited by adults learning in conventional education settings, and reflection on whether these are significantly different from those cited by younger students and students in open or distance learning programmes. The paper ends with a summary of the kind of factors that might increase adult retention rates in both kinds of learning programme.For the purposes of this paper, ‘adults’ are defined as those over the age of 25 who have had a gap since completing full‐time education.
Article
The Internet is a hospitable medium for distance learning. Some geography educators fear that distance education confronts the discipline with a moral dilemma, however. One, in particular, acknowledges some of the advantages of distance learning, but contends that it cannot convey the sense of place that is 'the essence of what it means to be a geographer'. This paper is concerned with the morality of distance learning. In particular, it considers educators' obligations to deliver quality education, and to make it as widely accessible as possible. The paper stresses that the key distinction between distance learning and traditional resident instruction is not the mode of delivery, nor is it the distances in time and space that separate students and teachers. Rather, it is that distance learners are a qualitatively different, older population, with different educational needs from traditional on-campus undergraduates and graduate students. The paper argues that geography educators have a moral obligation to serve lifelong learners, an obligation that should take precedence over our allegiance to conventional notions about what constitutes the essence of our field.
Article
Meta-analysis of the cumulative research on various predictors of job performance showed that for entry-level jobs there was no predictor with validity equal to that of ability, which had a mean validity of .53. For selection on the basis of current job performance, the work sample test, with mean validity of .54, was slightly better. For federal entry-level jobs, substitution of an alternative predictor would cost from $3.12 (job tryout) to $15.89 billion/year (age). Hiring on ability had a utility of $15.61 billion/year but affected minority groups adversely. Hiring on ability by quotas would decrease utility by 5%. A 3rd strategy—using a low cutoff score—would decrease utility by 83%. Using other predictors in conjunction with ability tests might improve validity and reduce adverse impact, but there is as yet no database for studying this possibility. (89 ref) (PsycINFO Database Record (c) 2012 APA, all rights reserved)