Conference PaperPDF Available

Verbesserung der Bestehensquoten durch ein Peer Assessment-Pflichtpraktikum

Authors:

Abstract

Peer Assessment ist eine Methode, bei der die Teilnehmer eine gestellte Aufgabe nicht nur bearbeiten und einreichen, sondern – in einer zweiten Phase – diese auch gegenseitig überprüfen, kommentieren und bewerten. Durch diese Methode wird, auch in sehr großen Veranstaltungen, das Üben mit individuellen Bewertungen und individuellem Feedback möglich. Im Wintersemester 2013/14 wurde dieser Ansatz in der Erstsemesterveranstaltung Programmieren an der Technischen Hochschule Nürnberg mit 340 Studierenden als semesterbegleitendes Online-Pflichtpraktikum erprobt. Bei gleichen Leistungsanforderungen wurde bei Studierenden, die erfolgreich am Praktikum teilnahmen, eine Reduzierung der Durchfallquote um durchschnittlich 60 % und eine Verbesserung der Durchschnittsnote um 0,6 – 0,9 Notenstufen erzielt. Zudem lernten die teilnehmenden Studierenden kontinuierlicher, bereiteten Lerninhalte besser nach und gelangten zu einer überwiegend positiven Einschätzung des Praktikums und der Methode. Im E-Learning System Moodle kann Peer Assessment, mit moderatem Umsetzungs- und Betreuungsaufwand, mit der Workshop-Aktivität realisiert werden. Im Beitrag wird auf die Schlüsselelemente des erfolgreichen Einsatzes von Peer Assessment eingegangen.
45
Verbesserung der Bestehensquoten durch
HLQ3HHU$VVHVVPHQW3ÀLFKWSUDNWLNXP
B. Sc. Simon Roderus, Prof. Dr. Uwe Wienkop
Technische Hochschule Nürnberg, Georg Simon Ohm
Fakultät Informatik
Hohfederstraße 40, 90489 Nürnberg
{simon.roderus, uwe.wienkop}@th-nuernberg.de
Abstract: Peer Assessment ist eine Methode, bei der die Teilnehmer eine ge-
stellte Aufgabe nicht nur bearbeiten und einreichen, sondern in einer zwei-
ten Phase diese auch gegenseitig überprüfen, kommentieren und bewerten.
Durch diese Methode wird, auch in sehr großen Veranstaltungen, das Üben
mit individuellen Bewertungen und individuellem Feedback möglich.
Im Wintersemester 2013/14 wurde dieser Ansatz in der Erstsemester-
veranstaltung Programmieren an der Technischen Hochschule Nürnberg
PLW  6WXGLHUHQGHQ DOV VHPHVWHUEHJOHLWHQGHV 2QOLQH3ÀLFKWSUDNWLNXP
erprobt. Bei gleichen Leistungsanforderungen wurde bei Studierenden, die
erfolgreich am Praktikum teilnahmen, eine Reduzierung der Durchfallquote
um durchschnittlich 60 % und eine Verbesserung der Durchschnittsnote um
±1RWHQVWXIHQHU]LHOW=XGHPOHUQWHQGLHWHLOQHKPHQGHQ6WXGLHUHQGHQ
kontinuierlicher, bereiteten Lerninhalte besser nach und gelangten zu einer
überwiegend positiven Einschätzung des Praktikums und der Methode. Im
E-Learning System Moodle kann Peer Assessment, mit moderatem Umset-
zungs- und Betreuungsaufwand, mit der Workshop-Aktivit realisiert wer-
den. Im Beitrag wird auf die Schlüsselelemente des erfolgreichen Einsatzes
von Peer Assessment eingegangen.
46
1 Einführung
Unter Pee r Ass essm ent ver ste ht ma n, d as s St udie rend e von and ere n Studieren-
den (Peers) beur teilt werden und Feedback über die Qualität der eingereichten
Arbeit erhalten [Sp12]. Peer Assessment als Forschungsgegenstand erfuhr in
GHQOHW]WHQ -DKUHQ ]XQHKPHQGPHKU$XIPHUNVDPNHLW 'LH=DKO GHU9HU|I-
IHQWOLFKXQJHQ]XGLHVHP7KHPDKDWVLFKEHUGHQ=HLWUDXPYRQ±
mehr als verdoppelt [GDO11]. Es wurden unterschiedlichste Fragestellungen
untersucht, allerdings nicht immer mit den gleichen Ergebnissen (vgl. [Gi07],
S. 202). Die abweichenden Ergebnisse werden auf Unterschiede in der prak-
tischen Durchführung zurückgeführt. Die meisten empirischen Studien zu
Assessment nutzen eine vergleichsweise kleine Stichprobe von meist deutlich
unter hundert Teilnehmern, zudem wird der Erfolg oft mittels Selbsteinschät-
zung durch die Teilnehmer ermittelt [Ev13]. Hier kann die vorliegende Arbeit
einen Beitrag leisten, denn es wurden mehrere hundert Teilnehmer untersucht
und, neben einer Befragung, die Klausurleistung als objektive Messung des
Erfolges verwendet.
 ,QGHU /LWHUDWXU ZLUGLPPHUKlX¿JHUGLH1XW]XQJYRQ3HHU $VVHVVPHQW
als Lernwerkzeug, statt zur Leistungsmessung, diskutiert (vgl. [Gi07]). Die
erste und offensichtlichste Funktion ist der Lernerfolg, der durch das Bear-
beiten von Aufgaben und somit durch die aktive Auseinandersetzung mit
dem Lerninhalt entsteht. Durch das im Rahmen des Peer Assessment verge-
bene (formative) Feedback kann verhindert werden, dass Ineffektivität durch
„Trial & Error“-Lernen entsteht [Sa89]. Nicht zuletzt kann Peer Assessment
Auswirkungen auf die Herangehensweise haben, mit der Aufgaben bearbeitet
werden: Es soll Studierende in Richtung der erwünschten Lernziele führen
und anregen, auf eine tiefe und gründliche Art zu lernen (vgl. [Gi07], S. 21).
2 Motivation für den Einsatz von Peer Assessment
Die Probleme bei der Vermittlung von Lehrinhalten in den ersten Semestern
eines Studiums unterscheiden sich nach unseren langjährigen Beobachtungen
von denen der höheren Semester. Während die älteren Studierenden meist ge-
lernt haben, dass kurzfristiges Lernen vor einer Klausur nur selten zum Erfolg
IKUWEOHLEHQGLH6WXGLHUHQGHQGHUHUVWHQ6HPHVWHUKlX¿JSDVVLYhEXQJVDXI-
JDEHQRKQH3ÀLFKWDEJDEHZHUGHQPHLVWQLFKWRGHUQXUXQYROOVWlQGLJEHDUEHL-
tet. In der Folge können Studierende dem Unterrichtsstoff nur schwer folgen,
da das erworbene Wissen nicht durch Übung gefestigt wird. Gerade in sehr
47
praktischen Fächern, wie z. B. der Programmierausbildung, bleibt selbst bei
%HVWHKHQGHU.ODXVXU±RKQHDXVUHLFKHQGH3UD[LVHUIDKUXQJGLH)lKLJNHLW]XU
eigenständigen Lösung von Problemen mittels einer Programmiersprache oft
unterentwickelt, was sich dann in Form von Schwierigkeiten in weiterführen-
GHQ 9HUDQVWDOWXQJHQ]HLJW =XGHPLVW GLH6WXGLHQDEEUXFKTXRWH LP%HUHLFK
der Informatik mit 27 % im Vergleich zur durchschnittlichen Abbruchquote,
ähnlich wie Ingenieur-Studiengänge, um 8 % höher (Stand: 2010) [He12].
Auch ohne die zuvor genannten Probleme gibt es einige Bereiche in der
Lehre, die in typischen Großveranstaltungen meist nicht adressiert werden
können:
 Studierende bekommen tendenziell wenig Feedback zu ihren Arbeiten.
Aus großen Gruppengrößen resultiert, dass der einzelne Studierende nur
selten individuelles Feedback zu seiner Lösung bekommt. Gerade für An-
fänger wären eine Anerkennung oder auch weiterführende Kommentare zu
den Arbeiten hilfreich.
 Studierende haben wenig Übung im Verstehen fremder Lösungen.
Das Verstehen von fremden Lösungsansätzen bedeutet, sich in andere
Lösungswege hineindenken und diese nachvollziehen zu können. Diese
.RPSHWHQ] LVWIU GLHVSlWHUH 3URJUDPPLHUSUD[LV HVVHQ]LHOO ZLUG DEHU
in der schulischen Ausbildung nur in geringem Maße gbt und kann in
größeren Veranstaltungen ebenfalls kaum vermittelt oder trainiert werden.
 Studierende haben wenig Erfahrung im Bewerten von Leistungen.
Das Schulsystem ist davon geprägt, dass Leistungseinschätzungen in al-
ler Regel nur von Lehrern gegeben werden. Gerade aber das Bewerten,
idealerweise in Kombination mit der Analyse fremder Lösungen, führt zu
einem tieferen und gesicherteren Verständnis einer Problemlösung.
 Stilistische Aspekte können kaum geübt werden.
Wohl jeder ausgebildete Informatiker weiß um die Bedeutung vom sauber
dokumentierten Programmcode. In Lehrveranstaltungen kann jedoch auf
diese Wichtigkeit nur hingewiesen und entsprechende Beispiele angege-
ben werden. Auch bieten Übungen selten ein geeignetes Umfeld, um sti-
listische Elemente in einer authentischen Situation einzuüben.
48
Aus diesen Gründen begannen wir bereits vor etwa 6 Jahren damit, uns mit
Peer Assessment zu beschäftigen. Hierzu konzipierte Prof. Wienkop ein ei-
genes Peer-Assessment-System. Als sich dieses als konzeptionell ähnlich zu
dem Workshop-Modul, welches zeitgleich in dem Lernmanagementsystem
Moodle entwickelt worden war, herausstellte, wurde statt der eigenen Lösung
mit der Moodle-Entwicklung weitergearbeitet.
Peer Assessment stellt einen Lösungsansatz für die obigen Problemstel-
lungen durch die folgenden Elemente dar:
 'XUFKGDV3ULQ]LSGHVJHJHQVHLWLJHQ.RUULJLHUHQVHUKlOWMHGHU6WXGLHUHQGH
von einem oder mehreren anderen Studierenden Rückmeldung zum eige-
nen Lösungsansatz.
 8QWHU$QOHLWXQJGXUFKGLH'R]HQWHQKLQVLFKWOLFKGHU%HZHUWXQJVNULWHULHQ
kamen erstaunlich gute und hilfreiche Rückmeldungen zustande. Dies
deckt sich mit Studien (vgl. [BJ09]), nach denen die Korrektur durch Peers
einer Korrektur durch einen Dozenten in der Qualität nicht nachstehen muss.
 6WXGLHUHQGHDUEHLWHQVLFKWHQGHQ]LHOOQXUXQJHUQLQIUHPGH3URJUDPPHHLQ
da sie hierfür erst einmal den Lösungsansatz einer anderen Person nach-
vollziehen müssen. Jedoch wird, wie wohl jeder Dozent bestätigen kann,
gerade durch die Korrektur von Aufgaben das Auge in Bezug auf mög-
liche Fehlersituationen geschult. Im vorliegenden Praktikum haben sich
zwei studentische Korrekturen pro Einreichung als brauchbar erwiesen. Ent-
VSUHFKHQGZXUGH0RRGOHVRNRQ¿JXULHUWGDVVMHGHU6WXGLHUHQGHYRQ]ZHL
Peers je eine Rückmeldung erhält und entsprechend zwei Rückmeldungen
selbst abgeben soll.
 6WXGLHUHQGHHUZHLVHQVLFKKlX¿JDOVlXHUVWVWUHQJH.RUUHNWRUHQGLHDXFK
die stilistischen Elemente gut unter die Lupe nehmen, wodurch die Code-
Qualität im Mittel sehr viel besser war als in allen Vorjahren.
3 Vorerfahrungen mit dem Einsatz von Peer Assessment
Es wurden über mehrere Jahre Anläufe zum Einsatz von Peer Assessment
unternommen. In den ersten Durchführungen konnte mit der Methode kein
bzw. kaum Erfolg erreicht werden, und die Ergebnisse waren größtenteils
frustrierend. Deshalb sollen im Folgenden die wesentlichen Problemaspekte
benannt werden. Dabei wird auch dargestellt, wie sich aus diesen Aspekten
Schlüsselfaktoren für den Erfolg der Methode ableiten lassen.
49
Schneller Rückgang der Teilnahmequote am Peer Assessment.
In allen Durchläufen, in denen Studierende sich freir die Teilnahme am
Peer Assessment entscheiden konnten, nahm die Teilnahmequote rapide ab:
Von 80 Studierenden einer Veranstaltung nahmen an der ersten Peer Assess-
ment Aufgabe etwa 60 Studierende teil. Davon erhielten aber nur 2/3 wenigs-
tens eine Rückmeldung. Beim nächsten Durchgang nahmen dann nur noch
40 teil. Durch diesen Verlauf reduzierte sich die Teilnehmerzahl mit jeder
Aufgabe, so dass meist bereits nach drei Wochen der Punkt erreicht war, an
dem zu wenige teilnahmen und das Verfahren keinen Sinn mehr machte.
Hieraus lassen sich zwei Rückschlüsse ziehen:
1) Studierende wünschen sich stärker eine Rückmeldung, als sie selbst dazu
bereit sind, eine zu geben.
 (VEUDXFKWHLQHQVWDUNHQlXHUHQ$QUHL]]%3ÀLFKWWHLOQDKPHXPGLH
Studierenden zu einer längerfristigen Teilnahme zu bewegen.
8QVSH]L¿VFKHV)HHGEDFNIUXVWULHUWGLH7HLOQHKPHU
In den ersten Durchläufen sollten die Studierenden anhand nur weniger Krite-
rien Rückmeldung geben, dabei handelte es sich meist um die korrekte Funk-
WLRQDOLWlWHLQHV3URJUDPPVXQGHLQHQJXWHQ3URJUDPPLHUVWLO+lX¿JZXUGHQ
nur Punkte auf einer Skala von 1-5 vergeben und auf Kommentare weitestge-
hend verzichtet, so dass die Rückmeldung mangels Nachvollziehbarkeit r
den Beurteilten meist nicht hilfreich oder sogar frustrierend war.
Hieraus lassen sich weitere Rückschlüsse ableiten:
3) Die Teilnehmer sind schnell fr ustriert, wenn sie Beurteilungen nicht nach-
YROO]LHKHQN|QQHQ=XGHP LVWGHU/HUQHIIHNWJHULQJ ZHQQ NHLQH)HKOHU
benannt oder Verbesserungsvorschläge aufgezeigt werden. Deshalb sollten
Beurteilungen durch Kommentare begründet werden.
4) Feedback im Sinne einer gut/schlecht-Checkliste ist nicht ausreichend.
Stattdessen ist ein Beurteilungskatalog mit mehreren Abstufungen not-
wendig, so dass Beurteilungen, selbst wenn diese nicht durch Kommentare
begründet werden, immer noch hilfreich sind.
Faires und konsistentes Beurteilen bereitet Probleme.
Studierende wünschen sich detaillierte, strukturierte und vollständige Be-
urteilungsanweisungen, wie viele Punkte für welche Leistung zu vergeben
50
VLQG$OOHUGLQJVLVWHV LQGHU 3UD[LV ZHGHUP|JOLFKQRFK VLQQYROOMHGH QXU
mögliche Antwort zu antizipieren. Es zeigte sich zudem die Tendenz, dass
wider Erwarten die meisten Studierenden nicht zu milden, sondern zu beson-
ders strengen Urteilen tendieren. So wurden, trotz der Aufforderung milde
und konstruktiv zu beurteilen,r simple Programmierfehler, wie das Fehlen
einer schließenden Klammer, auch bei ansonsten vollständig richtigem Pro-
gramm, regelmäßig 0 Punkte vergeben.
5) Es sollten begünstigende Formulierungen verwendet werden, damit für
ÄIDVWULFKWLJH³/|VXQJHQQRFKYLHOH3XQNWHYHUJHEHQZHUGHQ=XGHPVROOWH
die Abstufung bei der Beurteilung der Kriterien durch Rubriken vorgegeben
werden, um differenzierte Urteile zu bekommen.
6) Durch die inkonsistente Beurteilung passierte es, dass die Bewertung einer
einzelnen Leistung hinter den anderen Ergebnissen eines Teilnehmers zu-
UFN¿HOE]ZXQYHUKlOWQLVPlLJVFKOHFKWDEVFKQLWW(QWVSUHFKHQGVROOWH
Teilnehmern die Möglichkeit gegeben werden, Beurteilungen nachprüfen
XQGXQIDLUH%HXUWHLOXQJHQNRUULJLHUHQ]XODVVHQ=XGHP]HLJWHVLFKGDVV
das Mitverfolgen der eigenen Leistungen über ein ganzes Semester hinweg
einen stark anspornenden Charakter hatte.
Nach dem Erkennen dieser Erfolgsfaktoren wurden diese im Sommerse-
mester 2013 in einer kleineren Veranstaltung mit 20 Teilnehmern erprobt.
Aufgrund des erstmalig guten Verlaufes erfolgte dann die Entscheidung, die
Methode in einer Großveranstaltung einzusetzen.
4 Einsatz von Peer Assessment bei der Lehrveranstaltung
Programmieren 1 im Wintersemester 13/14
Im Wintersemester 2013/14 wurde an der Technischen Hochschule Nürnberg
die Methode Peer Assessment in der Großveranstaltung Programmieren mit
340 Teilnehmern in drei parallelen Veranstaltungen erneut angewendet. Diese
Teilnehmer verteilten sich auf vier Studiengänge, von denen bei dreien die
7HLOQDKPHDOVLFKWIHVWJHOHJWZRUGHQZDU,QIRUPDWLN 0HGLHQLQIRUPDWLN
XQG:LUWVFKDIWVLQIRUPDWLNZlKUHQGEHLGHPYLHUWHQ6WXGLHQJDQJHLQHU([-
portleistung für den Studiengang Mathematik, die Studienordnung noch nicht
geändert worden war. Somit befand sich unter den 340 Teilnehmern eine etwa
115 Personen große Teilgruppe, deren Mitglieder wählen konnten, ob sie am
51
Praktikum teilnehmen wollten oder nicht. Alle Studierenden nahmen an der
gleichen Klausur teil. Für das Peer Assessment-Praktikum wurde folgendes
Setting verwendet:
 'DV3UDNWLNXPZXUGH]XU3ÀLFKWHUNOlUW'LHVHV9RUJHKHQHUIROJWHLQ$E
sprache mit den studentischen Vertretern im Fakultätsrat. Es wurde dabei
vereinbart, dass durch das Praktikum keine Steigerung des Leistungs-
niveaus erzwungen werden würde, sondern dass sich die Aufgaben am
Schwierigkeitsgrad der früheren freiwilligen Übungsaufgaben orientieren
sollten.
 (VJDELP.HUQ]HLWUDXPGHV6HPHVWHUVEHUQHXQ:RFKHQKLQZHJZ|
chentlich eine zu bearbeitende Übungsaufgabe, die auch Unteraufgaben ent-
halten konnte.
 ,QMHGHU:RFKHZDUHQ3XQNWHHU]LHOEDU,QVJHVDPWZDUHQVRPLW
Punkte erreichbar.r das Bestehen des Praktikums waren 700 Punkte
notwendig.
 'LH3XQNWHHLQHU$XIJDEHYHUWHLOHQVLFKDXI3XQNWHIUGLH$EJDEH
der eigenen Aufgabenlösung und 30 Punkte für die Beurteilung von zwei
fremden Einreichungen (je 15 Punkte pro Beurteilung). Diese Aufteilung
war so gewählt worden, damit das Praktikum nicht mit dem alleinigen
Bearbeiten der Aufgaben bestanden werden konnte, sondern die Studie-
UHQGHQGD]XDXFKDQGHUHEHXUWHLOHQPXVVWHQ=XGHPZDUHQGLH%HXUWHL-
lungspunkte relativ leicht „zu verdienen“.
 'LHRELJHQ3XQNWHPLW$EVWXIXQJHQYRQMH3XQNWHQZXUGHQXQWHUWHLOW
LQYLHU7HLONULWHULHQ=XMHGHP .ULWHULXPNRQQWHQ.RPPHQWDUH DEJHJH-
ben werden:
a) Bis zu 40 Punkte für die korrekte Funktionalität
b) 10 Punkte für eine gute Programmstruktur
c) 10 Punkte für sinnvolle und angemessene Variablennamen
d) 10 Punkte für angemessenes Kommentieren
 =X%HJLQQGHV3UDNWLNXPVWUDWHQEHLHLQLJHQ6WXGLHUHQGHQNOHLQHUH$Q
laufschwierigkeiten auf, die meist durch Bedienfehler wie die Abgabe fal-
scher oder leerer Dateien bedingt waren. Um diese auszugleichen, wurde
zunächst diskutiert, die Bestehensgrenze abzusenken. Dann jedoch ent-
schlossen wir uns stattdessen dazu, zwei zusätzliche „Bonusaufgaben“
mit je 100 Punkten anzubieten.
52
5 Untersuchungsmethoden
=XU 8QWHUVXFKXQJ GHV 3UDNWLNXPV NDPHQ XQWHUVFKLHGOLFKH 0HWKRGHQ]XP
Einsatz. Es wurden die Verbesserung sowohl der Bestehensquote als auch
des Notendurchschnitts untersucht. Für jeden Teilnehmer wurden Jahrgang,
Studiengang, Praktikumspunkte, Klausurpunkte und ob das Praktikum ver-
SÀLFKWHQGZDUHUIDVVW$QKDQGGLHVHU'DWHQNRQQWHQ0LWWHOZHUWHXQG.RUUH-
lationen verglichen werden. Da es sich bei den Praktikumspunkten und Klau-
surpunkten um verhältnisskalierte Daten handelt, wurden diese anhand des
.RUUHODWLRQVNRHI¿]LHQWHQQDFK%UDYDLV3HDUVRQEHUHFKQHWYJO>%R@'LH
6LJQL¿NDQ]ZXUGHSHUHLQVHLWLJHP7HVWDXIGDV1LYHDXJHSUIW
=XVlW]OLFK ZXUGH GDV $EJDEHYHUKDOWHQ EHU 0RRGOH GRNXPHQWLHUW XQG
das Praktikum mittels einer schriftlichen Onlinebefragung mit offenen und
geschlossenen Fragen evaluiert. An dieser haben 119 Studierende, also 35 %
der Teilnehmer, teilgenommen.
6 Ergebnisse
6.1 Teilnahme und Bestehensquote des Praktikums
Die Bestehensquote ist in Abb. 1 dargestellt. Von den insgesamt 340 Stu-
GLHUHQGHQZDUIUGLH7HLOQDKPHDQGHP3UDNWLNXPYHUSÀLFKWHQG9RQ
dieser Gruppe haben 90 % (n = 203) mindestens 700 Punkte erreicht und das
3UDNWLNXP VRPLWEHVWDQGHQ Q GHU 3ÀLFKWWHLOQHKPHU KDEHQGLH
erforderliche Punktzahl nicht erreicht.
Die Auswertung der im Praktikum erzielten Punkte ergab ein deutliches
%LOGYJO$EE'LH3ÀLFKWWHLOQHKPHUEHUWUDIHQGLHJHIRUGHUWH3XQNW]DKO
meist deutlich. Bei den erfolgreichen Teilnehmern (n = 207) lag der Mittel-
wert bei 918 Punkten. Die größte Teilgruppe befand sich hier im Bereich der
PD[LPDOP|JOLFKHQ3XQNW]DKOHQ
53
Abbildung 1: Bestehensquoten des Praktikums
Abbildung 2: Erreichte Punkte im Praktikum in Bezug
DXIGLH*UXSSHQ3ÀLFKWXQG1LFKWLFKW
*DQ] DQGHUV VDKGDV%LOGEHL GHQ7HLOQHKPHUQRKQH7HLOQDKPHSÀLFKWDXV
Diese erreichten meist gar keine oder nur sehr wenige Punkte. Leider waren
bei einigen Studierenden selbst schlechte Prüfungsleistungen im Erstversuch
keine ausreichende Motivation, sich am Praktikum zu beteiligen. Mehrere
Studierende aus dieser Gruppe erkundigten sich, ob sie wirklich „unbedingt
am Praktikum teilnehmen müssten.
54
6.2 Ein typischer Wochenverlauf
Die Aufgaben wurden jeweils am Montag um 8.00 Uhr freigeschaltet und
mussten bis zum nächsten Montag, 8.00 Uhr, bearbeitet werden. Für die Be-
XUWHLOXQJ ZDUGDQQELV'RQQHUVWDJXP 8KU =HLW'LH$XVZHUWXQJ GHU
Einreichzeiten (vgl. Abb. 3) zeigt, dass bei den meisten Studierenden das Ein-
reichen erst ziemlich spät (meist: Sonntag) stattfand, die Korrektur erfolgte
hingegen typischerweise gleich nach dem Freischalten am Montag der dar-
auffolgenden Woche.
Abbildung 3: Einreichungsverlauf einer typischen Woche (hier: 18. 24. November)
6.3 Steigerung des wöchentlichen Arbeitseinsatzes
durch das Praktikum
Vor dem WS 2013/14 war bei den Evaluationen von den Studierenden eine
wöchentliche Nachbereitungszeit von etwa 1,5 Std./Woche zurückgemeldet
worden, was bei einer 6-stündigen Veranstaltung (4 SWS Vorlesung + 2 SWS
hEXQJDOVGHXWOLFK]XJHULQJHLQ]XVWXIHQLVW0LWGHP3ÀLFKWSUDNWLNXPVWLHJ
der per Onlinebefragung ermittelte durchschnittliche Nachbereitungsauf-
wand auf 5,2 Std./Woche (vgl. Abb. 4) und liegt damit genau an der Stelle,
die auch die Dozenten im Modulhandbuch als angemessen angegeben hatten.
Abbildung 4: Wöchentlicher Arbeitsaufwand für das Praktikum in Stunden im WS 13/14
55
6.4 Klausurergebnisse
=XU$XVZHUWXQJZXUGHQGLH.ODXVXUHUJHEQLVVHGHU-DKUH±GDYRQ
GLHHUVWHQGUHL-DKUHRKQH3ÀLFKWSUDNWLNXPXQGPLW3ÀLFKWSUDNWLNXPLQ
den Studiengängen Wirtschaftsinformatik, Informatik und Medieninforma-
WLNYHUJOLFKHQ=XGHPZXUGHQGLH:HUWHGHQHQGHV6WXGLHQJDQJV0DWKHPDWLN
gegenübergestellt. Da dort das Praktikum freiwillig war und kaum genutzt
wurde, konnte dieser Studiengang als Vergleichsgruppe genutzt werden. Ins-
gesamt ging die Auswertung von 873 Klausuren in die Statistik ein. Bereits
EHL IUKHUHQ -DKUJlQJHQ ¿HO DXI GDVV VLFK GLH 'XUFKVFKQLWWVQRWHQ LQ GHQ
einzelnen Studiengängen, trotz identischer Klausur und wechselnder Dozen-
ten, regelmäßig unterschieden. Deshalb wurde auch die Auswertung getrennt
nach den Studiengängen durchgeführt. Es zeigte sich, dass die Verbesserun-
gen in allen Studiengängen eindeutig bestätigt werden konnte (siehe Tab. 1).
Tabelle 1: Prüfungsteilnehmerzahlen (NPrfg.TN) sowie Durchschnittsnoten (DNote) und
Durchfallquoten (DFQ) der erfolgreichen Praktikumsteilnehmer nach Studiengang
Mathematik (M), Informatik (IN), Medieninformatik (MIN) und Wirtschaftsinfor-
PDWLN:,1VRZLHGHUHQ9HUlQGHUXQJǻ6WXGLHQJlQJHPLW3ÀLFKWSUDNWLNXPVLQG
IDUELJKLQWHUOHJW%HLGHU9HUlQGHUXQJGHU1RWHǻ'Note) entsprechen negative Werte
einer Verbesserung der Note.
*) Den Mathematik-Studiengang gibt es erst seit dem Jahr 2012. Der Vergleich
erstreckt sich hier also nur über die Jahre 2012 2013.
 'LH6SDOWHǻ')4P(HQWKlOWGLHGXUFKVFKQLWWOLFKH9HUEHVVHUXQJGHU3U
fungsteilnehmer, die das Praktikum erfolgreich absolviert haben.
 =XP9HUJOHLFKGLH'DWHQGHUJHVDPWHQ3UIXQJVWHLOQHKPHU
2010-2012 2013
Stg. DFQ DNote NPrfg.TN DFQ DNote ǻ'Note
ǻ')4
(m.E.)**
ǻ')4
(alle)***
M* 22 % 3,3 36 14 %
(33%***)
2,3
(3,3***)
IN 22 % 2,9 75 9 % 2,3 -0,6 -61 %-58 %
MIN 26 % 3,2 30 11 % 2,6 -0,6 -58 %-37 %
WIN 45 % 3,9 98 18 % 2,9 -0,9 -60 %-53 %
Durchschnittliche Veränderung bei IN, MIN, WIN: -60 %-51 %
56
'LH GXUFK 3HHU $VVHVVPHQW HUUHLFKWH 9HUEHVVHUXQJ GHU 'XUFKIDOOTXRWH ¿HO
r die erfolgreichen Praktikumsteilnehmer der Studiengänge Informatik,
Medieninformatik und Wirtschafsinformatik mit durchschnittlich 60 % über-
raschend groß aus. Entsprechend zeigte sich eine deutliche Verbesserung der
Durchschnittsnote um 0,6 0,9 Notenstufen. Über die Gesamtheit aller Stu-
dierenden dieser drei Studiengänge (inklusive der Nichtpraktikumsteilneh-
mer) ergab sich eine Verbesserung der Durchfallquote von 51 %.
Die Klausur hatte einen ähnlichen Aufbau hinsichtlich der Themengebie-
te und Aufgaben wie die Klausuren der Vorjahre. Anhand der Studierenden
des Mathematikstudiengangs, die am Praktikum kaum teilnahmen, konnte
zudem geprüft werden, ob die Prüfung im Vergleich zum Vorjahr einen ähn-
lichen Schwierigkeitsgrad hatte. Dies wurde bestätigt. Die Durchschnittsnote
lag in diesem Studiengang über alle Teilnehmer im Jahr 2012, ebenso wie im
Jahr 2013, mit durchschnittlich 3,3 ganz nah bei der fast gleichen Vorjahres-
durchschnittsnote. Auffallend war zudem, dass die Mathematikstudierenden,
die freiwillig am Praktikum teilnahmen, deutlich besser abschnitten (vgl.
Tab. 1). Die Verbesserung lag hier, im Vergleich zum Vorjahr, bei einer gan-
zen Notenstufe. Da es sich aber nur um 9 % (n = 10) der Mathematikstudie-
renden handelte und es nicht ausschließbar ist, dass diese Teilgruppe sich in
anderen relevanten Faktoren wie Fleiß, Leistungsbereitschaft und Fähigkeit
zur Selbstorganisation von den restlichen 91 % unterscheidet, wurde dieser
Notenunterschied nicht weiter interpretiert.
'LH $XWRUHQ JHKHQ GDYRQ DXV GDVV GDV YHUSÀLFKWHQGH %HDUEHLWHQGHU
$XIJDEHQHLQHQJURHQ(LQÀXVVDXIGDV(UJHEQLVKDWWH,QWHUHVVDQWZlUH]X
erfahren, welcher Anteil dieser Ergebnisse durch das Peer Assessment erzielt
ZXUGHXQG REDQGHUH/HUQPHWKRGHQ EHLYHUSÀLFKWHQGHU7HLOQDKPH lKQOLFK
gute Ergebnisse liefern.
6.5 Statistische Analyse
Für alle Teilnehmer der Klausur im WS13/14 (N = 239) wurde untersucht,
ZHOFKH$XVZLUNXQJHQGDV3UDNWLNXPE]ZGLH3ÀLFKWWHLOQDKPHDQGLHVHP
hat. Die Korrelation zwischen den im Praktikum erzielten Punkten und den
Klausurpunkten ergab das in Tab. 2 dargestellte Bild:
57
Tabelle 2: Korrelationen nach Bravais-Pearson. N = 239
(Teilnehmer der Klausur im WS13/14).
'LH.RUUHODWLRQLVWDXIGHP1LYHDXYRQVHLWLJVLJQL¿NDQW
Die Korrelation zwischen den Punkten im Praktikum und in der Klausur
(r=,369**) zeigt, dass die Leistung im Praktikum als mittelstarker Prädik-
tor für das spätere Klausurergebnis dienen kann. Andere Studien berichten
ähnliche Größen der Korrelation zwischen den im Peer Assessment und den
in der Klausur erreichten Punktzahlen (vgl. [VSV10]). Die starke Korrelati-
RQYRQ7HLOQDKPHSÀLFKWXQG3UDNWLNXPVSXQNWHQ]HLJW GHQEHUHLWVHUZlKQ-
WHQ =XVDPPHQKDQJ GDVV QXU EHL YHUSÀLFKWHQGHU 7HLOQDKPH YLHOH 3XQNWH
LP3UDNWLNXPHUUHLFKWZHUGHQ%HLGH.RUUHODWLRQHQVLQGKRFKVLJQL¿NDQWDXI
dem 0,01- Niveau und übertreffen somit das geforderte 0,05-Niveau.
6.6 Ergebnisse der schriftlichen Teilnehmerbefragung
Tabelle 3: Ergebnisse der schriftlichen Evaluation. Abstufungen der Skala Likert1:
1 = „stimme nicht zu“ bis 5 = „stimme zu“. Abstufungen der Skala Likert2:
1 = „sehr gering“ bis 5 = „sehr groß“.
Wie oben beschrieben, wurde das Praktikum durch eine umfangreiche Befra-
gung gegen Ende des Praktikums evaluiert. Neben den üblichen geschlosse-
nen Fragen, wurden die Studierenden zu Verbesserungsvorschlägen ebenso
ZLH]XSRVLWLYHQ$VSHNWHQEHIUDJW([HPSODULVFKH(UJHEQLVVHVLQGLQ7DE
dargestellt. Die Teilnehmer empfanden, dass ihnen das Praktikum half „am
Frage M SD Skalentyp
Das Praktikum hilft am Lernen
dranzubleiben. 4,2 1 Likert1
Schulnote Praktikum 2,3 0,9 Schulnote
Einschätzung des Lernerfolgs 3,7 1 Likert2
Praktikumspunkte 3ÀLFKW Klausurpunkte
Praktikumspunkte 1
7HLO Q DK PH LFKW ,732** 1
Klausurpunkte ,369** ,326** 1
58
Lernen dranzubleiben“, auch der Lernerfolg wurde tendenziell als „eher gut“
eingeschätzt. Die Teilnehmer gaben dem Praktikum im Schnitt eine Schulno-
te von 2,3 es gibt also auch noch Verbesserungspotential.
 'LH9HUEHVVHUXQJVYRUVFKOlJHKDWWHQKlX¿J]XP,QKDOWGLH.RPPXQLND-
tion unter den Dozenten der drei parallelen Veranstaltungen weiter zu verbes-
sern. Es wurde klar, dass an Praktikumsaufgaben, hinsichtlich der vollstän-
digen und zweifelsfreien Formulierung, ähnlich hohe Anforderungen wie für
die Formulierung von Klausuraufgaben zu stellen sind.
Aus den zahlreichen positiven Rückmeldungen zur Fragestellung „Wa s
KDW,KQHQDP3UDNWLNXPJHIDOOHQ"³VROOHQLP)ROJHQGHQHLQLJHH[HPSODULVFK
herausgegriffen werden:
 0LUVHOEVWKDWGDV3UDNWLNXPVHKUYLHOJHEUDFKW=XPHLQHQGDV7UDLQLHUHQ
des Programmierens, zum anderen wurden alle Studenten/innen dazu ge-
nötigt, eine Plattform zum gemeinsamen Lösen von Problemen kurz: zum
gemeinsamen Austausch zu nutzen.
 'DV)HHGEDFNYRQGHQ0LWVWXGHQWHQZDU]XPLQGHVWEHLPLUVHKUNRQVW
ruktiv und hilfreich.
 'DVVMHPDQGDXIGLH,GHHNDPGLHVHV3UDNWLNXPEHUKDXSWHUVWHLQ]XIKUHQ
 'DV3UDNWLNXPJHQHUHOOLVWHLQHJDQ]WROOH,GHHXP6WXGHQWHQ]XPNRQ
tinuierlichen Mitlernen zu motivieren. Der Umfang war genau richtig.
Das Ziel, eine Mindestpunktzahl zu erreichen, war motivierend, aber nicht
überfordernd, da diese auch dann noch erreicht werden konnte, wenn bei
der ein oder anderen Aufgabe mal Fehler gemacht wurden.
 'DV3UDNWLNXPVROOWHDXIMHGHQ)DOOZHLWHUKLQGXUFKJHIKUWZHUGHQ,FK
würde es sogar für alle Fächer empfehlen, da die wöchentliche Frist sehr
gut zum strukturierten und kontinuierlichen Mitlernen anregt.
6.7 Aufwand für die Durchführung des Praktikums
Den drei Dozenten standr diechentliche Korrektur, der studentischen
Übungseinreichungen, kein weiteres Personal zur Verfügung. Durch das ge-
genseitige Korrigieren studentischer Arbeiten war es dennoch möglich, dass
wöchentlich alle Aufgaben beurteilt wurden. Neben dem Formulieren der
Aufgabenstellungen und dem Beantworten von Nachfragen wurde durch fol-
gende Faktoren weiterer Aufwand verursacht:
Es hat sich auch im vorliegenden Praktikum die zuvor genannte Situation,
dass Studierende gerne Feedback erhalten wollen, aber umgekehrt in eher ge-
59
ringerem Maß andere Studierende bewerten, erneut bestätigt. Trotz der zwei
Beurteilungen pro Einreichung kam es immer wieder vor, dass einige Studie-
rende überhaupt kein Feedback erhielten.
Aus prüfungsrechtlichen Gründen musste zudem sichergestellt werden,
dass die Teilnahme an der Prüfung nicht alleine durch studentische Beurtei-
lungen versagt wurde. Entsprechend mussten alle Beurteilungen, aufgrund
deren Teilnehmer weniger als die erforderlichen 700 Punkte erreichten, durch
die Dozenten erneut geprüft und bestätigt bzw. korrigiert werden.
Das gleiche galt für alle Einreichungen, die sehr schlechte Bewertun-
gen, oder zwei inkonsistente Beurteilungen erhalten haben. Alle diese Fälle
mussten durch die Dozenten nachgeprüft werden, zudem gab es wöchentlich
Beschwerden von Studierenden zu überprüfen, die die erhaltene Beurteilung
DOVXQJHUHFKWHPSIDQGHQ'HU$XIZDQGKLHUIUODJEHLFD=HLWVWXQGHQSUR
Woche. Im vorliegenden Praktikum verteilten wir diese Nachkorrektur wö-
chentlich wechselnd auf die drei Dozenten.
7 Zusammenfassung und Ausblick
,PYRUOLHJHQGHQ%HLWUDJZXUGHJH]HLJWZLHPLWGHUYHUSÀLFKWHQGHQ7HLOQDK-
me an einem mittels Peer Assessment durchgeführten Praktikum die Durch-
IDOOTXRWHIUHUIROJUHLFKH7HLOQHKPHUVLJQL¿NDQWXP JHVHQNWXQGGHU
Notendurchschnitt um 0,6 0,9 Notenstufen gesteigert werden konnte. Es
wurden wesentliche Faktoren für die erfolgreiche Umsetzung des Peer As-
VHVVPHQW3UDNWLNXPV ZLH YHUSÀLFKWHQGH 7HLOQDKPH VWUXNWXULHUWH%HZHU-
WXQJVOLVWHQXQGHLQH*HVDPWSXQNWHWDEHOOHLGHQWL¿]LHUW
Das hier vorgestellte Konzept wird mittlerweile in weiteren Lehrveran-
VWDOWXQJHQHUSUREW=XGHPHUIRUVFKHQZLULPQXQODXIHQGHQ6HPHVWHUREGHU
(LQVDW]YRQ*DPL¿FDWLRQ(OHPHQWHQ$QVSRUQ]XUIUHLZLOOLJHQ7HLOQDKPHJH-
EHQNDQQXQGH[SHULPHQWLHUHQPLW$XIJDEHQIRUPDWHQGLHYRQ6WXGLHUHQGHQ
r Studierende erstellt werden.
60
Literaturverzeichnis
>%R@ %RXULHU*%HVFKUHLEHQGH6WDWLVWLN6SULQJHU )DFKPHGLHQ$XÀDJH
Wiesbaden, 2013; S. 208.
[BJ09] Bouzidi, L.; Jaillet, A.: Can Online Peer Assessment Be Trusted? In: Edu-
cational Technology & Society, Vol. 12, No. 4, 2009; S. 257–268.
[Ev13] Evans, C.: Making Sense of Assessment Feedback in Higher Education. In:
Review of educational research, Vol. 83, No. 1, 2013; S. 77.
[GDO11] Gielen, S.; Dochy, F.; Onghena, P.: An inventory of peer assessment diversity.
In: Assessment and Evaluation in Higher Education, Vol. 36, No. 2, 2011;
S. 137–155.
[Gi07] Gielen, S.: Peer assessment as a tool for learning, 2007.
[He12] Heublein, U.; Richter, J.; Schmelzer, R.; Sommer, D.: Die Entwicklung
der Schwund- und Studienabbruchquoten an den deutschen Hochschulen:
statistische Berechnungen auf der Basis des Absolventenjahrgangs 2010.
In: HIS: Forum Hochschule, Vol. 3/2012, Hannover, 2012; S. 22.
[Sa89] Sadler, D.: Formative assessment and the design of instructional systems.
In: Instructional Science, Vol. 18, No. 2, 1989; S. 120.
[Sp12] Spiller, D.: Assessment Matters: Self-Assessment and Peer Assessment,
2012; S. 10 URL: http://www.waikato.ac.nz/tdu/pdf/booklets/9_SelfPeer-
Assessment.pdf, (04/2014).
>969@ YDQ=XQGHUW06OXLMVPDQV'YDQ0HUULsQERHU-(IIHFWLYHSHHUDVVHVVPHQW
SURFHVVHV5HVHDUFK¿QGLQJVDQGIXWXUHGLUHFWLRQV,Q/HDUQLQJDQG,QVWUXF-
tion, Vol. 20, Issue 4, 2010; S. 270279.rder ungshinweis: Dieses Vorha-
ben wird aus Mitteln des Bundesministeriums für Bildung und Forschung
unter dem Förderkennzeichen 01PL11024 (Projekt QuL) gefördert.
Förderungshinweis: Dieses Vorhaben wird aus Mitteln des Bundesministeriums für
Bildung und Forschung unter dem Förderkennzeichen 01PL11024 (Projekt
QuL) gefördert.
Chapter
Das Inverted Classroom Model zeigt einen strukturell einfachen Weg zum Einsatz digitaler Medien in der Lehre: Wo vielleicht früher ein Buchkapitel vorbereitend gelesen werden sollte, wird nun von den Studierenden erwartet, dass sie vorab Videos ansehen. Angesichts der Beliebtheit von Videos gerade im schlank produzierten Stil eines elektronischen Tafelbilds geht man davon aus, dass sich die Studierenden mit Freude intensiv vorbereiten. In der Praxis stellen sich allerdings unerwartete Herausforderungen. In diesem Kapitel wird das Inverted Classroom Model im Licht didaktischer Erkenntnisse betrachtet und über Erfahrungen und Techniken aus der Praxis der Hochschullehre, insbesondere des Autors in seinen ingenieurwissenschaftlichen Modulen von Mathematik bis Mensch-Maschine-Interaktion, berichtet. Dieser Beitrag orientiert sich an Beispielen aus dem Fach „Wind- und Wasserkraft“ an der Fachhochschule Bielefeld.
Article
Full-text available
The excessive workload generated by the assessment of exam papers in large classes and the need to give feedback in time often constitute a rather heavy burden for teachers. The online peer assessment can contribute to reduce this workload and, possibly, to improve learning quality by assigning the assessment task to students. However, this raises the question of validity. In order to study this question, we carried out an experiment of online peer assessment in which 242 students, enrolled in 3 different courses, took part. The results show that peer assessment is equivalent to the assessment carried out by the professor in the case of exams requesting simple calculations, some mathematical reasoning, short algorithms, and short texts referring to the exact science field (computer science and electrical engineering).
Article
Full-text available
Het proefschrift omvat drie theoretische bijdragen en drie empirische studies over peer assessment, een algemene introductie en afsluitende reflecties met een discussie van de resultaten, een discussie van de onderwijskundige implicaties en een discussie van enkele methodologische kwesties. De eerste bijdrage beschrijft de rol die peer assessment kan vervullen in het versterken van de consequentiële validiteit van een assessment systeem. Ten eerste worden de verschillende soorten effecten op leren verhelderd die assessment in het algemeen kan hebben, en worden de ontwerpprincipes geformuleerd om de consequentiële validiteit van een assessment systeem te verhogen. Vervolgens wordt aangetoond dat peer assessment helpt om tegemoet te komen aan de geïdentificeerde ontwerpprincipes die de consequentiële validiteit van een assessment systeem doen stijgen. Meer specifiek toont dit proefschrift dat peer assessment het beter doenbaar kan maken om uitdagende en authentieke taken op te nemen in een assessment syteem; dat het kan helpen om de assessment eisen duidelijker te maken naar studenten toe; dat het kan zorgen voor een supplement voor of een vervanging van formatief assessment door de docent of leraar; en ten slotte, dat het de respons op de feedback van de docent of leraar kan ondersteunen. De tweede bijdrage gaat verder dan de impact van peer assessment op de consequentiële validiteit, en behandelt het probleem dat de output van peer assessment tegen een verscheidenheid aan kwaliteitscriteria beoordeeld wordt in de literatuur, waardoor er een verwarrend beeld ontstaat. De verschillende conceptualisaties van kwaliteit die in de literatuur voorkomen worden geanalyseerd. Er wordt aangetoond dat de discussies over de meest geschikte kwaliteitscriteria voor de output van peer assessment teruggebracht kunnen worden naar de onderliggende verschillen in doelen. Het meest voor de hand liggende doel van peer assessment is het gebruik als assessment middel. Het leerdoel van peer assessment is ook breed gekend. Nader onderzoek van de literatuur levert drie bijkomende doelen op: vestigen van sociale controle in de leeromgeving; voorbereiden van studenten op zelfcontrole en zelfregulatie bij levenslang leren; en actieve participatie van studenten of leerlingen in de klas. Elk van deze doelen resulteert in andere kwaliteitscriteria. Er wordt beargumenteerd dat enkel de criteria die congruent zijn met het doel dat men nastreeft overwogen moeten worden wanneer men de kwaliteit van peer assessment evalueert. De derde bijdrage start van de vaststelling dat, samen met de expansie van het peer assessment onderzoek in het laatste decennium, ook de diversiteit van de peer assessment toepassingen exponentieel gestegen is. Deze diversiteit stelt problemen voor zowel gebruikers als onderzoekers van peer assessment. Er wordt een inventaris voor peer assessment diversiteit ontwikkeld die interessant kan zijn voor gebruikers, als checklist voor belangrijke beslissingen die genomen moeten worden of als overzicht van mogelijke alternatieven voor een specifieke toepassing, en voor onderzoekers, als een leidraad voor welke informatie te verschaffen over de details van hun peer assessment ontwerp. De vierde bijdrage vergelijkt de impact van peer feedback en leerkrachtfeedback op het leren en behandelt de vraag of peer feedback kan fungeren als een vervanging van expertenfeedback. Een pretest posttest controlegroep design onderzoekt de langetermijneffectenvan individuele peer feedback en collectieve leerkrachtfeedback op schrijfopdrachten in het secundair onderwijs (N=85). Bovendien onderzoekt het de meerwaarde van twee maatregelen om de repons van de feedbackontvanger op peer feedback te ondersteunen: een a priori twijfelformulier en een a posteriori repliekformulier. De studie toont aan dat er geen significant verschil is tussen de leerlingen in de conditie met enkel vervangende peer feedback en de controleconditie met leerkrachtfeedback wat betreft vooruitgang in punten op de opstellen. Beide groepen (enkel peer feedback én leerkrachtfeedback) blijken echter significant minder vooruitgang te maken dan de groepen in de ‘uitgebreide’ feedbackcondities met het twijfel- of repliekformulier. De vijfde bijdrage onderzoekt een groep van 68 eerstejaars leerlingen in het secundair onderwijs die een formatieve peer assessment hebben meegemaakt voor drie opeenvolgende schrijftaken. Ze zijn opgedeeld in twee experimentele condities (dezelfde als de ‘uitgebreide’ feedbackcondities in de vorige bijdrage) en een controlegroep met enkel peer feedback. De vooruitgang van leerlingen in schrijfprestaties wordt onderzocht ten opzichte van de mate van constructief zijn van de peer feedback die ze gaven en ontvingen, en ten opzichte van de conditie waartoe ze behoorden. Het effect van het constructief zijn van feedback wordt bestudeerd vanuit twee richtingen: vanuit het standpunt van de ontvanger van peer feedback (‘assessment for learning’) en vanuit het standpunt van de feedbackgever (‘assessing for learning’). De resultaten van de analyse van herhaalde metingen tonen een significant positief effect van de samenstelling van de ontvangen peer feedback op leerlingprestaties. Het constructief zijn van de feedback die leerlingen zelf verschaften blijkt daarentegen geen positief effect te hebben op hun leren. Globaal genomen is de feedback echter weinig constructief. Mogelijke barrières die leerlingen hebben weerhouden om goede feedback te geven, en oplossingen ervoor, worden besproken in de paper. Tot slot kan de studie het effect van conditie dat gevonden werd in de vierde bijdrage van dit proefschrift niet repliceren. De zesde bijdrage vergelijkt de sterktes en zwaktes van peer feedback en docentfeedback vanuit het perspectief van de student. De studie is gesitueerd in een universiteitsvak met 192 eerstejaarssstudenten in de pedagogische wetenschappen. Algemene, collectieve docentfeedback op de kladversies van een reeks cumulatieve opdrachten wordt gecomplementeerd met een formatief peer assessment systeem. Startend van een hypothetisch opgelegde keuze worden de gepercipieerde kenmerken van beide bronnen van feedback in de diepte onderzocht, evenals hun gepercipieerde bijdrage aan een leeromgeving die tegemoet komt aan de behoeften van de lerende. Deze perspectieven worden aangevuld met de redenen die studenten rapporteren om één van beide bronnen van feedback te prefereren. Gesloten vragenlijst-items worden getrianguleerd met kwalitatieve data van open vragen. De resultaten tonen dat bij benadering de helft van de studenten bereid is om de geloofwaardigheid van docentfeedback in te ruilen voor de specificiteit van peer feedback als ze moeten kiezen. Beide bronnen van feedback blijken echter hun eigen sterktes en zwaktes te hebben vanuit het perspectief van de student. Ze zijn complementair en ze creëren zelfs de voorwaarden waaronder de complementaire bron sterker wordt. The dissertation includes three theoretical contributions and three empirical studies on peer assessment, a general introduction and final reflections including a discussion of the results, a discussion of the educational implications and a discussion of some methodological issues. The first contribution delineates the role that peer assessment can play in raising the consequential validity of an assessment system. First, it clarifies the type of effects that assessment in general can have on learning, and formulates the design principles for increasing the consequential validity of an assessment system. Then, it is shown that peer assessment helps to meet the identified design principles that enhance consequential validity of an ‘assessment system’. More specifically, this dissertation shows that peer assessment can make it more feasible to include challenging and authentic tasks in one’s assessment system; it can help making the assessment demands more clear to the students; it can provide a supplement or a substitute for formative staff assessment; and finally, it can support the response to teacher feedback. The second contribution goes beyond the impact of peer assessment on the consequential validity, and addresses the problem that the output of peer assessment is evaluated against a variety of quality criteria in the literature, resulting in a cluttered picture. The different conceptualisations of quality that appear in the literature are analysed. It is shown that discussions about the most appropriate quality criteria for the output of peer assessment should be brought back to the underlying differences in goals. The most obvious goal is its use as an assessment tool. The learning goal of peer assessment has also been well-established. Investigating the literature more closely yields three additional goals: installation of social control in the learning environment; preparation of students for self-monitoring and self-regulation in lifelong learning; and active participation of students in the classroom. Each of these goals results in different quality criteria. It is argued that only the criteria that are congruent with the goal that one is trying to achieve should be considered when evaluating the quality of peer assessment. The third contribution starts from the observation that, together with the expansion of peer assessment research in the last decade also the diversity of peer assessment practices has increased exponentially. This diversity poses difficulties for practitioners as well as researchers. An inventory of peer assessment diversity is developed that may be of interest to practitioners, as a checklist of important decisions to take or an overview of possible alternatives to a specific practice, and to researchers, as a guideline of which information to provide on the particularities of their peer assessment design. The fourth contribution compares the impact of peer feedback and teacher feedback on student learning, addressing the question whether peer feedback can serve as a substitute for expert feedback. A pretest posttest control group design examines the long term learning effects of individual peer feedback and collective teacher feedback on writing assignments in secondary education ( N =85). Moreover, it examines the added-value of two measures to support the response of the assessee to peer feedback: an a priori question form and an a posteriori reply form. The study shows no significant difference in students’ progress on essay marks between the condition with plain substitutional peer feedback and the control condition with teacher feedback. However, both groups (plain peer feedback ànd teacher feedback) appear to make significantly less progress then the groups in the ‘extended’ feedback conditions with the question or the reply form. The fifth contribution examines a group of 68 first year students in secondary education who experienced formative peer assessment for three successive writing assignments. They are divided in two experimental conditions (similar to the ‘extended’ feedback conditions in the previous contribution) and a control condition with plain peer feedback. Students’ progress in writing performance is examined against the constructiveness of the peer feedback they gave and received, and against the condition in which they participated. The effect of the constructiveness of feedback is studied from two directions: from the point of view of the receiver of the peer feedback (‘assessment for learning’) and from the point of view of the assessor who gave peer feedback (‘assessing for learning’). The results of a repeated measures analysis show a significant positive effect of the composition of the received peer feedback on student performance. The constructiveness of feedback that students provided themselves is not found to improve their learning. However, the overall level of constructiveness of the feedback is low. Possible barriers preventing students from providing good feedback, and solutions to these, are discussed in the paper. Finally, the study cannot replicate the effect of condition that was found in the fourth contribution. The sixth contribution compares strengths and weaknesses of peer feedback and staff feedback, from the student’s perspective. The study is situated in a university course with 192 first year students in educational sciences. Generic, collective staff feedback on the draft versions of a series of cumulative assignments is complemented with a formative peer assessment system. Starting from a hypothetical forced choice, a further in-depth study addresses the perceived characteristics of both sources of feedback and their perceived contribution to a learning environment that attends the learner’s needs. These perspectives are complemented with reasons reported by students to prefer one of both sources of feedback. Closed-ended questionnaire items are triangulated with qualitative data from open-ended questions. Results show that approximately half of the students were willing to trade in the credibility of staff feedback for the specificity of peer feedback if they have to choose. However, both sources of feedback show to have their own strengths and weaknesses from the student’s perspective. They are complementary and they even provide the conditions under which the complementary source becomes better. Doctor in de Pedagogische Wetenschappen Centrum voor Opleidingsdidactiek Onderzoekseenheid Pedagogische Wet. Faculteit Psychologie en pedagogische wetenschappen Doctoral thesis Doctoraatsthesis
Article
This article presents a thematic analysis of the research evidence on assessment feedback in higher education (HE) from 2000 to 2012. The focus of the review is on the feedback that students receive within their coursework from multiple sources. The aims of this study are to (a) examine the nature of assessment feedback in HE through the undertaking of a systematic review of the literature, (b) identify and discuss dominant themes and discourses and consider gaps within the research literature, (c) explore the notion of the feedback gap in relation to the conceptual development of the assessment feedback field in HE, and (d) discuss implications for future research and practice. From this comprehensive review of the literature, the concept of the feedback landscape, informed by sociocultural and socio-critical perspectives, is developed and presented as a valuable framework for moving the research agenda into assessment feedback in HE forward.
Article
Since Topping published his literature review on peer assessment in 199846. Topping , K. 1998 . Peer assessment between students in colleges and universities . Review of Educational Research , 68 : 249 – 76 . [CrossRef], [Web of Science ®]View all references, the number of studies on this subject has doubled, if not tripled. However, along with this expansion, the diversity of peer assessment applications increased equally fast. Based on recent literature, this contribution focuses specifically on the diversity that has come to exist in order to update Topping's typology, adding eight variables, extending eight others with extra sub‐dimensions, and including the implementation factors. Five original variables were absorbed into larger entities, leaving 20 variables which were finally grouped into five clusters. For teachers or advisors, this inventory may be of interest as a source of inspiration or as a checklist of important decisions to make when working with peer evaluation. For researchers, it may be a guide towards covering the full scope of particularities when introducing their peer assessment design. Moreover, the framework developed in this paper might relieve the possible confusion originating from the use of a single term to cover a multitude of sometimes incompatible practices.
Article
The theory of formative assessment outlined in this article is relevant to a broad spectrum of learning outcomes in a wide variety of subjects. Specifically, it applies wherever multiple criteria are used in making judgments about the quality of student responses. The theory has less relevance for outcomes in which student responses may be assessed simply as correct or incorrect. Feedback is defined in a particular way to highlight its function in formative assessment. This definition differs in several significant respects from that traditionally found in educational research. Three conditions for effective feedback are then identified and their implications discussed. A key premise is that for students to be able to improve, they must develop the capacity to monitor the quality of their own work during actual production. This in turn requires that students possess an appreciation of what high quality work is, that they have the evaluative skill necessary for them to compare with some objectivity the quality of what they are producing in relation to the higher standard, and that they develop a store of tactics or moves which can be drawn upon to modify their own work. It is argued that these skills can be developed by providing direct authentic evaluative experience for students. Instructional systems which do not make explicit provision for the acquisition of evaluative expertise are deficient, because they set up artificial but potentially removable performance ceilings for students.
Peer assessment as a tool for learning
  • S Gi07 ] Gielen
  • U Heublein
  • J Richter
  • R Schmelzer
  • D Sommer
[Gi07] Gielen, S.: Peer assessment as a tool for learning, 2007. [He12] Heublein, U.; Richter, J.; Schmelzer, R.; Sommer, D.: Die Entwicklung der Schwund-und Studienabbruchquoten an den deutschen Hochschulen: statistische Berechnungen auf der Basis des Absolventenjahrgangs 2010. In: HIS: Forum Hochschule, Vol. 3/2012, Hannover, 2012; S. 22. [Sa89]
Assessment Matters: Self-Assessment and Peer Assessment
  • D Spiller
Spiller, D.: Assessment Matters: Self-Assessment and Peer Assessment, 2012; S. 10 -URL: http://www.waikato.ac.nz/tdu/pdf/booklets/9_SelfPeer-Assessment.pdf, (04/2014). -tion, Vol. 20, Issue 4, 2010; S. 270 -279. Förderungshinweis: Dieses Vorhaben wird aus Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen 01PL11024 (Projekt QuL) gefördert.