ArticlePDF Available

Individuelle Noten aus kollaborativer Arbeit

Authors:

Abstract and Figures

In Gruppen arbeiten zu können, ist eine der wichtigsten Fertigkeiten, die in der Ausbildung trainiert und in die Arbeitswelt mitgenommen werden können. Ein großer Teil aller komplexeren Vortrags-und Schreibaufgaben in Schule und Universität kann von Gruppenarbeit profitieren. Ein Problem von Gruppenarbeit ist jedoch, dass Lernende individuelle Anerkennung ihrer persönlichen Leistung erwarten und Lehranstalten individuelle Noten aus administrativen-28-Gründen verlangen, die Kursleitung aus der Beurteilung des Ergebnisses aber nur eine einzige Note für die ganze Gruppe hat. Dieser Beitrag diskutiert die seit den 1990er Jahren entwickelten verschiedenen Möglichkeiten zur individuellen Benotung von Gruppenmitgliedern unter Einbeziehung gegenseitiger Bewertung (peer assessment). Auf dieser Grundlage wird eine neue Methode vorgestellt, die aufgrund der Kombination aus summativer Evaluation durch Kursleiter mit formativer Bewertung durch Mitglieder der eigenen Arbeitsgruppe zu fairen, validen und reliablen individuellen Noten führen kann. Die gesamte Verwaltung von der Gruppenverteilung über die Peer Bewertung bis hin zur Berechnung der individualisierten Noten erfolgt über ein webbasiertes Computerprogramm. Durch eine für Smartphones optimierte Benutzeroberfläche wird maximale Benutzerfreundlichkeit erreicht, der Verwaltungsaufwand auf ein Minimum reduziert und die erfolgreiche Kommunikation formativer Rückmeldungen an die Gruppenmitglieder sichergestellt. Schlüsselwörter Gruppenarbeit; individuelle Noten; peer assessment; Methodik; Fremdsprachenunterricht-29-1. Problemaufriss
Content may be subject to copyright.
- 27 -
Individuelle Noten aus kollaborativer Arbeit
Wolfgang Odendahl (吳沃)*
摘要
學會小組合作,不僅是在學生時期可以習得最重要的技能之一,對於職涯也極有助
益。小組合作,對於完成複雜的習題,如書面及口頭報告,很有幫助。儘管如此,評分卻
是小組合作的難題之一,因為學習者及校方需要個別成績,但授課教師只能根據各個小組
的成品做出總結性評量,並給予單一分數。
本文首先討論評量小組成員個別分數的各種方法,相關討論自90年代即開始發展,即
已將同儕評量 (
peer assessment
) 納入範疇。根據既有研究成果,本文提出新的方法,
結合教師訂定的總結性評量和小組成員互評的形成性評量,產生公平、並具有效度和信度
的個別分數。此外,小組作業的所有管理工作程序,從分組開始到個別分數估算,將仰賴
網路上的電腦程式。藉由提供優化智慧型手機的介面,此程式確保使用者操作時的便
性、最低限度的行政負擔,也確保有效地傳達小組成員之互評訊息。
關鍵詞: 小組合作;個別分數;同儕評量;方法論;外國語文教學
Abstract
In Gruppen arbeiten zu können, ist eine der wichtigsten Fertigkeiten, die in der Ausbildung
trainiert und in die Arbeitswelt mitgenommen werden können. Ein großer Teil aller komplexeren
Vortrags- und Schreibaufgaben in Schule und Universität kann von Gruppenarbeit profitieren.
Ein Problem von Gruppenarbeit ist jedoch, dass Lernende individuelle Anerkennung ihrer
persönlichen Leistung erwarten und Lehranstalten individuelle Noten aus administrativen
- 28 -
Gründen verlangen, die Kursleitung aus der Beurteilung des Ergebnisses aber nur eine einzige
Note für die ganze Gruppe hat.
Dieser Beitrag diskutiert die seit den 1990er Jahren entwickelten verschiedenen
Möglichkeiten zur individuellen Benotung von Gruppenmitgliedern unter Einbeziehung
gegenseitiger Bewertung (peer assessment). Auf dieser Grundlage wird eine neue Methode
vorgestellt, die aufgrund der Kombination aus summativer Evaluation durch Kursleiter mit
formativer Bewertung durch Mitglieder der eigenen Arbeitsgruppe zu fairen, validen und
reliablen individuellen Noten führen kann. Die gesamte Verwaltung von der Gruppenverteilung
über die Peer Bewertung bis hin zur Berechnung der individualisierten Noten erfolgt über ein
webbasiertes Computerprogramm. Durch eine für Smartphones optimierte Benutzeroberfläche
wird maximale Benutzerfreundlichkeit erreicht, der Verwaltungsaufwand auf ein Minimum
reduziert und die erfolgreiche Kommunikation formativer Rückmeldungen an die
Gruppenmitglieder sichergestellt.
Schlüsselwörter
Gruppenarbeit; individuelle Noten; peer assessment; Methodik; Fremdsprachenunterricht
- 29 -
1. Problemaufriss
Teamwork ist eine wichtige Fertigkeit, die in Wissenschaft, Forschung und Industrie
gleichermaßen gefragt ist. Komplexe Unternehmungen von der Erforschung des Klimawandels
über die Organisation von Stromnetzen beim Einsatz alternativer Energiequellen bis hin zur
Entwicklung von Software erfordern die Zusammenarbeit in Gruppen und von Gruppen
untereinander, um effizient abgewickelt werden zu können. Die prozedurale Organisation von
Arbeit ist dabei ebenso wichtig wie das Ergebnis. Daher ist der Einsatz von Gruppenarbeit im
Unterricht nicht nur aus unterrichtsinternen Effizienzerwägungen, sondern auch mit Blick auf die
moderne Arbeitswelt wichtig und wünschenswert (vgl. Lehker, 2003, S. 566).
Abgesehen von einem Zugewinn an Effizienz sind die vielfältigen positiven Auswirkungen
von sorgfältig geplanter und angemessen eingesetzter Gruppenarbeit auf den Lernprozess in
zahlreichen Publikationen beschrieben worden (s. z. B. Johnson, Johnson, & Smith, 1991;
Springer, Stanne, & Donovan, 1999). Gruppenarbeit fördert studentisches Engagement, erlaubt
die Bearbeitung komplexerer Aufgaben und reduziert den Korrekturaufwand für längere und
komplexe Aufgaben (vgl. Gibbs, 2009, S. 1). Schon durch die einfache Steigerung in Anzahl und
Qualität von Ideen hat sie positive Auswirkungen auf Fertigkeiten und Kompetenzen der
Teilnehmer, wie z. B. Problemlösungsverhalten und Brainstorming (Slavin, 1980, S. 335).
Dieser Beitrag thematisiert im Bereich der Fremdsprachendidaktik die gegenseitige
Bewertung durch die Mitglieder von kollaborativen
1
Arbeitsgruppen (engl. peer assessment
2
, in
1
Der Begriff wird hier in dem Sinne verwendet, dass alle GM gemeinsam an allen Aspekten des Endprodukts
arbeiten und unterscheidet sich von kooperativer Arbeit, die die Zusammenstellung unabhängig erstellter
Teilstücke erlaubt (vgl. Odendahl, 2007, S. 102103).
2
Oft wird auch der Begriff peer evaluation verwendet. Die Trennung zwischen den weitgehend auch in der
deutschen Fachliteratur übernommenen englischen Termini assessment und evaluation ist unscharf. Cross und
Angelo (1988, S. 75) definieren Assessment als formativ, prozessorientiert und diagnostisch, während
Evaluation eher summative Tests bezeichne, die am Ende einer Lerneinheit das neu erworbene Wissen in
Quantität und Qualität beurteilen. Nach dieser Definition charakterisiert Assessment Bewertungsverfahren, die
- 30 -
der Folge Peer Bewertung), um individuelle Noten für gemeinsam erstellte Arbeiten zu
gewinnen. Nach einer zusammenfassenden Diskussion der bisherigen Forschung und der zum
Teil hochkomplexen Lösungsansätze für die immer wieder auftretenden Probleme wird ein
praktisch anwendbares System zur gegenseitigen Bewertung und der daraus resultierenden
individuellen Anpassung der Ergebnisnote entworfen. Dabei bewertet die Kursleitung (KL) die
Endprodukte und Gruppenmitglieder (GM) bewerten den Entstehungsprozess.
Beim Einsatz von Gruppenarbeit gibt es allerdings eine Reihe von Schwierigkeiten, zu denen
auch das Problem der individuellen Leistungsmessung und -Beurteilung gehört. Obwohl
Untersuchungen zum Thema Gruppenarbeit immer wieder zeigen, dass die Mitglieder von
Arbeitsgruppen individuelle Anerkennung ihrer Leistung einfordern (Goldfinch & Raeside,
1990, S. 222; Loddington, Pond, Wilkinson, & Willmot, 2009, S. 330; Neus, 2011, S. 302;
Spatar, Penna, Mills, Kutija, & Cooke, 2015, S. 372) und schon seit langem als bewiesen gelten
kann, dass die Vergabe von Gruppennoten demotivierend und kontraproduktiv wirkt, ist es noch
immer weit verbreitete Praxis, allen Gruppenmitgliedern die Ergebenisnote zu geben, also die
Note, die ihr gemeinsam erstelltes Produkt in der summativen Beurteilung durch die KL erreicht
hat. Dies ist einerseits darauf zurückzuführen, dass die Kriterien für eine Vergabe von
individuellen Noten bei Gruppenarbeiten nicht unumstritten sind, andererseits vor allem auch
darauf, dass die Vergabeverfahren komplex sein können und der hohe Aufwand die durch
Gruppenarbeit erzielten Effizienz-Vorteile zunichtemacht.
1.1 Begriffsklärungen
1.1.1 Formative und summative Evaluation
Die Evaluation meist in Form einer Benotung studentischer Arbeiten kann in ihrer
Zielsetzung summativ oder formativ sein. Summative Evaluation steht am Ende eines
Lernprozesses und misst den Lernerfolg anhand der demonstrierten Fertigkeiten. Da die
summative Evaluation souveräne Kompetenz auf Seiten Beurteilender voraussetzt, wird sie von
dem Lernprozess förderlich sind, während Evaluation Prüfungen zur Feststellung des Lernerfolgs bezeichnet
(vgl. Bachman, 1990, S. 62; Orsmond & Merry, 1996, S. 240).
- 31 -
der KL geplant und in der Regel auch durchgeführt. Eine formative Evaluation hilft Lernenden,
indem ihnen während des Lernprozesses Rückmeldung über den Erfolg der von ihnen
eingesetzten Strategien gegeben wird, damit sie ihr Verhalten entsprechend zielorientiert
anpassen können. Wenn Konsens über zielführende Verhaltensweisen herrscht, kann formative
Evaluation auch von Mit-Lernenden (Peers) und sogar selbstbezüglich durchgeführt werden.
Dabei ist ein globales Urteil über konventionelle Aufgaben besser zur Peer Bewertung geeignet
als ein detaillierter Kriterienkatalog (Gibbs, 2009, S. 2, 8). Das Ziel summativer Evaluation ist
also, anhand des Ergebnisses Beweise für den Lernerfolg zu sichern, während das Ziel
formativer Evaluation ist, den Prozess des Lernens begleitend zu verbessern (vgl. Burke, 2010,
S. 2022; Nieveen & Folmer, 2013, S. 158).
1.1.2 Gruppenarbeit und kollaboratives Lernen
Kollaboratives Lernen kann definiert werden als ein Paradigma für Schulungen, bei dem
Arbeitsgruppen von Lernenden an strukturierten Aufgaben arbeiten, zum Beispiel Hausaufgaben,
Laborexperimenten, Aufsätzen oder Präsentationen. Fünf Kriterien gelten als kritisch für
kollaboratives Lernen: Positive Interdependenz, persönliche Verantwortlichkeit, direkte
persönliche Interaktion, angemessener Einsatz von kollaborativen Fertigkeiten und regelmäßige
Selbstevaluation zur Funktionsfähigkeit der Gruppe (Ohland, Layton, Loughry, & Yuhasz, 2005,
S. 319; Büttner, Warwas, & Adl-Amini, 2012, S. 2; Odendahl, 2015, S. 121).
Gruppenarbeit muss nicht unbedingt zu einem besseren Ergebnis führen als individuelle
Arbeit. Im Gegenteil hat man schon früh festgestellt, dass Faktoren wie das Bedürfnis, die eigene
Leistung an die der anderen GM anzupassen, die subjektive Wahrnehmung, die anderen GM
arbeiteten nicht hart genug, Trittbrettfahren oder unklare Aufgabenstellung zu Ergebnissen
führen, die deutlich schlechter sind als die Summe individueller Leistung (Latane, Williams, &
Harkins, 1979, S. 829830). Neben einer adäquaten Aufgabenstellung (vgl. Eccles & Roeser,
2004, S. 410; Odendahl, 2015, S. 119) ist daher die individuelle Verantwortung für die eigene
Leistung jedes einzelnen GM ein Kernfaktor für das Funktionieren von Gruppenarbeit (Gibbs,
2009, S. 3).
- 32 -
1.2 Notwendigkeit individueller Noten bei Gruppenarbeit
Seit mehr als drei Jahrzehnten beschäftigen sich Didaktiker aller Fachrichtungen mit den
Problemen, die die Vergabe einer gemeinsamen Note für Gruppenarbeiten mit sich bringt.
Möglichkeiten zur Verhinderung jedes dieser Probleme sind ebenfalls gut dokumentiert. In
seiner Aufarbeitung der neueren Forschungsliteratur stellt G. Gibbs fest:
Allocating a single group mark to all members of a group rarely leads to appropriate
student learning behaviour, frequently leads to freeloading, and so the potential learning
benefits of group work are likely to be lost, and in addition students may, quite
reasonably, perceive their marks as unfair (Gibbs, 2009, S. 1).
Gibbs sieht in einer als gerecht empfundenen Anerkennung der individuellen Beiträge die
Grundvoraussetzung für positive Auswirkungen von Gruppenarbeit auf die Motivation der
Lernenden. Eine einzelne Gruppennote für kollaborativ entstandene Werke zu vergeben, kann zu
Trittbrettfahren
3
führen und die positiven Effekte der Gruppenarbeit zunichtemachen. Dies ist in
zweifacher Hinsicht ein Problem, weil erstens Trittbrettfahrer eine Note bekommen, die sie nicht
verdient haben und zweitens, weil das Ergebnis einer Gruppenarbeit mit Trittbrettfahrern
schlechter ausfallen wird als wenn jedes GM seinen Teil der Arbeit täte. Alle GM wissen, dass
die Ergebnisnote jeder Gruppenarbeit zum großen Teil von der Arbeit der anderen Mitarbeiter
abhängig ist. Mitglieder von dysfunktionalen Arbeitsgruppen können daher leicht zu der
Schlussfolgerung kommen, dass es für sie persönlich sinnvoller sei, ihre verfügbaren
Arbeitsstunden auf andere Kurse zu verwenden, die ihre individuellen Bemühungen bewerten
(vgl. Gibbs, 2009, S. 5).
1.3 Fragestellungen
Eine Kombination aus summativer und formativer Bewertung sowohl des Ergebnisses als
auch des Prozesses von Gruppenarbeit ermöglicht die Vergabe von fairen individuellen Noten.
Dabei fungiert die Peer Bewertung des Prozesses als Multiplikator zur Anpassung der
3
Mit Trittbrettfahren ist hier das Phänomen gemeint, dass einzelne GM sich nicht aktiv und konstruktiv an der
Gruppenarbeit beteiligen, sondern sich auf die Arbeit der anderen verlassen.
- 33 -
Ergebnisnote und liefert den GM gleichzeitig formative Rückmeldung über die Qualität der
eigenen Mitarbeit. Ziel dieses Beitrags ist, mit Hilfe von Peer Bewertungen zu individuellen
Noten zu gelangen und dafür ein System zu finden, das ausreichend transparent und valide ist,
um das Bedürfnis der Lernenden nach fairer individueller Anerkennung der eigenen Leistung zu
befriedigen. Dieses System muss dabei aber ressourcenschonend in Bezug auf Arbeits- und
Zeitaufwand sein, um den Arbeitsaufwand der KL nicht zu erhöhen.
Die leitenden Fragestellungen sind dabei:
Welche Methoden zur individuellen Benotung von Gruppenarbeit gibt es?
Wie hoch ist jeweils der Aufwand für die Implementierung dieser Methoden?
Welches Konzept verspricht eine ideale Balance von Kosten und Nutzen?
Dieser Fragestellung liegen die Arbeitshypothesen zugrunde, dass a) gesteuerte
Gruppenarbeit mit transparenten, formativen Rückmeldungen die individuelle Progression der
GM bei gleichzeitiger Reduzierung des Arbeitsaufwandes für die KL fördert, b) Peer Bewertung
ein angemessenes Mittel zur Gewinnung individueller Noten aus Gruppenarbeit ist,
c) Kursteilnehmer selbst noch nicht in der Lage sind, die Qualität von Endergebnissen
angemessen zu beurteilen und d) die Peer Bewertung sich deshalb auf formative Aussagen über
das Verhalten der GM während des Arbeitsprozesses beschränken sollte. Dies Hypothesen sollen
in der Folge zunächst erörtert werden, bevor ein neues Bewertungswerkzeug vorgestellt wird.
2. Bezugsgruppenevaluation (Peer Bewertung)
Generell lässt sich Gruppenarbeit als Prozess oder als Ergebnis betrachten. Kursleiter
vergeben als Ergebnisbewertung eine Gesamtnote, die den Erfolg der kollaborativen Arbeit
summativ bewertet. Die Prozessbewertung, die den Entstehungsprozess und die individuellen
Beiträge der einzelnen Gruppenmitglieder reflektiert, basiert stets auf einer gegenseitigen
Bewertung innerhalb der Gruppe. Dabei unterscheidet man zwei Arten Peer Bewertung. Wovon
im Rahmen dieses Beitrags nicht die Rede sein soll, ist die Beurteilung eines Endprodukts z. B.
eines Vortrags, einer Präsentation, eines Aufsatzes etc. durch die Zuhörer, Zuschauer oder
Leser. Thematisiert werden soll hier stattdessen die gegenseitige Rückmeldung durch Mitglieder
der eigenen Arbeitsgruppe darüber, wie sie den Prozess der Zusammenarbeit bis zur Entstehung
- 34 -
des gemeinsamen Endprodukts empfunden haben. Das Ziel dieser Peer Bewertung ist die
Vergabe fairer individueller Noten durch Einbeziehung des Entstehungsprozesses und der
individuellen Qualität der Zusammenarbeit.
2.1 Soll die Peer Bewertung in die individuelle Note einfließen?
Peer Bewertung könnte auch aus rein formativen Gründen durchgeführt werden, ohne dass
das Ergebnis die individuellen Noten der Teilnehmer beeinflusst. Diese Art des Einsatzes wird
jedoch aufgrund des mit der Peer Bewertung verbundenen Aufwandes, seiner relativen
Folgenlosigkeit (low stakes) für die Bewertenden und der nicht unbedingt gegebenen Akzeptanz
des Ergebnisses durch die Bewerteten auf wenige Instanzen pro Semester beschränkt sein. Peer
Bewertungen mit dem Ziel, den Arbeitsprozess in die Notengebung mit einzubeziehen, bieten ein
wesentlich besseres Verhältnis zwischen Aufwand und Ertrag, wobei die Möglichkeit der
formativen Wirkung einer Bewertung durch die Mitglieder der eigenen Arbeitsgruppe erhalten
bleibt. Darüber hinaus kann als erwiesen gelten, dass sich die Beteiligung der Teilnehmer an dem
Benotungsprozess positiv auf ihr Engagement in kollaborativer Arbeit auswirkt (Kench, Field,
Agudera, & Gill, 2009, S. 158165; Weaver & Esposto, 2012, S. 805816).
Die meist genutzte Möglichkeit, Peer Bewertungen in die individuelle Note einfließen zu
lassen, ist die prozentuale Verteilung, bei der zum Beispiel 70% der Note durch das von der KL
festgestellte summative Ergebnis bestimmt wird und 30% durch die Peer Bewertung. Häufig
verwendet man eine Variante dieses Verfahrens, bei der der Gruppe eine Gesamtpunktzahl
zugewiesen wird, die die Mitglieder sich gegenseitig nach eigenem Ermessen zuteilen können.
Bei dieser Gesamtpunktzahl handelt es sich entweder um das Produkt aus Ergebnisnote
multipliziert mit der Anzahl der GM (Habeshaw, Gibbs, & Habeshaw, 1993, S. 171) oder
pauschal 100 Punkten pro GM (Brooks & Ammons, 2003, S. 272).
2.2 Kriterien zur gegenseitigen Bewertung der individuellen Beiträge
Die KL stellt Aufgaben, die progressiv trainierend auf das nächste Lehrziel hinführen. Die
summative Beurteilung, ob die Lösungen, die Lernende für diese Aufgaben erarbeitet haben,
inhaltlich und qualitativ den Anforderungen entsprechen, obliegt ebenfalls der KL, da Lernende
- 35 -
per Definition noch nicht in der Lage sind, die Qualität von Arbeiten über den Stoff, den sie
gerade lernen, zu beurteilen. Welche Kriterien können also einer Peer Bewertung zugrunde
liegen?
Goldfinch und Raeside setzen einen zweiteiligen Peer Bewertungsbogen ein (1990, S. 226
227). Im ersten Teil ordnen die Peers ihre Mitarbeiter nach der Qualität ihrer Beiträge zu den
erforderlichen Arbeitsschritten in einer Tabelle, indem sie neben den Arbeitsschritten die Namen
der GM hierarchisch geordnet auflisten. Aus der Häufigkeit und der Position der
Namensnennungen ergibt sich der erste Bewertungsfaktor, der durch einen zweiten Fragebogen
mit sieben Kriterien und jeweils vier möglichen Noten ergänzt wird.
4
Da die Autoren Beiträge zum Funktionieren der Gruppenarbeit doppelt so wichtig
einschätzen wie die Frage, wer was getan hat, werden Gewichtungen eingesetzt, die die relative
Bedeutung der einzelnen Kriterien zueinander widerspiegeln sollen (Goldfinch & Raeside, 1990,
S. 214). Aus der Kombination dieser Bewertungen ergibt sich ein Multiplikator, der die von der
KL für das Endergebnis vergebene Note entsprechend der Peer Bewertungen modifiziert und so
zu individuellen Noten führt.
4
Die sieben Kriterien lauten für ein Experiment in Qualitätsmanagement:
“Degree of participation”, “Leadership of group”, “Suggestor of ideas”, “Ability in understanding what was
required”, “Ability in doing the analysis/computation”, “Consolidating and interpreting results”, “Sorting out
problems”. Diese Kriterien werden von Fall zu Fall angepasst. Bei dem Thema Mathematische Modelle sind
die Kriterien zum Beispiel: “Overall level of participation”, “Understanding what was required”, Suggesting
ideas”, “Extracting something useful from the ideas”, “Performing routine tasks”, “Consolidating (ie. drawing
things together)”, “Keeping the group going, particularly in difficult patches” und “Sorting out problems”.
Die Bewertungsskala rangiert von “0 – didn’t contribute in this way” über “1 – willing but not very successful”,
“2 – average”, “3 – above average” bis zu “4 – outstanding” (Goldfinch & Raeside, 1990, S. 227 u. 231).
- 36 -
Abb. 1: Diagramm zur Berechnung der individuellen Note aus einer Gruppennote (Goldfinch & Raeside,
1990, S. 223)
Dieses Schema, das als archetypisch für die kriterienbasierte Peer Bewertung gelten darf
(Spatar u. a., 2015, S. 372), führt bei korrekter Implementierung zu fairen Noten. Allerdings ist
es mit zwei
5
großen Nachteilen behaftet, namentlich der steilen Lernkurve sowohl für das
Ausfüllen als auch für die Auswertung der komplexen Fragebögen als auch der Tatsache, dass
überdurchschnittlich aktive GM mit einer individuellen Note von über 100% der Ergebnisnote
belohnt werden können. Ungeachtet dessen dient Goldfinch & Raesides Multiplikator-Verfahren
der Mehrheit der nachfolgenden Forschung als Basis für eigene Neuentwicklungen.
Goldfinch (1994) stellt einen universell einsetzbaren Kriterienkatalog vor, der das Verhalten
der GM während ihrer gemeinsamen Arbeit beurteilt. Dieser Katalog wird von der späteren
Forschung konkretisiert und mit inhaltlich erklärenden Kommentaren versehen, die den Peers die
Anwendung erleichtern sollen.
5
Die komplexe und daher auch fehleranfällige Berechnung der PA Faktoren und deren anschließende
Multiplikation mit der Ergebnisnote ist heutzutage durch die Existenz von Tabellenkalkulation oder
Computerprogrammen kein Argument gegen den Einsatz dieser Methode mehr. Da aber dennoch zwei separate
Peer Bewertungs-Fragebögen ausgewertet werden müssen, bevor der Multiplikator feststeht, der mit der
Ergebnisnote verrechnet werden kann, ist der Aufwand weiterhin sehr hoch.
- 37 -
Motivation, Verantwortungsbewusstsein, Zeitplanung
Arbeitet regelmäßig, ist zu den verabredeten Zeiten anwesend, übernimmt einen fairen Anteil an der
Gesamtarbeit und wird verlässlich rechtzeitig fertig.
Anpassungsfähigkeit
Verfügt über eine Reihe von verschiedenen Fertigkeiten, akzeptiert schnell neue Lösungswege und
konstruktive Kritik.
Kreativität, Originalität
Löst Probleme, bringt neue Ideen ein, leitet Gruppenentscheidungen ein.
Kommunikation
Kann gut mit Diagrammen, Grafiken, Dokumentationen umgehen und effektiv diskutieren. Guter Zuhörer,
fähig bei Präsentationen.
Gruppenverhalten
Positive Einstellung, ermutigt andere, steht hinter den Entscheidungen, die die Gruppe getroffen hat und
strebt nach Konsens.
Technisches Geschick
Schlägt technische Lösungen für Probleme vor, kann eigene Gestaltungsvorschläge machen.
Abb. 2: Ausführlicher Kriterienkatalog zur Peer Bewertung (nach Lejk & Wyvill, 2001b, S. 553; vgl. Sharp,
2006, S. 334)
Außer dem Inhalt der Bewertungskriterien ist es auch wichtig, diese so zu formulieren, dass
sie für GM unmissverständlich anwendbar und für ihre spätere Arbeit formativ hilfreich sind.
Auch die Frage der Gewichtung der einzelnen Kriterien wird in der Fachliteratur unterschiedlich
beantwortet. Letztlich münden diese Diskussionen in der Frage, ob eine kriterienbasierte Peer
Bewertung überhaupt sinnvoll ist. Selbst wenn häufig das Argument vorgebracht wird, dass ein
detaillierter Kriterienkatalog aufgrund der differenzierteren Rückmeldungen besser für formative
Evaluation geeignet sei, hat sich in mehreren Studien gezeigt, dass die Uneinheitlichkeit der
Auffassungen unter den GM über die Bedeutung der einzelnen Kriterien die Qualität der
Rückmeldungen beeinträchtigt (Gibbs, 2009, S. 8).
- 38 -
Unter formativen Gesichtspunkten sollte bei der Formulierung einer holistischen
Bewertungsskala berücksichtigt werden, dass eine Bewertung aufgrund verhaltensbasierter
Kriterien signifikant positive Auswirkungen auf die einheitliche Interpretation der abzugebenden
Bewertungen hat und darüber hinaus die Teilnehmer anregt, objektiver und eingehender über die
Qualität der Beiträge der anderen GM nachzudenken (Ohland u. a., 2005, S. 323; Kench u. a.,
2009, S. 159). So stellen auch Lejk & Wyvill fest, dass die Vergabe einer Peer Note für den
„Beitrag“ einzelner GM eine „anfechtbare Praxis“ sei (2001a, S. 70). Um also eine formative
Rückmeldung zu erhalten, deren Validität nicht durch uneinheitliche Auffassungen über die
Bedeutung der zu bewertenden Kriterien beeinträchtigt wird, sollten die Peers ein globales Urteil
über die Qualität der Zusammenarbeit mit jedem anderen GM fällen. Die Skala der
Bewertungsmaßstäbe muss dabei das Verhalten der zu bewertenden GM charakterisieren,
detailliert und leicht verständlich erläutert sein. Wegweisend ist hier die von Ohland et al.
formulierte siebenstufige Skala:
Excellent
Consistently went above and beyond; tutored teammates, carried more than his or her fair share
of the load.
Very good
Consistently did what he or she was supposed to do, very well prepared and cooperative.
- 39 -
Satisfactory
Marginal
Sometimes failed to show up or complete tasks, rarely prepared.
Deficient
Often failed to show up or complete tasks, unprepared.
No Show
No participation at all.
Abb. 3: Abgestufte Bewertungsskala mit detaillierten Erläuterungen (Ohland u. a., 2005, S. 321).
Für die Kriterien zur gegenseitigen Bewertung kann also festgehalten werden, dass die
Gewinnung individueller Noten auf einem Peer Bewertungsverfahren beruhen sollte, welches
eine durch die KL vorgenommene summative Bewertung des Ergebnisses mit Hilfe eines
Multiplikators für die einzelnen GM individuell umrechnet. Dieser Multiplikator wird durch
holistische Peer Bewertung des Verhaltens der GM während der Gruppenarbeit gefunden.
2.3 Berechnung des Multiplikators aus der Peer Bewertung
Das weitaus häufigste Problem bei Peer Bewertungen ist die Ungerechtigkeit, die entsteht,
wenn GM unterschiedliche Auffassungen davon haben, wie die Bewertungsskala anzuwenden
sei. Erfahrungsgemäß neigen Studierende dazu, auf einer 100-Punkte Skala nicht unter 70 und
nie über 95 Punkte zu vergeben (Odendahl, 2007, S. 123). Wenn nun aber ein einzelnes GM
aus Gerechtigkeitsempfinden, Interpretationsschwierigkeiten oder persönlichen Sympathien
heraus ganz andere Maßstäbe als die anderen Peers anlegt, wird das Gesamtbild der
vergebenen Noten verzerrt. Eine faire Methode für Peer Bewertungen muss dafür sorgen, dass
extreme Abewichungen einzelner nicht die Gültigkeit der individuellen Bewertung
beeinträchtigt. Nicht nur innerhalb jeder Arbeitsgruppe müssen die Bewertungen im gleichen
Spektrum rangieren, sondern sie müssen auch innerhalb des Kurses zwischen den einzelnen
Gruppen vergleichbar bleiben.
Generell sind bei einer Peer Bewertung verschiedene Optionen möglich. Dazu gehören vor
allem die Fragen nach der Selbstbewertung und nach der Organisation der Bewertungsskala. Bei
Systemen mit expliziter Selbstbewertung vergibt jedes GM zunächst eine Note für die eigene
Beteiligung, bevor es die Peers beurteilt. Eine implizite Selbstbewertung gibt es bei allen
Systemen, die den prozentualen Anteil jedes GM am Endprodukt bewerten, wo Bewertende
- 40 -
aufgefordert werden, eine Gesamtsumme von Punkten auf alle GM zu verteilen. Eine andere
Form der Peer Bewertung ist die hierarchische Anordnung der GM nach ihrem Anteil am
Ergebnis. In einer Variation der hierarchischen Anordnung kann der gleiche Platz von mehreren
GM eingenommen, also mehrfach vergeben werden. Ähnlich wie die hierarchische Anordnung
funktionieren Notenpunkte, die sich an den jeweiligen Schulsystemen orientieren und den
individuellen Beitrag auf einer Skala von eins bis sechs, A bis F oder 100 bis 0 bewerten.
Die Zuweisung von 100 Punkten pro GM an die Gruppe, die die Peers dann frei unter sich
aufteilen, ist die am weitesten verbreitete Praxis. Um anhand dieser Peer Bewertung des
individuellen Beitrags zum Entstehungsprozess eine faire individuelle Note für jedes GM zu
bekommen, kombiniert man die von der KL für das Ergebnis vergebene Note mit denen der Peer
Bewertung. Eine der beliebtesten Methoden für eine solche Kombination ist die Multiplikation
der Ergebnisnote mit individuellen Gewichtungsfaktoren (IWF, siehe Goldfinch & Raeside,
1990). IWF verwendet eine lineare Abbildungsfunktion für Peer Bewertungen, um auf der Basis
der Ergebnisnote individuelle Noten für die einzelnen GM zu gewinnen (Spatar u. a., 2015, S.
372). In der Praxis heißt das, dass einem Gruppenmitglied, das durchschnittlich mitgearbeitet
hat, ein IWF von 1 und damit die Ergebnisnote zugeordnet wird. GM, die über- oder
unterdurchschnittlich gut zusammengearbeitet haben, bekommen ihrer Leistung direkt
proportional entsprechende Noten über oder unter der Ergebnisnote. Bei der Erläuterung dieses
Bewertungsverfahrens, die prinzipiell klar und persönlich formuliert werden sollte, um die
Bewertungen vergleichbar zu halten (z. B. Brooks & Ammons, 2003, S. 272), sollte zunächst
darauf hingewiesen werden, dass das Verhalten der GM während der Gruppenarbeit bewertet
wird und nicht ihr quantitativer Beitrag. Ein Problemfaktor ist, dass die Vergabe von weit über
oder unter 100 Punkten nicht intuitiv ist. Weitere Problemquellen sind bei dieser Praxis der
prozentualen Verteilung einer Gesamtpunktzahl auf die GM die implizite Selbstbewertung, die
allen Beteiligten bei der Verteilung der Punkte zweifellos bewusst ist. Außerdem beeinflussen
unterschiedliche Auffassungen
- 41 -
über die zu verwendende Punkteskala und die Vergabe extrem hoher oder niedriger Werte die
Noten aller Beteiligten. Sharp (2006, S. 341) stellt auf der Basis dieses Verfahrens ein
generalisiertes Bewertungsschema für die gegenseitige Bewertung innerhalb der Gruppe vor, das
für alle numerischen Bewertungsskalen anwendbar sein soll.
Abb. 4: Bewertungsschema für eine Gruppe mit vier Mitgliedern (nach Sharp, 2006, S. 341).
Die vergebenen Noten sind zeilenweise horizontal notiert. Wenn also GM 1 GM 2 bewertet,
dann ist das hier B12, lies: Bewertung durch 1 an 2. Die individuell erhaltenen Peer Bewertungen
sind vertikal in den Spalten aufgelistet. Die Integrität der Daten ist gegeben, wenn die
arithmetischen Mittel der Zeilen und der Summenspalte G miteinander übereinstimmen.
Angewendet auf eine prozentuale Bewertungsskala ergibt dies:
Abb. 5: 400 Prozentpunkte verteilt; Selbstbewertung ergibt sich aus dem Rest (nach Sharp, 2006, S. 341).
Dieser Art der Berechnung liegen zwei Annahmen zugrunde; erstens müssen alle GM eine
Bewertung abgeben und zweitens müssen die Bewertungskriterien von allen GM prinzipiell
gleich interpretiert werden. In Abb. 5 hat GM 3, ein Mitglied mit unterdurchschnittlicher
Leistung, seine Mitarbeiter so großzügig bewertet, dass nur 10 Punkte für seine eigene
Bewertung übrigbleiben. Dadurch wird auch der Beitrag von GM 2 verzerrt, das sich selbst zwar
- 42 -
eine hohe Bewertung ausstellt, dessen Beitrag jedoch von den beiden verbleibenden Peers mit
nur 70 Punkten als wenig hilfreich eingestuft wurde.
GM 1, das Mitglied mit der höchsten Peer Bewertung, erhält einen Multiplikator von
510/400 = 1,275, GM 2 1,013, GM 3 0,55 und GM 4 1,163. Bei einer summativ mit 60 Punkten
bewerteten Arbeit erhält GM 1 60 x 1,275 = 77 Punkte, GM 2 61, GM 3 33 und GM 4 70
Punkte. Ein in der mir zugänglichen Forschung nicht diskutiertes Problem bei dieser Art der
Berechnung sehe ich in der Tatsache, dass vom Design her vorgesehen ist, individuelle Noten die
Ergebnisnote überschreiten zu lassen. Meines Erachtens lässt sich nicht verteidigen, warum
jemand, der an einer Gruppenarbeit mitgearbeitet hat, die mit einem schwachen
„ausreichend“ bewertet wurde, anschließend ein „voll befriedigend“ erhalten soll.
Das in der Forschung immer wieder diskutierte Problem ist, dass Noten 100% überschreiten
können. Wird im obigen Beispiel das Ergebnis mit 90 Punkten bewertet, ergeben sich für die
einzelnen GM 115, 91, 50 und 105 Punkte. GM 1 und GM 4 erhalten also Noten, die die
maximal mögliche Bewertung überschreiten. Wenn keine speziellen Gegenmaßnahmen bei der
Berechnung der individuellen Note getroffen werden, führt diese Art von Berechnungsmethode
nicht nur zu potenziell extremen Polarisierungen der Notenverteilung innerhalb der Gruppe,
sondern auch zur Vergabe von individuellen Noten über die von der KL vergebene Ergebnisnote
und sogar über die maximal erreichbare Bestnote hinaus. Andere Probleme bei bestehenden
Verfahren zur Abbildung der Ergebnisnote auf individuelle GM sind die unterschiedliche
Interpretationen der Standards für die gegenseitige Benotung und nicht übereinstimmende
Wahrnehmung der individuellen Beiträge durch die verschiedenen GM.
Zur Vermeidung von Noten über 100% sind unterschiedlich komplexe Lösungen
vorgeschlagen wurden. Nepal (2012, S. 557558) argumentiert, dass im Sinne einer
pädagogisch-formativen Peer Bewertung Mitglieder, die überdurchschnittlich gut und viel
beitragen, zwar belohnt werden sollten, jedoch nicht so sehr, dass Individualismus gefördert und
der Teamgeist gestört wird. Er entwickelt daher eine Methode zur skalierten Anpassung der
Gewichtungsfaktoren.
- 43 -
Abb. 6: Formel zur Beschränkung des IWF für überdurchschnittlich gute GM nach Nepal (2012, S. 557)
Nepal löst das Problem der individuellen Noten für signifikant überdurchschnittliche Beiträge
auf der Basis der Ergebnisnote (TM), um den Teamwork Prozess zu stärken. In Formel (a) wird
unterdurchschnittlichen Beiträgen eine proportional niedrigere Note gegeben, was
Trittbrettfahren unattraktiv machen soll. Solche Noten können ungeachtet der Ergebnisnote bis
hinunter zu 0 Punkten gehen. In (b) werden Beiträge belohnt, die leicht über dem Durchschnitt
liegen. Die parabolische Funktion stellt sicher, dass die Höhe der Belohnung im gleichen
Verhältnis abnimmt, wie die Bewertung zunimmt. Formel (c) beschränkt die individuelle Note
für signifikant überdurchschnittliche Beiträge. Indem die individuelle Note unbesehen der
tatsächlichen Leistung konstant gehalten wird, beugt diese Formel individualistischen Tendenzen
der GM entgegen und der Teamgeist wird aufrechterhalten (Nepal, 2012, S. 557). Eine in etwa
gleichzeitig präsentierte, ähnliche Lösung sieht skalierende Faktoren aufgrund der Bewertungs-
Übereinstimmungen zwischen den einzelnen GM vor (Neus, 2011, S. 309).
Spatar et al. (2015, S. 385) diskutieren ausführlich die bei Gruppenarbeiten häufig
auftretenden Probleme des Trittbrettfahrens und von Noten über 100%. Sie kommen zu dem
Schluss, dass eine Methode mit individuellen Gewichtungsfaktoren fair und praktikabel ist, wenn
die Faktoren zur Vorbeugung gegen unterschiedliche Interpretationen der Notenskala
normalisiert und nach der von Nepal vorgestellten skalierten Methode berechnet wurden. Ihr
- 44 -
“Capped Adjusted Scaled Normalised Individual Weighting Factors (CASNIWF)” genanntes
System nutzt eine sechsstufige Notenskala (S. 383). In ihrem vierschrittigen Programm werden
zunächst die Peer Bewertungen normalisiert, anschließend die individuellen
Gewichtungsfaktoren kalkuliert, dann werden diese Gewichtungsfaktoren zur Konsolidierung
der Bewertungen zwischen den einzelnen Bewertenden korrigiert und schließlich wird die
Ergebnisnote auf die Peer Bewertungen ähnlich wie bei Nepal (s. o.) skaliert, damit die
individuellen Noten innerhalb der 100% Marke bleiben. Obwohl die Autoren erklären, ihr
System „verbinde alle Vorteile der bisher gängigen Berechnungsmethoden“ (Spatar u. a., 2015,
S. 386), wurde es bisher noch nicht unabhängig implementiert, denn: Certain academic
instructors may find the CASNIWF method intricate (ebd. S. 387).
2.4 Eigenschaften eines praktisch anwendbaren Peer-Bewertungsverfahrens
Die beste Methode zur Gewinnung fairer individueller Noten für die Teilnehmer von
Arbeitsgruppen ist eine Kombination von summativer Bewertung des Ergebnisses durch die KL
mit gegenseitiger Bewertung der Zusammenarbeit während des Entstehungsprozesses durch die
GM. Ein kollaborativ entstandener Aufsatz im Fremdsprachenunterricht wird von der KL nach
traditionellen Kriterien bewertet, z. B. Leitpunkte, Syntax und Morphologie, Lexik, Kohärenz,
kommunikative und/oder textsortenspezifische Gestaltung, etc. Diese Bewertung wird
anschließend gemäß der Ergebnisse der Peer Bewertung für jedes GM individuell modifiziert.
Die KL bewertet also das Ergebnis, GM den Prozess der Gruppenarbeit. Um praktischen
Wert zu haben, muss ein Peer Bewertungsverfahren die bekannten systemischen Probleme dieser
Verfahren ausschließen. Dazu gehören vor allem a) die individuell unterschiedliche
Interpretation der anzuwendenden Skala durch GM wie auch durch die KL, b) Fehler der
subjektiven Wahrnehmung beim Ranking innerhalb der Gruppe, c) Trittbrettfahrer und deren
Einfluss auf die Moral der anderen GM sowie d) Noten, die die 100% Marke überschreiten.
Außerdem sollte die individuelle Note die Ergebnisnote nicht übersteigen. Wenn GM ihre
Zusammenarbeit sehr positiv beurteilen, gleichzeitig aber ein Ergebnis produziert haben, das in
der summativen Evaluation durchgefallen ist, sollte die individuelle Note zwar tendenziell die
- 45 -
individuelle Qualität der Kollaboration widerspiegeln, insgesamt aber dennoch die
Unzulänglichkeiten des Ergebnisses reflektieren.
Die Forderungen an ein praktisch anwendbares Peer Bewertungsverfahren zur
anschließenden individuellen Anpassung der Ergebnisnote lauten daher wie folgt:
Validität und Fairness, um den Einfluss gruppeninterner Konflikte auf die Bewertung
ebenso wie Unzufriedenheit mit der Bewertung zu vermeiden.
Transparenz und Verständlichkeit der Bewertungskriterien, ohne dabei Gelegenheit
zur unfairen Ausnutzung methodologischer Fehler zu bieten. Das Schema zur
Gewichtung von Peer Bewertung und Ergebnisnote sollte allen Beteiligten bekannt
sein.
Praktische Anwendbarkeit: Das System sollte universell implementierbar sein,
unabhängig von Notenstruktur, Gruppengröße und Fachgebiet. Der Nutzen sollte die
Kosten übersteigen: Finanzielle Kosten in Form von Gebühren und Maschinerie, aber
auch Einarbeitung sowie Aufwand bei der Nutzung des Systems sollten minimal
gehalten werden.
Sicherheit: Das System sollte angemessen gegen Missbrauch gesichert sein,
Vorkehrungen gegen fehlerhafte Nutzereingaben und Trittbrettfahrer bieten,
zuverlässig arbeiten und einfach zu bedienen sein.
3. Entwurf eines neuen Werkzeugs zur Einbeziehung von Peer Bewertungen
in die individuelle Benotung von Gruppenarbeit
Das von Sharp (2006, S. 341) in Abb. 5 vorgestellte Bewertungsschema hat die bereits
diskutierten zwei Nachteile: Die Aufteilung einer begrenzten Anzahl von Punkten unter den GM
führt zu einer impliziten Selbstbewertung und die Möglichkeit der extremen Verteilung dieser
Punkte zu Noten über 100%. Statt die GM eine begrenzte Ressource verteilen zu lassen, wobei
sie sich unweigerlich der Tatsache bewusst sind, dass jeder Punkt, den sie einem anderen GM
zuerkennen, von der Anzahl der eigenen Punkte abgezogen wird, darf ein objektives
Bewertungssystem keine Vor- oder Nachteile für die bewertende Person mit sich bringen.
- 46 -
Das in der Forschung vieldiskutierte Problem von Noten über 100% oder über der systemisch
möglichen Maximalnote lässt sich durch eine neue Definition des Einflusses der Peer Bewertung
auf die individuelle Note lösen. Wenn die KL aufgrund ihrer Expertise und objektivierbarer
Maßstäbe das Ergebnis einer Gruppenarbeit benotet, dann muss dies auch die maximal
erreichbare Individualnote darstellen. Mit anderen Worten erhält ein GM, dem die Mitarbeiter
ein perfektes Arbeitsverhalten attestieren, 100% der Ergebnisnote. Bietet das Verhalten eines
GM in den Augen der Peers Anlass zu Kritik, werden von der Ergebnisnote entsprechende
Prozentpunkte abgezogen.
Abb. 7: Schematische Darstellung des vorgeschlagenen Berechnungsverfahrens
Die schematische Darstellung in Abb. 7 verdeutlicht das Prinzip der hier vorgeschlagenen
Einbeziehung einer Peer Bewertung in die individuelle Benotung für die Teilnehmer von
Gruppenarbeiten anhand einer Arbeitsgruppe mit vier Mitgliedern. Jedes GM benotet die
anderen Mitglieder mit einer Note zwischen 0 und 100 Punkten. Die Peer Bewertungen für jedes
GM werden in Zeile 6 in Form des arithmetischen Mittels als PB berechnet. In Zeile 7 wird aus
den Peer Bewertungen durch Multiplikation mit dem vorher festzulegenden prozentualen
Einflussfaktor der Peer Bewertung ein individueller Multiplikator berechnet. Die individuelle
Note errechnet sich dann aus der von der Kursleitung vergebenen Bewertung (KLB) abzüglich
der Differenz zwischen dem in G7 angegebenen maximal vergebenen und dem individuellem
Multiplikator des jeweiligen GM.
Der Einfluss, den die Peer Bewertung auf die individuelle Note hat, hängt von ihrer
prozentualen Gewichtung im Verhältnis zur KLB ab. Dafür bietet sich ein Wert zwischen 20 und
30 Prozent an, der groß genug ist, um deutliche Unterschiede zwischen den individuellen Noten
von GM mit guten und schlechten Peer Bewertungen hervorzuheben, gleichzeitig aber nicht so
- 47 -
hoch, dass eine sehr schlechte Peer Bewertung zu extrem schlechten individuellen Noten führen
kann. Diese würden zu einem Verlust des formativen Charakters der Peer Bewertung führen, da
schon eine einzige Null im Semester-Mittel zum Nichtbestehen des Kurses führen kann.
Didaktisch sinnvoller ist es, auch sehr schlecht bewerteten GM eine Chance zur Besserung bei
der nächsten Gruppenarbeit zu geben.
Der Peer Bewertungsprozess erfolgt holistisch auf einer Skala von 0 bis 100 Punkten, deren
Erläuterung sich an den von Ohland et al. (2005, S. 321) erarbeiteten Beschreibungen orientiert.
Diese Skala ermöglicht eine sehr feine graduelle Abstufung zwischen sechs vorgegebenen
Notenspannen, die das in Gruppenarbeit erwünschte Verhalten Aufgabenerfüllung,
Vorbereitung und Kooperation leicht verständlich und praxisorientiert beschreiben.
Punkte
Beschreibung
100-90
Hat immer mit Blick auf die Lösung der gemeinsamen Aufgabe gearbeitet; War immer gut
organisiert; Hat mehr getan, als unbedingt verlangt wurde; War hilfreich und kooperativ.
89-80
Hat alles getan, was zur Lösung der gemeinsamen Aufgabe erwartet werden konnte; War gut
vorbereitet und kooperativ.
79-70
Hat normalerweise gut mitgearbeitet; War meist vorbereitet und kooperativ.
69-50
Hat oft getan, was zu tun war; War minimal vorbereitet; Hat Hilfe akzeptiert, aber selten angeboten.
49-40
War manchmal abwesend; Hat die geforderte Arbeit manchmal anderen überlassen; War selten
vorbereitet; War nicht kooperativ.
39-10
War oft abwesend; Hat oft nicht mitgearbeitet; War unvorbereitet; War nicht kooperativ.
9-0
Hat nicht mitgearbeitet.
Abb. 8: Notenskala mit formativen Erklärungen
- 48 -
Diese Notenskala erlaubt eine feine Abstufung aufgrund der leicht verständlichen, aber
allgemein gehaltenen Beschreibungen. Schätzt zum Beispiel ein Peer die Mitarbeit eines GM als
kooperativ ein, ist aber im Stillen der Meinung, dass der oder die Betreffende unfähig und die
Kooperation daher nicht zielführend war, könnte die Bewertung irgendwo zwischen 89 und 50
Punkten ausfallen. War das GM immer vorbereitet und hat aktiv mitgearbeitet, muss die
Bewertung aber über 69 Punkten liegen auch wenn der oder die Bewertende Peer nicht viel von
der Qualität dieser Mitarbeit hält. Spielen persönliche Sympathien keine Rolle, wird die
Bewertung wohl bei mittelmäßigen 75 Punkten landen und dem bewerteten GM dadurch
mitteilen, dass eine bessere Vorbereitung sowie regelmäßigere und aktivere Mitarbeit zu einer
besseren Note führen könnten.
Der formative Effekt wirkt bei dieser Art der Bewertung natürlich auch auf die bewertende
Person; macht man sich doch schon im Akt der Bewertung mit dem Grundprinzip der
Teamarbeit vertraut, das Kooperationsfähigkeit über Qualität der einzelnen Beiträge setzt. Bei
der Bewertung spielt die Frage eine Rolle, welche Auswirkungen sie auf die Note hat. Aus der
obigen Diskussion geht klar hervor, dass die Vergleichbarkeit der Notengebung innerhalb der
Gruppe, aber auch zwischen den Arbeitsgruppen eines Kursverbands große Bedeutung hat.
Wenn nun wie im obigen Beispiel der Bewertungsspielraum selbst bei sorgfältiger Interpretation
der Notenskala noch immer 20 Punkte oder mehr umfasst, muss eine Balance zwischen klar
erkennbarer formativer Mitteilung und summativer Qualitätsbewertung gefunden werden.
- 49 -
Abb. 9: Beispiel der Berechnung mit einer durchschnittlichen Arbeit
Die Differenz zwischen dem Maximalwert und dem individuell erreichten Multiplikator als
Grundlage für die Berechnung der individuellen Note zu nehmen, trägt zur Robustheit dieses
Verfahrens bei. Das innerhalb der eigenen Gruppe am besten beurteilte GM erhält unbeachtet der
konkret erreichten Peer Bewertung immer die maximal erreichbare Note. Ebenso spiegelt die
individuelle Bewertung der anderen GM unabhängig von den tatsächlichen Werten den Trend
der in der Gruppe vergebenen Bewertungen wieder. Auf diese Weise wird die Homogenität und
Vergleichbarkeit der Benotung zwischen den unterschiedlichen Arbeitsgruppen im
Klassenverband verbürgt.
3.1 Validität und Fairness
Abb. 9 zeigt die Notenverteilung anhand einer Gruppe mit vier Mitgliedern, deren Arbeit von
der KL mit 75 Punkten bewertet wurde. Der Gewichtungsfaktor für die Einbeziehung der Peer
Bewertung beträgt 30%. GM 2 erhält in der Peer Bewertung für außergewöhnlich gute
Zusammenarbeit im Durchschnitt 96 Punkte und damit die höchste Bewertung, welche dann für
die Berechnung aller individuellen Noten als Orientierungspunkt dient. GM 1 und GM 3 werden
von den Mitarbeitern als durchschnittlich hilfreich bewertet und erhalten eine individuelle Note
mit einem deutlichen Abstand zur Ergebnisnote. GM 4 hat eine schlechte Peer Bewertung
erhalten und bekommt dies in der individuellen Note auch unmissverständlich mitgeteilt. Das
Verfahren hält auch kritischen Situationen stand. Dazu gehören vor allem die Möglichkeit, dass
sich ein GM weigert, an der Peer Bewertung teilzunehmen, was aber mit dieser Art der
Berechnung die Trendkurve kaum beeinflussen würde. Ebenso würde eine Absprache unter den
- 50 -
GM, sich gegenseitig immer nur 100 Punkte zu geben, lediglich zur allgemeinen Vergabe der
von der KL festgestellten Ergebnisnote an alle führen, ohne die Mitglieder dieser Arbeitsgruppe
gegenüber denen anderer Gruppen zu bevorteilen.
Zusammenfassend kann man festhalten, dass Validität und Fairness
6
dieser Art der
Berechnung einerseits durch ihren direkten Bezug zur Ergebnisnote und andererseits durch die
Einbeziehung der Peer Bewertung gewährleistet wird. Die Reliabilität wird durch die am
Maximalwert orientierte und daher zwischen den Gruppen vergleichbare Abbildung der Peer
Bewertung auf die Individualnoten erreicht.
3.2 Transparenz
Transparenz betrifft sowohl die Ergebnis- als auch die Prozessnote. Vor Beginn jeder
Gruppenarbeit muss mitgeteilt werden, wozu die Aufgabe dient, wie sie sich in den größeren
curricularen Zusammenhang einfügt und nach welchen Kriterien die Benotung durchgeführt
wird. Die Aufgabenstellung wie auch die summativen Bewertungskriterien sollten also die
Lehrziele reflektieren.
In früheren Studien wurde festgestellt, dass Teilnehmer an Peer-Bewertungsverfahren diese
als ungerecht wahrnehmen können, auch wenn die Kriterien vorher transparent und eindeutig
mitgeteilt wurden. Häufige Vorbehalte betreffen die Subjektivität der Notenvergabe an
befreundete GM und die Zurückhaltung bei der Vergabe schlechter Bewertungen aufgrund der
persönlichen Beziehung zu den betreffenden GM (vgl. Kennedy, 2005, S. 6). Eine offene Peer
Bewertung, bei der jeder sehen kann, wer welche Noten vergeben und erhalten hat, ist aus den
oben diskutierten Gründen auszuschließen. Um formativ wirksam zu sein, sollten die einzelnen
Noten dennoch anonym mitgeteilt werden, so dass man die eigene Bewertung als Ergebnis
und auch aufgeschlüsselt nach Einzelbewertungen einsehen kann. Eine nachträgliche
Korrekturmöglichkeit bereits vergebener Noten ist nicht ratsam, da dies leicht zu einer von
6
In Bezug auf Fairness müssen die üblichen Vorbehalte gegen den menschlichen Faktor bei der Notenvergabe
gelten. Auch wenn die KL Bewertung wie auch die Peer Bewertung durch klare Kriterien definiert werden,
spielen Faktoren wie die subjektive Stimmung des Bewertenden zum Zeitpunkt der Bewertung, Sympathien etc.
immer eine gewisse Rolle.
- 51 -
Revanchegedanken geleiteten Eskalation führen könnte, die nicht mehr die tatsächliche
Bewertung der Mitarbeit widerspiegeln würde. Die Bewertung durch die anderen darf aus dem
gleichen Grund erst eingesehen werden, nachdem die eigenen Bewertungen abgegeben wurden.
Letztendlich ist jedoch wohl auch bei größtmöglicher Transparenz und Sorgfalt die Möglichkeit
nie ganz auszuschließen, dass einzelne GM ihre Bewertung als ungerecht empfinden.
3.3 Praktische Anwendbarkeit
Das hier vorgestellte Verfahren könnte ohne besonderen Aufwand mit Hilfe von Wahlzetteln
und einer Tabellenkalkulation implementiert werden. Aber diese Art der Implementierung
scheint im Vergleich zur rein summativen Notenvergabe aufwändig, durch die händische
Übertragung der Bewertungszettel in die Tabellenkalkulation fehleranfällig und wegen der
intransparenten Bearbeitung und anschließenden Bekanntmachung der individuellen Noten durch
die Kursleitung dem Verdacht der Manipulation ausgesetzt.
Besser ist ein Verfahren, das den Gruppen die Ergebnisbewertung nach Kriterien und
Gewichtungen aufgeschlüsselt mitteilt, um den Teilnehmern eine Grundlage zu geben, auf der
sie das Verhalten ihrer Peers bewerten. Zu diesem Zweck bietet sich die Eingabe sowohl der
Ergebnisnoten als auch der Peer Bewertungen über ein zentrales System an, das die
Kursteilnehmer in Gruppen einteilt, der KL diese Gruppen zur Ergebnisbewertung präsentiert
und nach erfolgter summativer Bewertung für eine Gruppe deren Peer Bewertungsfunktion
freischaltet. Sind alle Bewertungen einer Gruppe abgegeben, wird den GM eine Übersicht mit
der aufgeschlüsselten Ergebnisnote, den Bewertungen durch die Peers und der daraus
errechneten Individualnote angezeigt. Die KL erhält nach Eingabe aller Peer Bewertungen oder
nach Ablauf der Abgabefrist eine Liste mit den Namen aller Teilnehmer und ihren
Individualnoten.
- 52 -
Abb. 10: Benutzeroberfläche für Smartphone optimiert
Das Design der Benutzeroberfläche wird minimalistisch und aufgabenorientiert gehalten und
für die Eingabe über mobile Endgeräte wie Smartphones optimiert. Ganz links ist die
Eingabemaske für die KL, mit der die Gruppenarbeit initiiert wird. Die vom Computer zufällig
ausgewählten Gruppen werden angezeigt und zusammen mit dem Datum und einem optionalen
Aufgabentitel abgespeichert. Im dritten Bild ist die Eingabemaske zur Peer Bewertung, in dem
die Ergebnisbewertung nach Kriterien aufgeschlüsselt angezeigt wird. Darunter befinden sich die
Namen der Gruppenmitglieder von Natalie, die in diesem Moment Sandra bewertet. Während sie
den Schieberegler bedient, wird im unteren Drittel des Bildschirms die zu der gerade gewählten
Notenspanne passende Verhaltensbeschreibung (s. Abb. 8) angezeigt. Optisch unterstützt wird
die Bewertung durch eine Unterlegung der Schieberegler in den Ampelfarben. Im vierten Bild
sieht man Natalies individuelle Note für die Gruppenarbeit mit dem Thema Umweltschutz, die
auf der Bewertung durch die KL und Peers beruht. Im unteren Drittel wird nun die passende
Verhaltensbeschreibung für Natalies individuelle Note angezeigt.
3.4 Sicherheit
Drei unterschiedliche Sicherheitsschemata müssen berücksichtigt werden: Datensicherheit,
Bedienungssicherheit und Bereitstellungssicherheit. Die Datensicherheit des Systems kann
aufgrund der ausschließlichen Verwendung der für das Funktionieren minimal notwendigen
- 53 -
Daten in Verbindung mit einer einfachen Verschlüsselung als unkritisch eingestuft werden.
7
Die
internen Sicherungsvorkehrungen gegen Missbrauch sollte vorbeugen gegen Absprachen unter
den Nutzern, die Vergabe von durchwegs 100 oder 0 Punkten oder die Weigerung einzelner
Nutzer zur Teilnahme. Wenn GM aktiv zusammenarbeiten, um die Mechanismen der
gegenseitigen Evaluation zu untergraben oder zu ihrem Vorteil zu missbrauchen, wird diese
keine positiven Ergebnisse zeitigen. Da es sich hier aber nicht um ein System handelt, das in
high stakes Situationen eingesetzt wird, ist ein wirklicher Schutz gegen Missbrauch durch
entschlossene Nutzer mit technischer Expertise nicht das Ziel. Es liegt in der Verantwortung der
Kursleiter, ein positives Lernklima zu schaffen, in dem die Lernenden sowohl die Lernziele als
auch die Bewertungsmechanismen und kriterien als sinnvoll, relevant und zielführend
empfinden. Wenn sich GM nicht nur weigern, das Peer Bewertungs-System zu benutzen,
sondern sogar Zeit und Mühe investieren, um es zu unterwandern, sollte dies als Zeichen
gedeutet werden, den Unterricht anders zu gestalten. Die Sicherung der Ergebnisdaten gegen
Serverausfall etc. muss ebenfalls den Nutzern obliegen bleiben, da eine mehrfach redundante
Datensicherung zu Kosten führen würde, was die freie Verfügbarkeit des Systems in Frage
stellen könnte.
4. Fazit und Ausblick
Die Vergabe individueller Noten bei Gruppenarbeiten ist im didaktischen und im
institutionellen Kontext wünschenswert. Lehrende können Aufgaben stellen und fertige Arbeiten
bewerten, haben aber keinen Einblick in deren gruppeninterne Entstehungsprozesse. Lernende
können das Verhalten anderer Lernender während der gemeinsamen Arbeit an einem Projekt
bewerten, verfügen aber noch nicht über das Fachwissen, die Erfahrung oder den Überblick, um
die Qualität des Ergebnisses im Rahmen der jeweiligen Anforderungen zu beurteilen. Die
7
Notwendige Daten sind die Login Daten der KL und der Teilnehmer, sowie eine eindeutige Zuordnung, das
Datum und gegebenenfalls auch das Thema der Gruppenarbeit, die Gruppenkonstellation und die Bewertungen.
Da diese Daten weder finanzielle, noch detaillierte Angaben zur Person enthalten, stellen sie für Angreifer kein
attraktives Ziel dar.
- 54 -
Kombination von kriterienbasierter Ergebnisbewertung durch die Kursleitung und holistischer
Prozessbewertung durch die Teilnehmenden stellt die ideale Nutzung dieser Kompetenzen dar.
Die Forschungsliteratur zeigt einen klaren Trend zum Einsatz eines individuellen
Gewichtungsfaktors (IWF) bei der Kombination von Peer Bewertungen mit denen der
Lehrenden. Die Gründe, warum der administrative Aufwand für die Implementierung von IWF
Methoden in der Regel sehr hoch ist, wurden hier identifiziert als a) die Vermeidung von Noten
über 100% sowie b) die Datenerfassung und Verarbeitung mit nur rudimentärer
Computerunterstützung. Ein weiteres schwerwiegendes Problem der IWF Methode, das
Überschreiten der Ergebnisnote nach der Peer Bewertung, wurde hier zum ersten Mal behandelt.
Im Ergebnis konnte gezeigt werden, wie die Probleme der IWF Methode mittels einer Peer
Bewertung, die von der Ergebnisnote subtrahiert, in Verbindung mit der kompletten Verlegung
der Administration auf ein intuitiv bedienbares Computerprogramm gelöst werden können. Die
praktische Anwendung der hier vorgestellten Technik im Unterrichtsalltag wird zeigen, ob die
Methode ihre Versprechen halten kann und welchen Einfluss die Ergebnisse auf den Lernerfolg
haben werden.
Aber auch wenn es jetzt möglich ist, den Aufwand, mit dem Gruppenarbeit bisher immer
verbunden war, auf ein Minimum zu reduzieren und faire individuelle Noten für die
Gruppenmitglieder zu vergeben, bleiben grundsätzliche Problem der Gruppenarbeit unberührt.
Für manche Aufgabenstellungen kann es notwendig sein, die Mitglieder von Arbeitsgruppen
nach bestimmten Kriterien zusammenzustellen und ihnen individuell angemessene
Arbeitsbereiche zuzuweisen (s. Odendahl, 2016, S. 133). Nicht alle Aufgaben sind für eine
Bearbeitung in Gruppen geeignet und nur durch eine durchdachte und transparente Konstruktion
von Gruppenaufgaben unter Einbeziehung sowohl des Entstehungsprozesses wie auch des
Ergebnisses in die individuelle Benotung kann Gruppenarbeit funktionieren.
Dieser Beitrag befasst sich mit den Grundlagen der Peer Bewertung bei Gruppenarbeiten und
deren theoretischer Umsetzung in einem Werkzeug, das Lehrenden- und Peer Bewertung
miteinander kombiniert. Die Auswertung von Erfahrungen im praktischen Einsatz dieses
Werkzeugs bleibt zukünftiger Forschung vorbehalten.
- 55 -
Literaturverzeichnis
Bachman, L. F. (1990). Fundamental Considerations in Language Testing. Oxford: Oxford
University Press.
Brooks, C. M., & Ammons, J. L. (2003). Free Riding in Group Projects and the Effects of
Timing, Frequency, and Specificity of Criteria in Peer Assessments. Journal of Education
for Business, 78(5), 268272.
Burke, K. (2010). Balanced Assessment: From Formative to Summative. Solution Tree Press.
Büttner, G., Warwas, J., & Adl-Amini, K. (2012). Kooperatives Lernen und Peer Tutoring im
inklusiven Unterricht. Zeitschrift für Inklusion, 1(2). Abgerufen von http://www.inklusion-
online.net/index.php/inklusion/article/viewArticle/147/139
Cross, K. P., & Angelo, T. A. (1988). Classroom Assessment Techniques. A Handbook for
Faculty (Technical Report No. 88A004.0) (S. 166). Ann Arbor: Univ. of Michigan.
Eccles, J. S., & Roeser, R. W. (2004). Schools, Academic Motivation, and Stage-Environment
Fit. In Handbook of Adolescent Psychology (Bd. 2, S. 404434).
Gibbs, G. (2009). The Assessment of Group Work: Lessons from the Literature. Assessment
Standards Knowledge Exchange, 117.
Goldfinch, J. (1994). Further Developments in Peer Assessment of Group Projects. Assessment
& Evaluation in Higher Education, 19(1), 2935.
Goldfinch, J., & Raeside, R. (1990). Development of a Peer Assessment Technique for
Obtaining Individual Marks on a Group Project. Assessment and Evaluation in Higher
Education, 15(3), 210231.
Habeshaw, S., Gibbs, G., & Habeshaw, T. (1993). 53 Interesting Ways to Assess Your Students
(3. Aufl.). Bristol: Technical and Educational Services.
Johnson, D. W., Johnson, R. T., & Smith, K. A. (1991). Cooperative Learning: Increasing
College Faculty Instructional Productivity (ERIC Clearinghouse Products No. ISBN: 1-
878380-09-5; ISSN-0884-0040) (S. 168). Washington, DC: Association for the Study of
Higher Education; ERIC Clearinghouse on Higher Education; George Washington Univ.
School of Education and Human Development.
Kench, P. L., Field, N., Agudera, M., & Gill, M. (2009). Peer Assessment of Individual
Contributions to a Group Project: Student Perceptions. Radiography, 15(2), 158165.
Kennedy, G. J. (2005). Peer-assessment in Group Projects: Is It Worth It? In Proceedings of the
7th Australasian Conference on Computing Education (Bd. 42, S. 5965). Newcastle:
Australian Computer Society. Abgerufen von
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.59.4744&rep=rep1&type=pdf
Latane, B., Williams, K., & Harkins, S. (1979). Many Hands Make Light the Work: The Causes
and Consequences of Social Loafing. Journal of Personality, 37(6), 822832.
Lehker, M. (2003). Projektarbeit im DaF-Unterricht. Info DaF, 30(6), 562575.
- 56 -
Lejk, M., & Wyvill, M. (2001a). Peer Assessment of Contributions to a Group Project: A
Comparison of Holistic and Category-based Approaches. Assessment & Evaluation in
Higher Education, 26(1), 6172.
Lejk, M., & Wyvill, M. (2001b). The Effect of the Inclusion of Selfassessment with Peer
Assessment of Contributions to a Group Project: A Quantitative Study of Secret and Agreed
Assessments. Assessment & Evaluation in Higher Education, 26(6), 551561.
Loddington, S., Pond, K., Wilkinson, N., & Willmot, P. (2009). A Case Study of the
Development of WebPA: An Online Peer-Moderated Marking Tool. British Journal of
Educational Technology, 40(2), 329341.
Nepal, K. P. (2012). An Approach to Assign Individual Marks from a Team Mark: The Case of
Australian Grading System at Universities. Assessment & Evaluation in Higher Education,
37(5), 555562.
Neus, J. L. (2011). Peer assessment accounting for student agreement. Assessment & Evaluation
in Higher Education, 36(3), 301314.
Nieveen, N., & Folmer, E. (2013). Formative Evaluation in Educational Design Research. In
Educational Design Research (S. 152169). Enschede: Netherlands Institute for Curriculum
Development.
Odendahl, W. (2007). Vom Korrektor zum Koordinator: Web-basierte Online-Kollaboration im
Aufsatzkurs. In S. Schneider & N. Würffel (Hrsg.), Kooperation & Steuerung.
Fremdsprachenlernen und Lehrerbildung mit digitalen Medien (S. 101126). Tübingen:
Narr.
Odendahl, W. (2015). CLIL-Projekt zur chinesischen Untertitelung deutscher Kurzfilme als
Mittel zur Motivationsförderung. In C. Merkelbach (Hrsg.), Mehr Sprache(n) lernen - mehr
Sprache(n) lehren (S. 117142). Aachen: Shaker.
Odendahl, W. (2016). Promoting Student Engagement through Skill-Heterogeneous Peer
Tutoring. Interface - Journal of European Languages and Literatures, 1(1), 119153.
https://doi.org/10.6667/interface.1.2016.26
Ohland, M. W., Layton, R. A., Loughry, M. L., & Yuhasz, A. G. (2005). Effects of Behavioral
Anchors on Peer Evaluation Reliability. Journal of Engineering Education, 94(3), 319326.
Orsmond, P., & Merry, S. (1996). The Importance of Marking Criteria in the Use of Peer
Assessment. Assessment & Evaluation in Higher Education, 21(3), 239250.
Sharp, S. (2006). Deriving Individual Student Marks From a Tutor’s Assessment of Group
Work. Assessment & Evaluation in Higher Education, 31(3), 329343.
Slavin, R. E. (1980). Cooperative Learning. Review of Educational Research, 50(2), 315342.
Spatar, C., Penna, N., Mills, H., Kutija, V., & Cooke, M. (2015). A Robust Approach for
Mapping Group Marks to Individual Marks Using Peer Assessment. Assessment &
Evaluation in Higher Education, 40(3), 371389.
- 57 -
Springer, L., Stanne, M. E., & Donovan, S. S. (1999). Effects of Small-Group Learning on
Undergraduates in Science, Mathematics, Engineering, and Technology: A Meta-Analysis.
Review of Educational Research, 69(1), 2151.
Weaver, D., & Esposto, A. (2012). Peer Assessment as a Method of Improving Student
Engagement. Assessment & Evaluation in Higher Education, 37(7), 805816.
- 58 -
Kurzbiographie
Wolfgang Odendahl arbeitet seit 1999 an taiwanischen Universitäten als Dozent für deutsche
Sprache. Die Promotion erfolgte 2009 in Köln im Fach Sinologie über das Thema kulturelle
Identität, vermittelt durch populäre Kung-Fu Romane. Derzeit im Range eines Assistant
Professor fest angestellt an der National Taiwan University. Akademische Publikationen im
Bereich Deutsch als Fremdsprache; derzeitiges Forschungsinteresse gilt der interkulturellen
Sensibilisierung.
E-mail: odendahl@ntu.edu.tw
Orcid: orcid.org/0000-0001-7386-7826
Profil: https://www.researchgate.net/profile/Wolfgang_Odendahl
ResearchGate has not been able to resolve any citations for this publication.
Article
Full-text available
This article is concerned with the effects of a specialized setup for student group work in L3 teaching. It promotes grouping students according to their skills in various subjects into heterogeneous groups as a way for inducing peer tutoring and raising student's self-esteem. The motivation for this study sprang from an extra-curricular study project for subtitling German short films intended as a remedy for the widely observable study fatigue in Taiwanese German as a Foreign Language (GFL) majors. It turned out that combining students into workgroups couldn't just rely on personal preferences, because the work required skillsets from three distinct areas: Project Management, Language, and Technology. As a solution to this kind of settings, this article proposes the instructor-organized creation of skill-heterogeneous workgroups. As theoretical background, it relies on findings from the fields of cooperative group work (e.g. Slavin, 2014textbar Cohen & Lotan, 2014, et al.), ability grouping and skill grouping (e.g. Missett, Brunner, Callahan, Moon, & Azano, 2014textbar Kulik & Kulik, 1992, et al.) in combination with motivational theories (e.g. Csikszentmihalyi, 1990textbar Dornyei, 2008textbar Reeve, 2009, et al.). The results of this project seem to indicate that the best way of grouping students was to assign each group an expert from one of the three main fields involved in subtitling. This way, every group member has authority in one field and can accept tutoring in the two remaining fields without losing face. The participating students enjoyed highly efficient group work that produced lasting synergetic effects in all areas involved.
Chapter
Full-text available
Dieser Artikel berichtet von einem Projekt zur chinesischen Untertitelung von deutschen Kurzfilmen mit taiwanischen DaF-Lernenden. Ausgehend von der These, dass ein intrinsisches Interesse der Studierenden an dem unterhaltsamen und prestigeträchtigen Medium Film bestehe, war das Ziel dieser Projektarbeit die Steigerung der Lernmotivation durch Kompetenzerfahrung, autonome Aufgabenlösung, Verantwortung in der Kleingruppe und soziale Anerkennung. Die Verknüpfung sprachlicher und fachlicher Inhalte (CLIL) wurde auf den drei Ebenen Untertitel-Technologie, audiovisuelle Übersetzung und Projektmanagement realisiert. Die sprachlichen Anforderungen im Bereich Technologie und Projektmanagement waren gering, während die adäquate Übersetzung des gesprochenen deutschen Texts in die chinesische Sprache von den Teilnehmern ein hohes Maß an sprachlicher Kompetenz und übersetzerischer Sensibilität verlangte. Durch die heterogene Zusammensetzung der Gruppen konnte ein Synergieeffekt zwischen den sprachlichen und technischen Teilen erzielt werden. Insgesamt waren die Erarbeitung fachlichen Wissens und die Anwendung vorhandener Sprachkenntnisse von gleicher Bedeutung für dieses Projekt. Formalisierter Sprachunterricht war nicht Teil des Projektplans und fand nur im Rahmen des normalen curricularen Unterrichts statt.
Chapter
Full-text available
Vor dem Zerplatzen der Dotcom-Blase im Herbst 2001 war das World Wide Web (Web) ein Medium, das endgültig editierte Daten zum Konsum bereitstellte. In der Folge hat es sich gewandelt zu einer Plattform, auf der dem Benutzer Kontrolle über seine persönlichen Inhalte gewährt wird. Dieser Wandel ist das, was die Literatur gern mit dem Schlagwort Web 2.0 belegt (vgl. O’Reilly2005). Neben einer Architektur hin zur Benutzerpartizipation hat sich auch ein Wandel in konsumentenorientierten, webbasierten Anwendungen vollzogen. Vieles, was früher mit proprietärer Software erledigt wurde, gibt es heute als Dienstleistung im Internet. Das bedeutet nicht nur, dass Software unabhängig vom Betriebssystem und für beliebig viele Endgeräte an jedem beliebigen Standort zur Verfügung steht, sondern auch, dass viele Ressourcen –man denke nur an Wikipedia –durch eine Bündelung kollektiver Intelligenz entstehen (Skiba 2006, Web 212). Die Möglichkeit zur räumlich und zeitlich unabhängigen Bearbeitung desselben Dokuments erhält eine neue Dimension durch die in AJAX-Technik realisierbare Echtzeitanzeige sämtlicher Kollaborateure und deren Editionsschritte. AJAX ermöglicht die ausschließliche Übertragung von relevanten, neu geänderten Daten, was die Menge der zwischen Server und Client übertragenen Daten minimiert (vgl. Wenz 2006, 13). Ein besonderer dieser neuen, kollaborativ nutzbaren Web-Dienste, die Online-Plattform Google Docs, ihr praktischer Einsatz im fremdsprachlichen Schreibunterricht und die dadurch entstehende Veränderung der klassischen Lerner- und Lehrerrollen sind das zentrale Thema dieses Aufsatzes. Die praktische Erfahrung für dieses Anwendungsbeispiel liefert ein 2- SWS DaF-Aufsatzkurs mit ca. 30 Teilnehmerinnen (KT) auf mittlerem Niveau2 an einer taiwanischen Universität.
Article
Full-text available
Research on classroom cooperative learning techniques, in which students work in small groups and receive rewards or recognition based on their group performance, has been increasing in the past few years. This review summarizes the results of 28 primary field projects lasting at least 2 weeks, in which cooperative learning methods were used in elementary or secondary classrooms. The pattern of research findings supports the utility of cooperative learning methods in general for increasing student achievement, positive race relations in desegregated schools, mutual concern among students, student self-esteem, and other positive outcomes. The various cooperative learning methods are contrasted in terms of characteristics and outcomes, and the next steps for research in this area are outlined.
Article
Group work can form a substantial component of degree programme assessments. To satisfy institutional and student expectations, students must often be assigned individual marks for their contributions to the group project, typically by mapping a single holistic group mark to individual marks using peer assessment scores. Since the early 1990s, various mapping methods that use self- and peer ratings have been developed. They are based on (normalised) individual weighting factors, partial scaling of the group mark, inter-rater agreement corrections or parabolic functions. We show that no single existing method can be successfully applied to most practical peer assessment scenarios such as different marking scale interpretations, intra-group ranking errors, biased free-riders and marks exceeding 100%. We present a combined analytical mapping method that incorporates the benefits of existing mechanisms, but alleviates their weaknesses with minimum computational effort and tutor input. The robustness of the method is illustrated through problematic assessment examples and empirically evaluated in multiple group work environments involving a total of 243 students and five different disciplines.
Article
This paper presents comparisons of three peer evaluation instruments tested among students in undergraduate engineering classes: a single-item instrument without behavioral anchors, a ten-item instrument, and a single-item behaviorally anchored instrument. Studies using the instruments in undergraduate engineering classes over four years show that the use of behavioral anchors significantly improves the inter-rater reliability of the single-item instrument. The inter-rater reliability (based on four raters) of the behaviorally anchored instrument was 0.78, which was not significantly higher than that of the ten-item instrument (0.74), but it was substantially more parsimonious. The results of this study add to the body of knowledge on evaluating students' performance in teams. This is critical since the ability to function in multidisciplinary teams is a required student learning outcome of engineering programs.
Article
The use of peer assessment as a way of differentiating between individual students on a group project is discussed. A new style of peer appraisal questionnaire for the students to complete is introduced, together with the detailed description of a method of calculating a ‘peer assessment factor’ from these questionnaires. This factor allocates to an individual group member a percentage of the mark awarded to the group's project submission. The results obtained when this scheme was used on a large first year course are discussed, together with some possible modifications and their effects. Examples of the appraisal questionnaire and the calculations are included