Het proefschrift omvat drie theoretische bijdragen en drie empirische studies over peer assessment, een algemene introductie en afsluitende reflecties met een discussie van de resultaten, een discussie van de onderwijskundige implicaties en een discussie van enkele methodologische kwesties.
De eerste bijdrage beschrijft de rol die peer assessment kan vervullen in het versterken van de consequentiële validiteit van een assessment systeem. Ten eerste worden de verschillende soorten effecten op leren verhelderd die assessment in het algemeen kan hebben, en worden de ontwerpprincipes geformuleerd om de consequentiële validiteit van een assessment systeem te verhogen. Vervolgens wordt aangetoond dat peer assessment helpt om tegemoet te komen aan de geïdentificeerde ontwerpprincipes die de consequentiële validiteit van een assessment systeem doen stijgen. Meer specifiek toont dit proefschrift dat peer assessment het beter doenbaar kan maken om uitdagende en authentieke taken op te nemen in een assessment syteem; dat het kan helpen om de assessment eisen duidelijker te maken naar studenten toe; dat het kan zorgen voor een supplement voor of een vervanging van formatief assessment door de docent of leraar; en ten slotte, dat het de respons op de feedback van de docent of leraar kan ondersteunen.
De tweede bijdrage gaat verder dan de impact van peer assessment op de consequentiële validiteit, en behandelt het probleem dat de output van peer assessment tegen een verscheidenheid aan kwaliteitscriteria beoordeeld wordt in de literatuur, waardoor er een verwarrend beeld ontstaat. De verschillende conceptualisaties van kwaliteit die in de literatuur voorkomen worden geanalyseerd. Er wordt aangetoond dat de discussies over de meest geschikte kwaliteitscriteria voor de output van peer assessment teruggebracht kunnen worden naar de onderliggende verschillen in doelen. Het meest voor de hand liggende doel van peer assessment is het gebruik als assessment middel. Het leerdoel van peer assessment is ook breed gekend. Nader onderzoek van de literatuur levert drie bijkomende doelen op: vestigen van sociale controle in de leeromgeving; voorbereiden van studenten op zelfcontrole en zelfregulatie bij levenslang leren; en actieve participatie van studenten of leerlingen in de klas. Elk van deze doelen resulteert in andere kwaliteitscriteria. Er wordt beargumenteerd dat enkel de criteria die congruent zijn met het doel dat men nastreeft overwogen moeten worden wanneer men de kwaliteit van peer assessment evalueert.
De derde bijdrage start van de vaststelling dat, samen met de expansie van het peer assessment onderzoek in het laatste decennium, ook de diversiteit van de peer assessment toepassingen exponentieel gestegen is. Deze diversiteit stelt problemen voor zowel gebruikers als onderzoekers van peer assessment. Er wordt een inventaris voor peer assessment diversiteit ontwikkeld die interessant kan zijn voor gebruikers, als checklist voor belangrijke beslissingen die genomen moeten worden of als overzicht van mogelijke alternatieven voor een specifieke toepassing, en voor onderzoekers, als een leidraad voor welke informatie te verschaffen over de details van hun peer assessment ontwerp.
De vierde bijdrage vergelijkt de impact van peer feedback en leerkrachtfeedback op het leren en behandelt de vraag of peer feedback kan fungeren als een vervanging van expertenfeedback. Een pretest posttest controlegroep design onderzoekt de langetermijneffectenvan individuele peer feedback en collectieve leerkrachtfeedback op schrijfopdrachten in het secundair onderwijs (N=85). Bovendien onderzoekt het de meerwaarde van twee maatregelen om de repons van de feedbackontvanger op peer feedback te ondersteunen: een a priori twijfelformulier en een a posteriori repliekformulier. De studie toont aan dat er geen significant verschil is tussen de leerlingen in de conditie met enkel vervangende peer feedback en de controleconditie met leerkrachtfeedback wat betreft vooruitgang in punten op de opstellen. Beide groepen (enkel peer feedback én leerkrachtfeedback) blijken echter significant minder vooruitgang te maken dan de groepen in de ‘uitgebreide’ feedbackcondities met het twijfel- of repliekformulier.
De vijfde bijdrage onderzoekt een groep van 68 eerstejaars leerlingen in het secundair onderwijs die een formatieve peer assessment hebben meegemaakt voor drie opeenvolgende schrijftaken. Ze zijn opgedeeld in twee experimentele condities (dezelfde als de ‘uitgebreide’ feedbackcondities in de vorige bijdrage) en een controlegroep met enkel peer feedback. De vooruitgang van leerlingen in schrijfprestaties wordt onderzocht ten opzichte van de mate van constructief zijn van de peer feedback die ze gaven en ontvingen, en ten opzichte van de conditie waartoe ze behoorden. Het effect van het constructief zijn van feedback wordt bestudeerd vanuit twee richtingen: vanuit het standpunt van de ontvanger van peer feedback (‘assessment for learning’) en vanuit het standpunt van de feedbackgever (‘assessing for learning’). De resultaten van de analyse van herhaalde metingen tonen een significant positief effect van de samenstelling van de ontvangen peer feedback op leerlingprestaties. Het constructief zijn van de feedback die leerlingen zelf verschaften blijkt daarentegen geen positief effect te hebben op hun leren. Globaal genomen is de feedback echter weinig constructief. Mogelijke barrières die leerlingen hebben weerhouden om goede feedback te geven, en oplossingen ervoor, worden besproken in de paper. Tot slot kan de studie het effect van conditie dat gevonden werd in de vierde bijdrage van dit proefschrift niet repliceren.
De zesde bijdrage vergelijkt de sterktes en zwaktes van peer feedback en docentfeedback vanuit het perspectief van de student. De studie is gesitueerd in een universiteitsvak met 192 eerstejaarssstudenten in de pedagogische wetenschappen. Algemene, collectieve docentfeedback op de kladversies van een reeks cumulatieve opdrachten wordt gecomplementeerd met een formatief peer assessment systeem. Startend van een hypothetisch opgelegde keuze worden de gepercipieerde kenmerken van beide bronnen van feedback in de diepte onderzocht, evenals hun gepercipieerde bijdrage aan een leeromgeving die tegemoet komt aan de behoeften van de lerende. Deze perspectieven worden aangevuld met de redenen die studenten rapporteren om één van beide bronnen van feedback te prefereren. Gesloten vragenlijst-items worden getrianguleerd met kwalitatieve data van open vragen. De resultaten tonen dat bij benadering de helft van de studenten bereid is om de geloofwaardigheid van docentfeedback in te ruilen voor de specificiteit van peer feedback als ze moeten kiezen. Beide bronnen van feedback blijken echter hun eigen sterktes en zwaktes te hebben vanuit het perspectief van de student. Ze zijn complementair en ze creëren zelfs de voorwaarden waaronder de complementaire bron sterker wordt. The dissertation includes three theoretical contributions and three empirical studies on peer assessment, a general introduction and final reflections including a discussion of the results, a discussion of the educational implications and a discussion of some methodological issues.
The first contribution delineates the role that peer assessment can play in raising the consequential validity of an assessment system. First, it clarifies the type of effects that assessment in general can have on learning, and formulates the design principles for increasing the consequential validity of an assessment system. Then, it is shown that peer assessment helps to meet the identified design principles that enhance consequential validity of an ‘assessment system’. More specifically, this dissertation shows that peer assessment can make it more feasible to include challenging and authentic tasks in one’s assessment system; it can help making the assessment demands more clear to the students; it can provide a supplement or a substitute for formative staff assessment; and finally, it can support the response to teacher feedback.
The second contribution goes beyond the impact of peer assessment on the consequential validity, and addresses the problem that the output of peer assessment is evaluated against a variety of quality criteria in the literature, resulting in a cluttered picture. The different conceptualisations of quality that appear in the literature are analysed. It is shown that discussions about the most appropriate quality criteria for the output of peer assessment should be brought back to the underlying differences in goals. The most obvious goal is its use as an assessment tool. The learning goal of peer assessment has also been well-established. Investigating the literature more closely yields three additional goals: installation of social control in the learning environment; preparation of students for self-monitoring and self-regulation in lifelong learning; and active participation of students in the classroom. Each of these goals results in different quality criteria. It is argued that only the criteria that are congruent with the goal that one is trying to achieve should be considered when evaluating the quality of peer assessment.
The third contribution starts from the observation that, together with the expansion of peer assessment research in the last decade also the diversity of peer assessment practices has increased exponentially. This diversity poses difficulties for practitioners as well as researchers. An inventory of peer assessment diversity is developed that may be of interest to practitioners, as a checklist of important decisions to take or an overview of possible alternatives to a specific practice, and to researchers, as a guideline of which information to provide on the particularities of their peer assessment design.
The fourth contribution compares the impact of peer feedback and teacher feedback on student learning, addressing the question whether peer feedback can serve as a substitute for expert feedback. A pretest posttest control group design examines the long term learning effects of individual peer feedback and collective teacher feedback on writing assignments in secondary education ( N =85). Moreover, it examines the added-value of two measures to support the response of the assessee to peer feedback: an a priori question form and an a posteriori reply form. The study shows no significant difference in students’ progress on essay marks between the condition with plain substitutional peer feedback and the control condition with teacher feedback. However, both groups (plain peer feedback ànd teacher feedback) appear to make significantly less progress then the groups in the ‘extended’ feedback conditions with the question or the reply form.
The fifth contribution examines a group of 68 first year students in secondary education who experienced formative peer assessment for three successive writing assignments. They are divided in two experimental conditions (similar to the ‘extended’ feedback conditions in the previous contribution) and a control condition with plain peer feedback. Students’ progress in writing performance is examined against the constructiveness of the peer feedback they gave and received, and against the condition in which they participated. The effect of the constructiveness of feedback is studied from two directions: from the point of view of the receiver of the peer feedback (‘assessment for learning’) and from the point of view of the assessor who gave peer feedback (‘assessing for learning’). The results of a repeated measures analysis show a significant positive effect of the composition of the received peer feedback on student performance. The constructiveness of feedback that students provided themselves is not found to improve their learning. However, the overall level of constructiveness of the feedback is low. Possible barriers preventing students from providing good feedback, and solutions to these, are discussed in the paper. Finally, the study cannot replicate the effect of condition that was found in the fourth contribution.
The sixth contribution compares strengths and weaknesses of peer feedback and staff feedback, from the student’s perspective. The study is situated in a university course with 192 first year students in educational sciences. Generic, collective staff feedback on the draft versions of a series of cumulative assignments is complemented with a formative peer assessment system. Starting from a hypothetical forced choice, a further in-depth study addresses the perceived characteristics of both sources of feedback and their perceived contribution to a learning environment that attends the learner’s needs. These perspectives are complemented with reasons reported by students to prefer one of both sources of feedback. Closed-ended questionnaire items are triangulated with qualitative data from open-ended questions. Results show that approximately half of the students were willing to trade in the credibility of staff feedback for the specificity of peer feedback if they have to choose. However, both sources of feedback show to have their own strengths and weaknesses from the student’s perspective. They are complementary and they even provide the conditions under which the complementary source becomes better. Doctor in de Pedagogische Wetenschappen Centrum voor Opleidingsdidactiek Onderzoekseenheid Pedagogische Wet. Faculteit Psychologie en pedagogische wetenschappen Doctoral thesis Doctoraatsthesis