Conference PaperPDF Available

Automatisierte Qualitätssicherung in MOOCs durch Learning Analytics

Authors:
Jan Renz at Hasso Plattner Institute
Jan Renz
Tobias Rohloff
Tobias Rohloff
Christoph Meinel at German University of Digital Science
Christoph Meinel
  • German University of Digital Science
Download full-text PDF
Read full-text
Download citation

Abstract

Dieser Beitrag beschreibt wie mithilfe von Learning Analytics Daten eine automatisierte Qualitätssicherung in MOOCs durchgeführt werden kann. Die Ergebnisse sind auch für andere skalierende E-Learning Systeme anwendbar. Hierfür wird zunächst beschrieben, wie in den untersuchten Systemen (die als verteilte Dienste in einer Microservice-Architektur implementiert sind) Learning Analytics Werkzeuge umgesetzt sind. Darauf aufbauend werden Konzept und Implementierung einer automatisierten Qualitätssicherung beschrieben. In einer ersten Evaluation wird die Nutzung der Funktion auf einer Instanz der am HPI entwickelten MOOC-Plattform untersucht. Anschließend wird ein Ausblick auf Erweiterungen und zukünftige Forschungsfragen gegeben.
Content uploaded by Tobias Rohloff
Author content
All content in this area was uploaded by Tobias Rohloff on May 18, 2018
Content may be subject to copyright.
Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017
Chemnitz, Germany, September 5, 2017
Automated Quality Assurance in MOOCs through Learning
Analytics
Jan Renz, Tobias Rohloff, Christoph Meinel
Abstract: This article describes how Learning Analytics data can be used to create an
automated quality assurance for MOOCs. The results can also be applied in other scalable
e-learning systems. To this end, we first describe how Learning Analytics tools are
implemented in the systems examined (which are implemented as distributed services in
a microservice architecture). On this basis, the concept and implementation of automated
quality assurance are described.
In an initial evaluation, the use of the function on an entity of the MOOC platform
developed at HPI will be examined. Afterwards, an outlook on extensions and future
research questions will be given.
Renz, J.; Rohloff, T. & Meinel, C. (2017), Automatisierte Qualitätssicherung in MOOCs durch Learning Analytics,
in ‘Joint Proceedings of the Pre-Conference Workshops of DeLFI and GMW 2017’, Chemnitz, Germany,
September 5, 2017, CEUR-WS.org, online http://ceur-ws.org/Vol-2092/paper24.pdf
cbe
Automatisierte Qualitätssicherung in MOOCs durch
Learning Analytics
Jan Renz1
, Tobias Rohloff2
, Christoph Meinel3
Abstract: Dieser Beitrag beschreibt wie mithilfe von Learning Analytics Daten eine automatisierte
Qualitätssicherung in MOOCs durchgeführt werden kann. Die Ergebnisse sind auch für andere skalie-
rende E-Learning Systeme anwendbar. Hierfür wird zunächst beschrieben, wie in den untersuchten
Systemen (die als verteilte Dienste in einer Microservice-Architektur implementiert sind) Learning
Analytics Werkzeuge umgesetzt sind. Darauf aufbauend werden Konzept und Implementierung einer
automatisierten Qualitätssicherung beschrieben. In einer ersten Evaluation wird die Nutzung der
Funktion auf einer Instanz der am HPI entwickelten MOOC-Plattform untersucht. Anschließend wird
ein Ausblick auf Erweiterungen und zukünftige Forschungsfragen gegeben.
Keywords: MOOCs; Learning Analytics; Qualitätssicherung
1 Motivation
MOOCs sind unter anderem deshalb so erfolgreich, da sie Lernen bei wenig und nur
kleinteiliger freier Zeit ermöglichen. Leider findet sich das Phänomen der Zeitknappheit
auch bei Kursproduzenten wieder, was zu vermeidbaren qualitativen Schwächen führen
kann. In der Praxis hat sich jedoch gezeigt, dass vorhandene Angebote (allgemeine Best
Practises Sammlungen wie das MOOC Book
4
oder systemspezifische Dokumentationen)
nicht in dem gewünschten Maße angenommen werden und daher nicht als nachhaltige
Maßnahme der Qualitätssicherung in Frage kommen. Daher soll ein automatisiertes
Qualitätssicherungssystem, welches im Folgenden beschrieben wird, diese Aufgaben
unterstützen.
2 Konzept
Learning Analytics zum Zwecke der Qualitätssicherung einzusetzen ist ein naheliegender
Gedanke und wird u.a. von Greller und Drachsler beschrieben [
GD12
]. In diesem Konzept
1
Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.-
Helmert-Straße 2-3, 14482 Potsdam, Deutschland, jan.renz@hpi.de
2
Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.-
Helmert-Straße 2-3, 14482 Potsdam, Deutschland, tobias.rohloff@hpi.de
3
Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.-
Helmert-Straße 2-3, 14482 Potsdam, Deutschland, christoph.meinel@hpi.de
4http://bizmooc.eu/mooc-manual/
Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017
Chemnitz, Germany, September 5, 2017
Jan Renz, Tobias Rohloff, Christoph Meinel
soll diese Qualitätssicherung allerdings nicht für die Lehrenden überwachend, sondern
assistierend angeboten werden. Als ersten Schritt gilt es die gelernten Best Practices in
maschinenausführbare Regeln zu übersetzen. Diese Regeln (intern QCRules) werden dann
periodisch geprüft und erzeugen bei Verletzung eine Warnung (intern QCAlert). Jeder Alarm
hat eine Priorität die gering, mittel oder hoch betragen kann und je nach Relevanz der hinter
der Regel stehenden Best Practice und dem Grad der Verletzung bestimmt wird. Zusätzlich
können Regeln mit Handlungsempfehlungen verknüpft werden, die den Teaching-Teams
helfen sollen.
2.1 Regeln zur Qualitätssicherung
Betrachtet man die in Tabelle 1 aufgeführten Regeln, so fällt zunächst auf, dass nur drei
der elf Regeln auf expliziten Learning Analytics Daten aufbauen. Bei aktivitätsbasierten
Regeln soll bei einer festgestellten negativen Abweichung eines Kurses von der normalen
oder durchschnittlichen Aktivität im Vergleich zu anderen Kursen gewarnt werden. Hierfür
kommen kombinierte Metriken aus dem Learning Analytics Dienst zum Einsatz.
Regel Datenquelle Filter
Video Events
(Anomalien in Videonutzung) Learning Analytics Aktive Kurse
Difficult Selftest
(Frage zu schwer)
Quiz- und
Submission-Dienst Aktive Kurse
Quiz Performance
(Quiz zu schwer) Learning Analytics Aktive Kurse
Pinboard Activity
(Zu geringe Aktivität in den Foren) Learning Analytics Aktive Kurse
Pre-Course Announcement
(Keine Mitteilung vor Kursstart versendet) News-Dienst Vor Kursstart
Regular Course Communication
(Frequenz der Kursmitteilungen zu gering) News-Dienst Aktive Kurse
Long Videos
(Videos zu lang, siehe [Re])
Video- und
Kurs-Dienst Alle Kurse
No-Show Rate
(Rate der No-Shows zu hoch, siehe [RSM16]) Kurs-Dienst Alle Kurse
Tab. 1: Übersicht der Regeln
Qualitätssicherung durch Learning Analytics
Die Schwierigkeit besteht nun in einer sinnvollen Bestimmung von Grenzwerten. Ab
welchen Werten soll eine Warnung mit welcher Priorität erzeugt werden? Hierfür kam eine
Kombination von zwei Methoden zum Einsatz. Zunächst wurden in Experteninterviews
Kurse abgefragt bei denen alles in Ordnung war und solche bei denen von Expertenseite
aus eine Warnung angemessen wäre. Anschliessend wurden die entsprechenden Werte
der Kurse berechnet. Ergänzt wurde dieser Ansatz durch eine explorativen Analyse aller
bestehenden Kurse. Hierfür wurden für alle Kurse die entsprechenden Zahlen, also bspw.
die KPI Pinboard-Aktivität ermittelt und grafisch visualisiert (Abbildung 1). Auf dieser
Grundlage wurden die eingesetzten Grenzwerte ermittelt.
Abb. 1: Pinboard-Aktivität in der ersten Kurswoche für openHPI-Kurse seit Anfang 2016
3 Evaluation
Seit Veröffentlichung des Systems im Sommer 2016 wurden auf openHPI 349 Warnungen
erzeugt. Davon wurden 83 automatisch wieder geschlossen. Von allen erzeugten Events
waren: 0 Video Events, 21 Difficult Selftest, 150 Quiz Performance, 1 Announcement
Failed, 15 No Show Rate, 11 Pinboard Activity, 23 Pinboard Closed Check, 23 Pre-Course
Announcement, 16 Regular Course Communication und 89 Long Videos. Durchschnittlich
wurden 13 Events pro Kurs erzeugt. Die durchschnittliche Lebensdauer einer später
geschlossenen Warnung beträgt 39,5 Tage
5
und ist als deutlich zu lang anzusehen. Dies
5
Viele Regeln schliessen Warnungen automatisch zum Kursende. Viele Warnungen wurden also vermutlich nicht
bearbeitet.
Jan Renz, Tobias Rohloff, Christoph Meinel
lässt sich teilweise damit erklären, dass die Warnungen zwar in den täglichen Mails und
den Kursdashboards angezeigt werden, aber eine Nichtbeachtung der Warnungen keine
Nachteile verursacht. Manche Warnungen (Video Events) wurden gar nicht erzeugt, was ein
Indikator für zu strenge Grenzwerte sein kann.
4 Zusammenfassung und Ausblick
Abschließend zeigt sich, dass eine automatisierte Qualitätssicherung ein praktikabler Ansatz
zur Anwendung von Best Practises darstellt. Insbesondere wenn aus Kapazitätsgründen
kein direktes Monitoring durch einen Kursmanager durchgeführt werden kann, bietet ein
solches System einen Mehrwert. Auch für Plattformen bei denen ein solches Monitoring
durchgeführt wird, kann ein solches System den Kursmanager unterstützen und helfen
kritische Situationen zeitnah zu identifizieren.
Sinnvoll definiere Grenzwerte sind hierbei einer der wesentlichen Faktoren, die bei dem
Betrieb eines solches Systems von höchster Wichtigkeit sind. Allerdings ist der Prozess
der Definition solcher Werte nicht trivial und selbst für erfahrende Kursmanager schwierig.
Durch entsprechend angereicherte Learning Analytics Daten lassen sich komplexe Regeln
performant und einfach definieren. Einige der Regeln können nur durch Learning Analytics
Daten überprüft werden. Dies zeigt das der hier gewählte konzeptuelle Ansatz der Nutzung
von Learning Analytics Daten zum Zwecke der Qualitätssicherung schlüssig ist. Jedoch
muss gewährleistet werden, dass Teaching Teams dazu angehalten sind, sich mit den vom
System erzeugten Warnungen und Handlungsempfehlungen zu beschäftigen. Das reine
Bereitstellen der Warnungen reicht nicht aus. So sollten Teaching Team Mitglieder bei
Erstellung einer Warnung direkt eine entsprechende Information per Mail und ggf. per
mobiler App bekommen. Zusätzlich kann es gerade für Teams mit wenig Erfahrung hilfreich
sein, wenn diese Benachrichtigungen direkt die mit der Regel verknüpften konkreten
Handlungsempfehlungen beinhalten. Grenzwerte sollten regelmäßig überprüft und bei
Bedarf angepasst werden. Ein alternativer Ansatz besteht in einer Automatisierung der
Grenzwerte. Dabei könnten global oder mittels erstellter Kurs-Gruppen eine Ermittlung
von Grenzwerten durch lernende Algorithmen erfolgen.
Literaturverzeichnis
[GD12]
Greller, Wolfgang; Drachsler, Hendrik: Translating learning into numbers: A generic
framework for learning analytics. Educational technology & society, 15(3):42–57, 2012.
[Re]
Renz, Jan; Bauer, Matthias; Malchow, Martin; Staubitz, Thomas; Meinel, Christoph: Opti-
mizing the video experience in moocs. In: EDULEARN15 Proceedings, 7th International
Conference on Education and New Learning Technologies. S. 5150–5158.
[RSM16]
Renz, Jan; Schwerer, Florian; Meinel, Christoph: openSAP: Evaluating xMOOC Usage
and Challenges for Scalable and Open Enterprise Education. International Journal of
Advanced Corporate Learning, 9(2), 2016.
... MOOCs are open, traceable, trackable, accessible and evaluated by a massive number of users [56] and as such are more closely monitored than individual training done behind closed doors. In addition, automated quality assurance with learning analytics is making progress [57]. MOOCs not only make learning analytics accessible, but also offer proof of what employees learn and with what results. ...
Transforming Workplace Learning: A Qualitative Inquiry into Adopting Massive Open Online Courses into Corporate Learning and Development
Article
Full-text available
  • Jun 2021
Despite the wide acknowledgement of the knowledge-based economy, the need for life-long learning and quickly growing open online resources, Massive Open Online Courses (MOOCs) are not common means of corporate learning and development programs. The aim of this study is to identify key factors determining the adoption of MOOCs in corporate workplace learning programs. In this exploratory research, the authors employ empirical data from 36 in-depth interviews with corporate managers directly responsible for learning and development practices. Findings provide potential explanations for the mismatch between a generally positive attitude towards MOOCs and their still low adoption rate by identifying expectations towards MOOCs, as well as major reservations. We find that while corporations recognize the opportunities MOOCs can introduce into workplace learning, elevated expectations, negative first-time experiences and objective barriers inhibit MOOC adoption in corporate learning and development programs. It is among the first to expose the perspective of organizations at an early stage of adopting MOOCs. The findings provide a novel contribution to both workplace learning scholarship as well as practical recommendations which can inform HR managers’ decisions in regard to adopting digital means in workplace learning.
View
... Diese helfen den Plattformbetreibern und Lehrenden, einen Überblick über Kurse zu erhalten, um Anomalien festzustellen, und zur Qualitätssicherung. Für letzteres werden auf Erfahrungswerten basierende Best Practices in maschinenausführbare Regeln übersetzt, periodisch geprüft und Warnungen bei Verletzung der Regeln erzeugt ( Renz et al. 2017). Beispiele für solche Regeln sind zu schwere Tests, zu lange Videos, oder auch, ob regelmäßig Kursbenachrichtigungen versendet wurden. ...
openSAP – der Enterprise-MOOC-Pionier
Chapter
  • Jan 2020
openSAP startete 2013 als Pilotprojekt. Fünf Jahre später stehen mehrere hundert Kurse online kostenlos zur Verfügung, und fast 300 Kurse beweisen den Erfolg der Plattform. Innerhalb der Lernwelt der SAP hat openSAP seinen festen Platz gefunden. Dieses Kapitel beschreibt die Anfänge und wie aus den akademischen MOOCs von openHPI das Konzept für die Enterprise MOOCs von openSAP abgeleitet wurde. Eine unternehmensorganisatorische Sicht zeigt, welche Rollen und Ressourcen für ein solches Projekt notwendig sind. Auch spezielle skalierbare Aufgabentypen und Kollaborationsformate wie Peer-Assessments und Lernräume, die für und mit SAP entwickelt wurden, werden erläutert. Neben Anmerkungen zum Kursformat und Abschlussquoten wird auf die Themen Mobiles Lernen und Learning Analytics eingegangen.
View
openSAP: Evaluating xMOOC Usage and Challenges for Scalable and Open Enterprise Education
Article
Full-text available
  • Aug 2016
div class="page" title="Page 1"> The openSAP University is a co-innovative initiative founded in 2013 by SAP SE in partnership with the Hasso-Plattner-Institute (HPI) located in Potsdam, Germany. With its new course offering, SAP responds to a rising demand for scalable knowledge transfer due to the digital transformation by making use of the Massive Open Online Courses (MOOC) format. This paper provides a brief introduction to the first Enterprise MOOC platform openSAP, including details about the learning environment and the underlying platform, different team roles and usage statistics. In addition, the topic of dropouts in enterprise MOOCs will be addressed and discussed. A standardized calculation model for enterprise MOOCs to measure completion and consumption rates is proposed. The paper closes with an outlook about the future work on enterprise MOOCs. </div
View
Optimizing the Video Experience in MOOCs
Conference Paper
Full-text available
  • Jul 2015
Massive Open Online Courses have gained more and more popularity in the recent years. Video Content contributes a vital aspect of the learning experience in MOOCs. The paper at hand proposes ways to optimize the video experience in MOOCs. Single stream videos will be considered as well as the openHPI's dual stream video player. openHPI is the MOOC platform of the Hasso Plattner Institute, providing MOOCs to thousands of users since 2012. One of the unique features of our video player is the possibility to play two synchronized video streams. Based on collected usage data of our html5 based video player we evaluate the learners acceptance of features, such as adaptive playback speed, dual video scaling, full-screen mode, slide navigation and subtitles. Furthermore, we will discuss the impact on the users learning outcome.
View
Translating Learning into Numbers: A Generic Framework for Learning Analytics
Article
Full-text available
  • Jul 2012
  • EDUC TECHNOL SOC
With the increase in available educational data, it is expected that Learning Analytics will become a powerful means to inform and support learners, teachers and their institutions in better understanding and predicting personal learning needs and performance. However, the processes and requirements behind the beneficial application of Learning and Knowledge Analytics as well as the consequences for learning and teaching are still far from being understood. In this paper, we explore the key dimensions of Learning Analytics (LA), the critical problem zones, and some potential dangers to the beneficial exploitation of educational data. We propose and discuss a generic design framework that can act as a useful guide for setting up Learning Analytics services in support of educational practice and learner guidance, in quality assurance, curriculum development, and in improving teacher effectiveness and efficiency. Furthermore, the presented article intends to inform about soft barriers and limitations of Learning Analytics. We identify the required skills and competences that make meaningful use of Learning Analytics data possible to overcome gaps in interpretation literacy among educational stakeholders. We also discuss privacy and ethical issues and suggest ways in which these issues can be addressed through policy guidelines and best practice examples.
View