ArticlePDF Available

Learning Analytics -Studierende im Fokus

Authors:

Abstract

Der Einsatz von Learning Analytics etabliert sich zunehmend an Hochschulen. Im Rahmen eines vom BMBWF kofinanzierten Projekts wurde sowohl auf Ebene der Lehrveranstaltung als auch auf Ebene des Studiums angesetzt. Tools und Qualifizierungsmaßnahmen wurden entwickelt, die Studierende und ihre Interessen ins Zentrum stellen. Das Projekt verfolgt somit einen studierendenzentrierten Ansatz, der Autonomie und Freiwilligkeit der Teilnahme in den Vordergrund rückt. An den drei beteiligten Universitäten wurden Dashboards, wie der Learner’s Corner sowie Begleitmaßnahmen (Mentoring, Tutorials, …) entwickelt und empirisch überprüft. Außerdem wurden ethische und datenschutzrechtliche Richtlinien im Rahmen eines interdisziplinär erarbeiteten Kriterienkatalogs entwickelt. Im Beitrag wird der Einsatz von Learning-Analytics-Tools auf unterschiedlichen Ebenen (Moodle-Plug-ins, Anwendung zur Visualisierung des Studienfortschritts) anhand von aus dem Projekt ausgewählten Schwerpunkten exemplarisch veranschaulicht und einzelne empirische Ergebnisse werden vorgestellt.
DOI: 10.3217/zfhe-SH-HL/12 223
Larissa BARTOK1 (Wien), Mana-Teresa DONNER (Graz), Martin EBNER
(Graz), Nicole GOSCH (Graz), Daniel HANDLE-PFEIFFER (Wien), Sandra
HUMMEL (Graz), Gisela KRIEGLER-KASTELIC (Wien), Philipp LEITNER
(Graz), Tiantian TANG (Wien), Hristina VELJANOVA (Graz), Christoph
WINTER (Wien) & Charlotte ZWIAUER (Wien)
Learning Analytics – Studierende im Fokus
Zusammenfassung
Der Einsatz von Learning Analytics etabliert sich zunehmend an Hochschulen. Im
Rahmen eines vom BMBWF konanzierten Projekts wurde sowohl auf Ebene der
Lehrveranstaltung als auch auf Ebene des Studiums angesetzt. Tools und Quali-
zierungsmaßnahmen wurden entwickelt, die Studierende und ihre Interessen ins
Zentrum stellen. Das Projekt verfolgt somit einen studierendenzentrierten Ansatz,
der Autonomie und Freiwilligkeit der Teilnahme in den Vordergrund rückt. An den
drei beteiligten Universitäten wurden Dashboards, wie der Learner’s Corner sowie
Begleitmaßnahmen (Mentoring, Tutorials, …) entwickelt und empirisch überprüft.
Außerdem wurden ethische und datenschutzrechtliche Richtlinien im Rahmen
eines interdisziplinär erarbeiteten Kriterienkatalogs entwickelt.
Im Beitrag wird der Einsatz von Learning-Analytics-Tools auf unterschiedlichen
Ebenen (Moodle-Plug-ins, Anwendung zur Visualisierung des Studienfortschritts)
anhand von aus dem Projekt ausgewählten Schwerpunkten exemplarisch veran-
schaulicht und einzelne empirische Ergebnisse werden vorgestellt.
Schlüsselwörter
Learning Analytics, LA-tools, Lernerfolg, Studienerfolg, Lernmanagementsystem
1 E-Mail: larissa.bartok@univie.ac.at
Larissa Bartok et al.
224 www.zfhe.at
Learning analytics – Students in focus
Abstract
The use of learning analytics is becoming increasingly widespread at universi-
ties. As part of a project co-nanced by the BMBWF , both the course and the
study programme level were addressed. Tools and qualication measures were
developed that put students and their interests in the foreground. The project thus
pursues a student-centered approach that focuses on autonomy and voluntary
participation. Dashboards (e.g., the Learner‘s Corner) and accompanying mea-
sures (mentoring, tutorials, ...) were developed and empirically tested at the three
participating universities. In addition, ethical and data protection guidelines were
developed as part of an interdisciplinary criteria catalog. This paper illustrates the
use of learning analytics tools at di󰀨erent levels (LMS plug-ins, application for vi-
sualising study progress) using examples from the project and individual empirical
results and presents key ndings.
Keywords
learning analytics, LA-tools, learning success, study success, learning manage-
ment system
1 Einleitung
LONG und SIEMENS (2011, S. 34) stellten erstmals den Begri Learning Analy-
tics (LA) im Rahmen der ersten LAK-Konferenz 2011 vor, er kann wie folgt de-
niert werden: Learning Analytics ist „die Messung, Sammlung, Analyse und Aus-
wertung von Daten über Lernende und ihre Analyse und Auswertung zum Zwecke
des Verständnisses und der Optimierung des Lernens und der Umgebung, in der es
stattndet“. Wir schließen uns dieser Denition hier explizit an: Es geht im Projekt
um die Studierenden selbst, die von der Analyse und Aufbereitung ihrer Daten pro-
tieren sollen. Daher wird ein studierendenzentrierter Ansatz verfolgt, der Auto-
nomie und Freiwilligkeit der Teilnahme in den Vordergrund rückt. D U VA L (2012)
ergänzte, es gehe darum „Spuren zu sammeln, die Lernende hinterlassen, und diese
dann zu nutzen, um das Lernen zu verbessern“.
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
225
Unterschieden wird in der Literatur zwischen Learning Analytics, Academic Ana-
lytics (vgl. VAN BARNEVALD et al., 2012) und High Level Analytics. Die Auto-
rinnen und Autoren denieren Academic Analytics als Analysen, die sich primär an
Entscheidungsträger:innen richten, mit dem Ziel, diese mit entsprechend aufbereite-
ten Daten und Auswertungen auf institutioneller zumeist studienrelevanter Ebene zu
unterstützen. Learning Analytics verwenden hingegen Daten aus Lehr- und Lern-
settings mit dem Ziel, Studierende unmittelbar in ihrem Lernverhalten zu unterstüt-
zen (vgl. LEITNER et al., 2019). Da die Grenze zwischen den beiden Begrien häu-
g als ießend beschrieben wird, wird auch manchmal von Learning & Academic
Analytics gesprochen (vgl. HOCHSCHULFORUM DIGITALISIERUNG, 2015).
Der vorliegende Beitrag schließt sich der zitierten Denitionen von Learning Ana-
lytics an und erweitert den Begri um den Aspekt, dass immer dann von Learning
Analytics gesprochen werden kann, wenn es um die Visualisierung und (unmittel-
bare) Rückmeldung von Studierendendaten an Studierende geht, mit dem Ziel, ihr
Lern- oder Studierverhalten positiv zu beeinussen. Entsprechend wird eine Visu-
alisierung des Lernfortschritts der Studierenden innerhalb einer Lehrveranstaltung
und darüber hinaus des Studienfortschritts innerhalb eines Studiums berücksichtigt.
Damit knüpft das Projekt mit seinen beiden Ebenen an wegweisende EU-Projek-
te wie LISSA (Studierende und Studienberater:innen erhalten eine Visualisierung
der Noten und des Studienstands, auch im Vergleich zu ihren Mitstudierenden, vgl.
CHARLEER et al., 2018) und STELA an, das ebenfalls über die LV-Ebene hinaus
den Studienfortschritt adressiert (vgl. DE LAET et al., 2018). Ein ähnliches, jedoch
mehr auf KI-fokussierendes Projekt im deutschsprachigen Raum stellt zum Beispiel
das Projekt IMPACT dar (DE WITT et al., 2022).
Das Projekt „Learning Analytics – Studierende im Fokus“2 setzt konzeptionell auf
der Ebene der Lehrveranstaltung (von Studierenden durch ihr Lernhandeln im Lau-
fe des Semesters generierten Daten) sowie der Ebene des Studiums (Prüfungsdaten
von Studierenden, wie ECTS oder Noten aus verschiedenen Prüfungen) an. Auf
Ebene der Lehrveranstaltung war ein Projektziel, ein Learning-Analytics-Dash-
board für Studierende und für Lehrende in einem Learning-Management-System
(LMS) zu entwickeln, zu implementieren und Rückmeldungen von Studierenden
dazu einzuholen. Da die Anwendung eines solchen Dashboards nicht ohne entspre-
2 Projektwebsite: https://learning-analytics.at/home/; Lead: TU Graz mit Partneruniversitä-
ten: Universität Wien, Universität Graz; Laufzeit: 2020–2023
Larissa Bartok et al.
226 www.zfhe.at
chende didaktische Einbettung erfolgen sollte, wurden darüber hinaus didaktische
Empfehlungen und Tutorials und Qualizierungsmaterialien entwickelt. Der Ein-
satz von LA-Tools wurde an den drei teilnehmenden Universitäten empirisch über-
prüft und wird in Kapitel 2 näher behandelt.
Auf Ebene des Studiums wurde ein Beratungskonzept entwickelt, das den Einsatz
eines Dashboards zur Visualisierung des persönlichen Studienfortschritts in einem
Beratungssetting vorsieht (Kapitel 3). Als Grundlage für die Entwicklung des Dash-
boards wurden Analysemodelle zu Einussfaktoren auf Studienerfolg verwendet.
Die Erkenntnisse zur Modellierung ossen auch in einen projektübergreifenden Er-
fahrungsbericht3 zum Einsatz von klassischen Regressionsmodellen und Machine-
Learning-Verfahren ein.
Trotz der vielen Vorteile, die solche Systeme für Studierende bieten können, dürfen
mögliche negative Auswirkungen vor allem in Bezug auf Privatsphäre und Persön-
lichkeit von Studierenden nicht vernachlässigt werden. Vor diesem Hintergrund
sind der Schutz und die rechtskonforme Verarbeitung personenbezogener Daten
im Hochschulkontext sowie die ethische Behandlung von Daten im Rahmen eines
LA-Systems besonders wichtig. Die Einbeziehung dieser Faktoren kann als Grund-
voraussetzung dafür betrachtet werden, dass Studierende derartige Systeme als ver-
trauenswürdig ansehen. Ein Kriterienkatalog für vertrauenswürdige LA-Tools, der
sowohl datenschutzrechtliche als auch ethische Aspekte inkludiert, wurde im Pro-
jekt entwickelt und wird in dieser Arbeit kurz vorgestellt.
3 Veröentlichung geplant für Frühjahr/Sommer 2023.
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
227
2 Anwendungen von Learning-Analytics-
Dashboards in Learning-Management-
Systemen (LMS)
Dieses Kapitel widmet sich der Anwendung von Learning Analytics (LA) auf Ebene
der Lehrveranstaltung. Zunächst soll auf Kernpunkte des didaktischen Einsatzes
in der Hochschullehre eingegangen werden, anschließend wird ein im Rahmen des
Projekts entwickeltes Dashboard, der Learner’s Corner, inklusive seiner Funktionen
vorgestellt.
2.1 Learning Analytics in der Hochschullehre
LA auf Lehrveranstaltungsebene ergänzen lernförderliche Interventionen und er-
möglichen aktiv, auf den Lernprozess der Studierenden einzuwirken (IFENTHA-
LER, 2015). Auf dieser Grundlage entstehen didaktische Wirkungsfelder zur Be-
reicherung der Hochschullehre, die vielfältige Entwicklungsperspektiven aufzeigen
(EGGER & HUMMEL, 2020). LA erlaubt es Lehrenden, frühzeitig Problembe-
reiche in der Lehre zu identizieren und gegebenenfalls Aufgabenstellungen oder
dafür zur Verfügung stehende Zeitrahmen neu zu denieren. Die freie Wahl von
Aufgabenformaten beispielsweise gibt Hinweise auf Lernstile und Lernpräferen-
zen und erönet vielfältige Möglichkeiten studierendenorientierter Gestaltung von
Lehrveranstaltungen (LIPP et al., 2021). Funktionen wie der Planner, der Activity
Report oder das Learning Dairy geben Lernenden konkrete Hinweise auf die Pla-
nung, Überwachung und Reexion des eigenen Lernens und ermöglichen es ihnen,
eektive Strategien für eine optimierte Lernprozessgestaltung zu identizieren und
umzusetzen.
Um die eziente Nutzung von Learning Analytics und Tools wie dem Learner’s
Corner zu unterstützen, wurde im Rahmen des Projektes ein didaktisches Quali-
zierungsprogramm für Hochschullehrende bestehend aus Online Tutorials, einer
Handreichung und Empfehlungen für hochschuldidaktische Maßnahmen entwickelt
(siehe Abb. 1).
Larissa Bartok et al.
228 www.zfhe.at
Abb. 1: Qualizierungsprogramm für Lehrende
Die Grundlage für dieses Qualizierungsprogramm stellen empirische Begleitfor-
schungen dar, die aufzeigen, wie sich der Einsatz von Learning Analytics auf die
Lernprozessgestaltung der Studierenden auswirkt und welche didaktischen Impli-
kationen daraus für Lehrende resultieren. Studierende (N = 168) wurden im Rahmen
einer quantitativen und qualitativen Begleitforschung mittels Online-Fragebogens
und Fokusgruppen hinsichtlich lernprozessunterstützender Funktionen von Lear-
ning Analytics befragt. Die Begleitforschung seitens der Lehrenden (N = 16) um-
fasste Interviews mit Learning-Analytics-Anwender:innen und gab Anregungen für
studierendenorientierte Lehrentwicklungsmaßnahmen.
Das Qualizierungsprogramm zielt darauf ab, einen kompetenten didaktischen Um-
gang mit LA in der Lehrveranstaltungsvorbereitung, -durchführung und -evalua-
tion zu gewährleisten, und wird nach Abschluss des Projekts u. a. als Online-Kurs
auf iMoox (www.iMoox.at) zur Verfügung gestellt (Kurstitel: „Lehren mit Learning
Analytics“).
Für den qualitätsvollen Einsatz von Learning Analytics bedarf es sowohl grund-
legender als auch spezischer Fähigkeiten und Kompetenzen: Beispielsweise die
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
229
Kompetenz der Lehrenden, mithilfe von Learning Analytics gezielte und auf den
Lernbedarf abgestimmte, didaktische Maßnahmen zu setzen. Das Qualizierungs-
programm greift Hinweise auf die Lernprozessgestaltung von Studierenden auf
(z. B. Self-Assessment-Resultate für formatives Feedback), die Lehrveranstaltungs-
Leiter:innen das Setzen konkreter Maßnahmen für das Erreichen einer optimalen
Passung zwischen Lehren und Lernen erlauben (z. B. Vertiefung ausgewählter
Themenbereiche). Dabei wird berücksichtigt, dass digitale Spuren (z. B. ob Dateien
geönet, online Übungen bearbeitet, Videos angesehen oder Assessments durch-
geführt wurden) tendenziell eine einseitige Einschätzung studentischen Lernverhal-
tens mit sich bringen können (EBNER et al., 2017). Das Risiko von Verzerrungen in
der Leistungsbewertung ist gegeben, da sich Learning Analytics im Messen, Sam-
meln, Analysieren und Auswerten von Daten aus dem jeweiligen Lernmanagement-
system erschöpft und beurteilungsrelevante Aspekte wie Engagement, Mitarbeit,
Kreativität oder individueller Lernfortschritt weitgehend unbeachtet bleiben.
Ansetzend an den Lernprozessen und Lehrstrategien werden daher empirisch er-
fassbare Gestaltungsparameter wie etwa Aufgabenstellungen, methodisches Design
oder Assessment-Resultate universitären Lehrens und Lernens analysiert und einem
entwicklungsförderlichen, formativem Rückmeldeformat entsprechend aufbereitet.
Hierbei gerät die wechselseitige Beziehung von didaktischer Intervention, tech-
nischer Adaption und sozialen Interaktionen in den Vordergrund (EBNER et al.,
2017). Diese Form des „Assessment for Learning and for Teaching“ trägt dazu bei,
den Studierenden ein dierenziertes Verständnis über ihr Lernmanagement, ihre
Lernaktivitäten und ihre Lernergebnisse zu verschaen, gibt Anregungen r die
Optimierung individueller Lernprozesse und lässt auf der Seite der Lehrenden Im-
plikationen für die Optimierung von Lehr-/Lernarrangements und Lernumgebun-
gen erkennen (HUMMEL, 2021). Möglichkeiten der Implementierung von Lear-
ning Analytics passend zur Kursstruktur, die Gestaltung und Bewertung verteilter
Lernaktivitäten sowie Kommunikation mit den Studierenden auf der Grundlage
der Visualisierungen des Learner’s Corner sind zentrale Bestandteile des Quali-
zierungsangebotes. Zudem werden handlungspraktische Strategien für eine stu-
dierendenorientierte Hochschullehre erarbeitet sowie Anregungen für didaktisch
elaborierte Lehrveranstaltungs (LV)-Konzepte gegeben. Auf diese Weise werden
Lehrende in der Verbesserung ihres LV-Konzepts unterstützt. Durch den didak-
tisch kompetenten Einsatz von Learning Analytics soll ein Beitrag zur Erhöhung
der Lernqualität an den beteiligten Institutionen erreicht, einem Nicht-Bestehen von
Larissa Bartok et al.
230 www.zfhe.at
Prüfungen fhzeitig entgegengewirkt und die Universität stärker als unterstützen-
der Lernort wahrgenommen werden.
Ein Beispiel eines didaktischen Konzepts, das sich besonders gut für die Verwen-
dung von LA eignet, ist der Flipped-Classroom-Ansatz. Voraussetzung für den
Einsatz von Learning Analytics sind die von Studierenden in der Selbstlernphase
hinterlassenen Daten. Diese können für die Selbstanalyse ihres Lernprozesses her-
angezogen werden. Das betrit den Zugri auf die Lernressourcen, die (kollabora-
tive) Verarbeitung von Informationen sowie – vor allem im Zusammenhang mit dem
Inverted-Classroom-Mastery-Modell (ICMM) (HANDKE, 2015) – die Nutzung
von (freiwilligen Selbst-)Tests. Im Sinn eines ICMM können Lehrende durch die
Analyse der visualisierten Ergebnisse die Präsenzphase umgestalten und dadurch
exibel auf die Bedürfnisse der Studierenden reagieren (vgl. HANDKE, 2015).
Lernprozess und Lernumgebung werden in diesem didaktischen Konzept so ge-
staltet, dass Studierende Inhalte selbstbestimmt erarbeiten können, womit selbstge-
steuertem und selbstbestimmtem Lernen eine besondere Rolle zukommt (ABEYSE-
KERA & DAWSON, 2015; DECI & RYAN, 2000a). Die Präsenzphase kann genutzt
werden, um aktives und studierendenzentriertes Lernen zu ermöglichen, während
die Wissensvermittlung in den Hintergrund rückt (BISHOP & VERLEGER, 2013;
LITTLE, 2015). Diese Ausgangslage entspricht dem Zweck von Learning Analytics:
Die dargestellten Daten der Selbstlernphase, die mit Learning-Analytics-Tools wie
beispielsweise dem Learner’s Corner visualisiert werden, dienen der Selbstanalyse
der Lernenden und der lernförderlichen Kommunikation zwischen Lehrenden und
Lernenden.
2.2 TU Graz Dashboard mit Learner’s Corner
Die Verwendung von Learning Analytics auf der Ebene der Lehrveranstaltung geht
von einer gegenseitigen Verantwortung von Studierenden und Lehrenden für den
Lernprozess aus (vgl. SCHARLE & SZABÓ, 2000). Ziel des Einsatzes ist eine Ver-
änderung des Lernverhaltens in Richtung autonome (vgl. NOLDA, 2001) Weiter-
entwicklung des eigenen Lernprozesses und damit einhergehende Selbstreexion
und -regulierung (vgl. ZIMMERMAN, 2000). Entsprechend der Grundfunktionen
der Lehre erschließen sich zwei Dimensionen des Einsatzes von LA im Learning
Management System (LMS): Einerseits als „evidenzbasierte Selbstevaluation der
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
231
Studierenden“ und andererseits als „evidenzbasiertes Feedback für Lehrende“. Mit
dem Learner’s Corner an der TU Graz wurde ein Dashboard entwickelt, welches
beide Dimensionen adressiert und von Lehrveranstaltungsleitungen in ein didakti-
sches Konzept eingebettet werden kann.
Ein LA-Dashboard meint eine Art „Cockpit“, welches möglichst übersichtlich Visu-
alisierungen von ausgewählten Daten darstellt, die Studierenden ermöglichen, ihren
eigenen Lernfortschritt zu evaluieren, zu monitoren und gegebenenfalls anzupas-
sen. SCHWENDIMANN et al. (2017) haben 55 solcher LA-Dashboards analysiert
und gefunden, dass nur etwas mehr als die Hälfte dieser (28 von 55 oder 51 %) direkt
Studierende adressiert und die Dashboards üblicherweise weniger einen Fokus auf
die Visualisierung von Lernaktivitäten legen. Der Learner’s Corner schließt diese
Lücke. Visualisierungen sollten an die Zielgruppe angepasst und so erstellt werden,
dass sie das Lernen in geeigneter Weise unterstützen (SEDRAKYAN et al., 2018).
Aufbauend und inspiriert von den eingangs erwähnten Projekten LISSA (CHAR-
LEER et al., 2018) und STELA (DE LAET et al., 2018), zahlreichen Workshops,
Feedbacks, Iterationsschleifen und unter ständiger Einbindung der Stakeholder wur-
de der Learner’s Corner entwickelt, dessen Prototyp im Anschluss beschrieben wird
und ebenfalls im Laufe des Projekts empirisch überprüft wurde (vgl. BARREIROS
et al., 2023).
Das Dashboard soll Studierende und Lehrende auf Ebene der Lehrveranstaltung
beim Lernen unterstützen. Insbesondere steht dabei die Reexion des eigenen Han-
delns (im Vergleich zu anderen Studierenden) im Vordergrund, um den eigenen
Lehr- und Lernfortschritt besser einschätzen zu können und die gesetzten Lern-
ziele zu erreichen. Studierende, die über eine gute Selbsteinschätzung verfügen und
selbstgesteuert lernen können, sind dabei nachweislich eektivere Lernende, da sie
sich eigenständig Ziele setzen, planen, ihre Fortschritte monitoren, reektieren und
zukunftsorientierte Strategien festlegen können (ZIMMERMAN, 1990). Das Le-
arner’s-Corner-Dashboard wird dabei r das TeachCenter, dem universitätsweiten
Lernmanagementsystem der TU Graz, auf Basis der Open-Source-Lernplattform-
Moodle-Version4 entwickelt und integriert.
Bei der Entwicklung des Learner’s Corner wurde bewusst auf einen modularen
Aufbau gesetzt. Dadurch besteht das Plugin einerseits aus einem zugrundeliegen-
4 https://moodle.org
Larissa Bartok et al.
232 www.zfhe.at
den Framework, welches für die Grundstruktur des Dashboards zuständig ist und
den getrennten Aufbau zwischen Front- und Backend vorgibt. Andererseits werden
durch Subplugins individuelle Widgets bereitgestellt, die je nach Aufbau des ge-
wünschten Dashboards erweitert, konguriert oder weggelassen werden können.
Diese Subplugins sind eigenständig für die Darstellung sowie erforderlichen Daten
zuständig. Abbildung 1 zeigt die aktuelle Version des Learner’s Corner Dashboards
aus der Sicht der Studierenden.
Abb. 2: Learners Corne’r – Perspektive der Studierenden
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
233
Derzeit umfasst der Learner’s Corner vier verschiedene Widgets, die zum Verständ-
nis und zur Verbesserung der Fähigkeit der Studierenden zur Selbstregulierung
ihres Lernprozesses beitragen sollen:
Das „Planer-Widget“ liefert dabei einen Überblick über die vom Lehrenden
gesetzten Meilensteine im Kurs (z. B. Abgaben, Quizzes etc.) und bietet gleich-
zeitig den Studierenden die Möglichkeit, eigene Meilensteine (z. B. zu errei-
chende Lernziele) im Rahmen des Kurses zu setzen.
Das „Aktivitäts-Widget“ dient dazu, die primären Aktivitäten der Studieren-
den innerhalb des Kurses sowie die für jede dieser Aktivitäten aufgewendete
Zeit aufzuzeichnen. Dies ermöglicht Studierenden, ihr Engagement und Lern-
verhalten zu monitoren und mit jenem von Mitstudierenden zu vergleichen.
Das dritte Widget ist ein sogenanntes „Lerntagebuch“, welches helfen soll,
das eigene Lernen für sich selbst zu dokumentieren. So können wichtige In-
formationen notiert und wieder abruf bar gemacht werden. Primär geht es auch
hier darum, das Bewusstsein rund um das eigene Lernverhalten zu schärfen
und damit auch besser fassbar zu machen. Die Portionierung des Lernstoes,
überschaubare zeitliche Schritte sollen den Lernerfolg möglich machen.
Zu guter Letzt bietet der „Grade Monitor“ den Studierenden eine Möglichkeit
zur eigenen Leistungskontrolle und Selbsteinschätzung. Einerseits können Stu-
dierende sich selbst Ziele stecken, die sie im Rahmen der Lehrveranstaltungen
erreichen wollen, und andererseits sehen sie in Echtzeit, welche Note sie bereits
aufgrund erbrachter Aktivitäten erreicht haben. Ziele können im Laufe der Zeit
jederzeit angepasst werden.
Funktionen wie der Planner, der Activity Report oder das Learning Diary geben
Lernenden konkrete Hinweise auf die Planung, Überwachung und Reexion des
eigenen Lernens und ermöglichen es ihnen, eektive Strategien für eine optimierte
Lernprozessgestaltung zu identizieren und umzusetzen. Obwohl das Projekt Stu-
dierende im Fokus sieht und sich das Dashboard auf lernförderliche Bedürfnisse
der Studierenden konzentriert, unterstützen wir mit der Ansicht für Lehrende (Ab-
bildung 3) gleichzeitig auch den Lehrprozess und helfen den Lehrenden dabei, ihre
Studierenden besser zu begleiten und ihr Handeln in der Lehrveranstaltung zu re-
ektieren und anzupassen.
Larissa Bartok et al.
234 www.zfhe.at
Abb. 3: Learner’s Corner – Perspektive der Lehrenden
3 Anwendung von Learning Analytics auf
Studienebene
Dem erweiterten Verständnis von Learning Analytics folgend, können auch aus-
gewählte Daten von Studierenden visualisiert werden, die sie im Laufe ihres Stu-
diums generieren, um sie bei ihrer persönlichen Zielsetzung im Hinblick auf ihren
Studienerfolg zu unterstützen. Aufbauend auf studienspezischen Analysen zu Stu-
dienerfolg und unter Einbeziehung psychologischer Theorien wurde ein Angebot zu
einer freiwilligen, datengestützten Peer-Studienfortschrittsberatung entwickelt, das
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
235
der Vielfalt der Studierenden begegnet und sich in bereits bestehende Angebote5r
Studierende über den gesamten Student Life Cycle eingliedert. Nach THALER et
al. (2021) wünschen sich Studierende, die angeben Unterstützung zu benötigen, u. a.
Angebote zu lern- oder motivationsförderlichen Strategien. Genau da setzt das Kon-
zept der Peer-Studienfortschrittsberatung an: durch die Verknüpfung von Daten-
visualisierungen zum Studienerfolg (via Dashboard) mit einem Beratungsgespräch
(durchgehrt von eigens qualizierten Peer-Berater:innen) können die Studieren-
den individuell unterstützt und motiviert werden. Das Konzept und das Dashboard
wurden auf verschiedenen Fachtagungen vorgestellt (vgl. BARTOK et al., 2022a;
BARTOK et al., 2022b); ein eigener Beitrag zur empirischen Überprüfung des Kon-
zepts ist in Arbeit (Bartok et al., in Vorb.). Daher soll beides in diesem Beitrag nur
kurz umrissen werden.
Ein zentraler Ausgangspunkt für das Konzept der datengestützten Peer-Studien-
fortschrittsberatung ist die Selbstbestimmungstheorie (vgl. DECI & RYAN, 2000b;
RYAN & DECI, 2000). Nach dieser Theorie führt das Erleben von Autonomie wie
z. B. Lernprozesse selbst steuern oder das selbstbestimmte Erschließen neuer Wis-
sensgebiete zu mehr intrinsischer Motivation, die sich wiederum positiv auf den
Studienfortschritt auswirkt. Umso mehr Entscheidungen autonom getroen werden
können, desto eher führt dies zu Engagement, Verbundenheit und Verbindlichkeit
(Konzept der Integration und Internalisierung im Rahmen der Selbstbestimmungs-
theorie). Im eigens für die Beratung konzipierten Dashboard können Studierende
vorab ihre Anliegen eintragen. In der Beratung denieren sie dann gemeinsam mit
einer Peer-Berater:in ihre persönlichen Studienziele. Datengestützte Visualisierun-
gen unterstützen dabei, die denierten Ziele in Bezug auf realistische Zielsetzung
oder beispielsweise Vereinbarkeit mit Berufstätigkeit zu überprüfen.
Darüber hinaus können von den Studierenden Fragebögen zu unterschiedlichen
Themen (beispielsweise akademisches Selbstkonzept, Lernstrategien) sowohl vor
als auch nach der Beratung bearbeitet und in der Beratung besprochen werden. Die
Beratung folgt einem personen- und ressourcenorientierten Ansatz und das gesamte
Beratungskonzept kann Orientierung bieten, Reexion anstoßen und zum Weiter-
studieren motivieren.
5 Siehe auch: https://ctl.univie.ac.at/angebote-fuer-studierende/waehrend-des-studiums/
peer-studienfortschrittsberatung/
Larissa Bartok et al.
236 www.zfhe.at
3.1 Erste Ergebnisse einer empirischen Überprüfung
Das Konzept inklusive Dashboard wurde an der Universität Wien iterativ in drei
Phasen entwickelt und empirisch mithilfe eines Mixed-Methods-Designs an der
Universität Wien in unterschiedlichen Studienprogrammen überprüft (vgl. BAR-
TOK et al., in Vorb.). Um möglichst viel qualitativen Input zur Wirkung der Bera-
tung und des Dashboards zu erhalten, fanden Fokusgruppen mit Studierenden und
studentischen Mitarbeiter:innen sowie Interviews mit Studierenden (N = 17) statt.
Zudem wurde im quantitativen Teil der Studie inferenzstatistisch überprüft, ob es
zwischen dem Zeitpunkt vor der Beratung und fünf Wochen nach der Beratung zu
einer signikanten Verbesserung des akademischen Selbstkonzepts (SASK-Skalen
von DICKHÄUSER et al., 2002) und der selbst eingeschätzten Kompetenzen zum
selbstregulierten Lernen6 gekommen ist. Die Ergebnisse haben u. a. gezeigt, dass
es zu einer signikanten, moderaten Verbesserung hinsichtlich des akademischen
Selbstkonzepts (t(30) = 3.11, p = .004, d = .56) und des selbstregulierten Lernens
gekommen ist – und zwar in der Anwendung (t(24) = 2.87, p = .022, d = .58) und
beim Wissens über Lernstrategien (t(30) = 2.46, p = .008, d = .49). Eine detailliertere
Beschreibung ist in BARTOK et al. (in Vorb.) zu nden.
Ergebnisse der Befragungen und Interviews zeigen außerdem, dass das Beratungs-
gespräch und auch die Tools (Dashboard, Visualisierungen) exibel an die Situation
der Studierenden adaptierbar sein müssen, um die angestrebte motivationsfördernde
und bestärkende Wirkung zu haben. Der personen- und ressourcenorientierte Be-
ratungsansatz erlaubt es, Gesprächsverlauf, die Priorisierung der unterschiedlichen
Anliegen und die Funktionen der Visualisierungen am Dashboard individuell und
bedarfsgerecht einzusetzen.
6 Als Tool zur Erfassung der Kompetenzen zum selbstregulierten Lernen wurde der Self-
Regulated-Learning Questionnaire: Action and Knowledge – short version (SRL-QuAKs,
vgl. ECKERLEIN et al., 2020, Vorversion von FOERST et al., 2017) verwendet.
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
237
4 Datenschutz und Ethik
Im Rahmen von LA werden Studierendendaten, also überwiegend personenbezoge-
ne Daten, erhoben, analysiert und ausgewertet, um Studierende bei der Erreichung
ihrer Studienziele und der Verbesserung ihres Lernverhaltens zu unterstützen. Die
Einhaltung der datenschutzrechtlichen Vorgaben und somit Legal Compliance, kann
nur als – allerdings unverzichtbarer – Startpunkt für vertrauenswürdige IT-Sys-
teme betrachtet werden. Besondere Relevanz hat diesbezüglich die Einhaltung der
Grundsätze der Verarbeitung, bei denen es sich um die zentralen „neun Gebote“ der
Datenschutzgrundverordnung (DSGVO) handelt. Jeder dieser Grundsätze bzw. die
Gesamtheit der Regelungen der DSGVO werfen zahlreiche Detailfragen auf, die
vor jeder Inbetriebnahme eines LA-Systems geklärt werden müssen. Diese Fragen
können immer nur für den konkreten Einzelfall beantwortet werden. Dabei sind
die genauen Zwecke, die mit einem LA-System erreicht werden sollen, und weitere
Verarbeitungsumstände zu beachten. Zu diesen Umständen zählen etwa die Institu-
tion des für LA Verantwortlichen, die Kategorien der zu verarbeitenden Daten, die
konkrete Ausgestaltung des technischen Systems oder etwa ein potenzieller Einsatz
von Künstlicher Intelligenz.
Vertrauenswürdigkeit und vertrauenswürdiges Handeln bedeutet mehr, als rechts-
konform zu handeln. Es bedingt das Hinausgehen über den Rechtsrahmen und die
Überlegung, was bei Design, Entwicklung und Einführung von LA-Systemen noch
getan werden kann, damit ein LA-System von Studierenden wirklich angenommen
wird (FLORIDI, 2018). Aus ethischer Sicht wichtige Aspekte sind dabei:
die Verfolgung eines studierendenzentrierten Ansatzes mit dem Ziel, Studie-
rende und ihre Interessen bei der Entwicklung und Nutzung von LA-Systemen
in den Vordergrund zu stellen;
die Förderung der Studierendenautonomie, um diese als selbstbestimmte Per-
sonen zu verstehen, die fähig sind, eigene Entscheidungen entsprechend ihren
Interessen, Zielen und Präferenzen zu treen;
die Berücksichtigung der Rolle, die z. B. Werte wie Transparenz, Respekt oder
Nichtdiskriminierung bei der Anwendung von LA im Hochschulkontext spie-
len können;
Larissa Bartok et al.
238 www.zfhe.at
der Charakter von LA-Systemen als freiwilliges Service, das Studierende ba-
sierend auf relevanten und benutzerfreundlichen Informationen auf Basis frei-
williger Entscheidungen nutzen oder auch nicht nutzen (GOSCH et al., 2021).
Um die aufgeworfenen datenschutzrechtlichen und ethischen Aspekte aufzugrei-
fen, daneben aber auch didaktische und technische Aspekte zu berücksichtigen,
ist ein Lösungsansatz die Ausarbeitung eines interdisziplinären Kriterienkatalogs
für vertrauenswürdige LA-Systeme. Das Ziel des Kriterienkatalogs ist, verschie-
denen Hochschul-Stakeholdern (Hochschulen, Lehrende, technische Entwickler:in-
nen, Studierenden) ein Instrument zur Verfügung zu stellen, welches es ihnen er-
möglicht, die Vertrauenswürdigkeit eines LA-Systems besser einzuschätzen. Die
Grundlage des Kriterienkatalogs bilden zwei begleitende Studien zum Thema Ethik
und Datenschutz sowie eine Analyse zu den einschlägigen bestehenden Frameworks
zu LA (vgl. DRACHSLER & GRELLER, 2016; HANSEN et al., 2020; SLADE &
PRINSLOO, 2013; SLADE & TAIT, 2019; PARDO & SIEMENS, 2014; SCLATER
& BAILEY, 2018). Die Ethik-Leitlinien für vertrauenswürdige KI der hochrangigen
Expert:innengruppe für künstliche Intelligenz (AI HLEG, 2019) wurden ebenso im
Rahmen der Entwicklung des Kriterienkatalogs mitberücksichtigt. Dabei haben sich
insbesondere durch den konkreten Fokus des Kriterienkatalogs auf den Bildungs-
bereich und insofern LA deutliche Dierenzen zum allgemeinen, den AI Bereich
adressierenden HLEG-Framework ergeben. Nach dem umfangreichen Austausch
mit den anderen Projektpartnern aus den Bereichen Didaktik und Technik wurde
der „LA-Kriterienkatalog für vertrauenswürdige LA-Werkzeuge“ entwickelt. Der
besondere Charakter des entwickelten Kriterienkatalogs spiegelt sich sowohl in der
interdisziplinären Zusammenarbeit, der klaren Abgrenzung von allgemeinen Wer-
ten, Kriterien und Indikatoren als auch im besonderen Fokus auf das Freiwilligkeits-
prinzip in Bezug auf die Nutzung von LA-Systemen wider. Der Kriterienkatalog
besteht aus drei Ebenen:
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
239
Abb. 4: Die Säulen und Ebenen des Kriterienkatalogs
Die erste Ebene stellen abstrakte übergeordnete, als für LA essenziell identizierte
Werte wie z. B. Transparenz, Privatheit oder Verantwortung dar. Insgesamt wurden
sieben inhaltlich völlig gleichwertige, interdisziplinär ausformulierte „Core Areas“
identiziert:
Transparenz
Privacy und Good Data Governance
Autonomie
Nicht-Diskriminierung
Respekt
Verantwortlichkeit und Rechenschaftspicht und
Protection
Larissa Bartok et al.
240 www.zfhe.at
Abb. 5: LA Core Areas
Diese sieben Core Areas wurden im Laufe des Projekts durch die Ableitung von Kri-
terien sowie diese konkretisierenden, operationalisierbaren Indikatoren realisiert,
sodass der Transfer der Werte im konkreten Design von LA-Werkzeugen besonders
unkompliziert realisiert werden kann (vgl. VELJANOVA et al., 2022; VELJANOVA
et al., 2023). Wenn in Zukunft vermehrt LA-Systeme im Hochschulbereich einge-
setzt werden sollen, dann müssen datenschutzrechtliche und ethische Aspekte als
ein unabdingbarer Bestandteil von Design, Entwicklung und Einführung von LA-
Systemen berücksichtigt werden.
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
241
5 Conclusio und Diskussion
Der erweiterten Denition von LA folgend, wurden im Beitrag einerseits neu ent-
wickelte Dashboards- und Learning-Analytics-Ansätze vorgestellt, die Studierende
sowohl in ihrem Lern- als auch in ihrem Studierverhalten unterstützen können. An-
dererseits wurden die hochschuldidaktische Einbettung sowie ethische und daten-
schutzrechtliche Rahmenbedingungen diskutiert.
Zusammenfassend lässt sich argumentieren, dass der Einsatz von LA-Tools auf Ebe-
ne der Lehrveranstaltung von Begleitmaßnahmen, angefangen bei Qualizierungs-
maßnahmen bis hin zu projektbasierter Umsetzung, unterstützt und in das jeweilige
didaktische Konzept eingebettet werden muss.
Beim Einsatz von LA auf Ebene der Lehrveranstaltung hat sich im Projekt eine
zwingende Notwendigkeit der passenden Einbettung im didaktischen Konzept ge-
zeigt, die sich mit dem derzeitigen Stand der Forschung deckt. Hier bietet sich zum
Beispiel die Kombination von LA-Tools mit dem Flipped-Classroom-Ansatz an.
Elementar sind als Basis die visualisiert aufbereiteten Datenspuren der Studieren-
den zum Zweck der Selbstreexion des eigenen Lernverhaltens mit der Ausrichtung
an den Lernzielen der jeweiligen Lehrveranstaltung. Hier ist anzumerken, dass die
Auswahl der Daten, welche zur Visualisierung herangezogen werden, und deren
Mehrwert kritisch zu reektieren sind. In weiterer Folge ergibt sich aus der Visua-
lisierung eine didaktische Kommunikation zwischen Lehrenden und Studierenden,
welche zur Förderung der Erreichung der Lernziele stattnden sollte. Hier ist eine
Sensibilisierung im Umgang mit der Interpretation von Daten durch Lehrende und
Studierende notwendig, um dem Gefühl einer Überwachung entgegenzuwirken und
die Selbstbestimmung der Studierenden zu fördern. Zu didaktischen Empfehlungen
wurde im Projekt ein Qualizierungsprogramm entwickelt.
Der Einsatz des Learners Corner hat auch gezeigt, wie wesentlich es ist, dass nicht
nur eine gute technische und optische Umsetzung angestrebt, sondern eine allum-
fassende Betrachtung unter direktem Einbezug aller betroenen Stakeholder forciert
wird (Co-Design & Co-Creation). Transparenz und Vertrauen in die Anwendung
sind die Eckpfeiler, damit die Tools Verwendung nden. Auch zeigt sich, dass es für
Lehrende durchaus herausfordernd sein kann, Lehrveranstaltungen LA-adäquat auf-
zubereiten. Im Projekt wurde der Learners Corner immer im Zusammenhang mit
einem passenden didaktischen Konzept und innerhalb der drei Partneruniversitäten
Larissa Bartok et al.
242 www.zfhe.at
eingesetzt. Noch nicht untersucht wurde, inwieweit sich der Nutzen des Tools zwi-
schen verschiedenen Lehrveranstaltungstypen unterscheidet. Die Übertragbarkeit
auf andere Hochschulen und deren Lehr- und Lernkulturen muss erst in zukünftigen
Untersuchungen erforscht werden. Auch die technische Implementierung und An-
passung des Tools an die eigenen Bedürfnisse einer Hochschule bindet Ressourcen,
die vor dem Einsatz mitbedacht und zur Verfügung gestellt werden müssen.
Der Einsatz eines in einer Peer-Studienberatung eingebetteten Dashboards zur
Rückmeldung des Studienfortschritts mit der Option, die eigenen bereits erbrach-
ten ECTS-Punkte mit denen ähnlicher Studierender darzustellen, wurde von den
Studierenden als hilfreich beschrieben und eine theoriekonforme, signikante
und moderate Erhöhung des akademischen Selbstkonzepts und der Kompetenzen
zum selbstregulierten Lernen konnte empirisch ermittelt werden. Anhand der bis-
her durchgeführten Untersuchungen konnte lediglich festgestellt werden, dass die
Kombination der Peer-Beratung mit der Datenvisualisierung zum Studienfortschritt
eine positivere Selbsteinschätzung der Studierenden mit sich gebracht hat. Welche
Komponenten zu dieser positiveren Einschätzung geführt haben und inwieweit die-
sen Komponenten ein Wirkungszusammenhang unterstellt werden kann, konnte
anhand des eingesetzten Studiendesigns nicht festgestellt werden und muss Gegen-
stand weiterer Untersuchungen sein. Des Weiteren soll in Folgestudien untersucht
werden, inwieweit die von den Studierenden wahrgenommene subjektive Verän-
derung auch mit einer Veränderung der Studienleistung einhergeht. Auch ist hin-
sichtlich der Übertragbarkeit auf andere Hochschulen einschränkend zu erwähnen,
dass das Peer-Beratungsangebot bisher nur an der Universität Wien erprobt wurde
und hier auf ein umfassendes Pool an bereits qualizierten, studentischen Mitarbei-
ter:innen mit Beratungserfahrung zurückgegrien werden kann.
Um den Transfer von Know-how über die beteiligten Partneruniversitäten hinaus
im gesamten deutschsprachigen Hochschulraum zu ermöglichen, wurde im Rah-
men des Projekts u. a. ein MOOC (https://imoox.at/course/lahe) entwickelt, der die
Erkenntnisse aus dem Projekt aufbereitet und übersichtlich darstellt. Im Projekt
wurde insbesondere vom Austausch über Disziplinen und Arbeitsbereiche hinweg
protiert, der es auch ermöglicht hat, einen interdisziplinären Kriterienkatalog r
vertrauenswürdige LA-Systeme zu entwickeln. Dieser Kriterienkatalog, der Hoch-
schulen als Ausgangspunkt bei der Entwicklung von LA-Systemen dienen soll, wird
zusammen mit allen anderen Materialien, Ergebnissen und frei zur Verfügung ste-
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
243
henden Ressourcen zum Abschluss des Projekts auf der Webseite (https://learning-
analytics.at/home/) bzw. im Rahmen der Digital University Hub (https://www.digi-
taluniversityhub.eu/) verlinkt.
6 Literaturverzeichnis
Abeysekera, L. & Dawson, P. (2015). Motivation and cognitive load in the ipped
classroom: denition, rationale and a call for research. Higher education research
& development, 34(1), 1–14.
AI HLEG (2019). High-Level Expert Group on Articial Intelligence. Ethics Guideli-
nes for Trustworthy AI. European Commission.
Barreiros, C., Leitner, P., Ebner, M., Veas, E. & Lindstaedt, S. (2023 – in
Druck). Students in Focus – Moving Towards Human-Centred Learning Analytics.
In Practicable Learning Analytics. Springer.
Bartok, L., Hubert, M., Gleeson, R. & Kriegler-Kastelic, G. (2022, 5. Septem-
ber, b). Studierende in ihrem Studienfortschritt datengestützt und individuell unter-
stützen: Ergebnisse des Pilot-Projekts Peer-Studienfortschrittsberatung an der
Universität Wien [Konferenzbeitrag]. In Annual Science Conference of the National
Academy of Sciences, Klagenfurt, Österreich. https://oegp2022.aau.at/
Bartok, L., Hubert, M., Gleeson, R. & Kriegler-Kastelic, G. (2022, 16. Septem-
ber, a) „Ich danke, dass ich endlich darüber reden kann“ – Anliegen verschiedener
Studierendengruppen in der datengestützten Peer-Studienfortschrittsberatung an
der Universität Wien (Pilotprojekt) [Konferenzbeitrag]. In 17. Jahrestagung der Ge-
sellschaft für Hochschulforschung, Wien, Österreich. https://gfhf2022.ihs.ac.at/
praesentationen/
Bishop, J. & Verleger, M. A. (2013, June). The ipped classroom: A survey of the
research. In 2013 ASEE Annual Conference & Exposition (S. 23–1200). https://doi.
org/10.18260/1-2--22585
Charleer, S., Moere, A. V., Klerkx, J., Verbert, K. & De Laet, T. (2018). Learning
Analytics Dashboards to Support Adviser-Student Dialogue. IEEE Transactions on
Learning Technologies, 11(3), 389 –399.
Larissa Bartok et al.
244 www.zfhe.at
Deci, E. L. & Ryan, R. M. (2000a). Self-determination theory and the facilitation
of intrinsic motivation, social development, and well-being. American Psychologist,
55(1), 68–78. https://doi.org/10.1037/0003-066X.55.1.68
Deci, E. L. & Ryan, R. M. (2000b). The “what” and “why” of goal pursuits: Hu-
man needs and the self-determination of behavior. Psychological inquiry, 11(4),
227–268.
De Laet, T., Broos, T., van Staalduinen, J.-P., Ebner, M. & Leitner, P. (2018).
Transferring learning dashboards to new contexts: experiences from three case
studies. In Conference Proceeding Open Educational Global Conference 2018
(S. 14). Delft, Netherlands.
De Witt, C., Karolyi, H., van Rijn, L., Hanses, M., Frede, N., Grollmuss, L. &
Wendling, T. (2022). IMPACT – Implementierung von KI-basiertem Feedback und
Assessment mit Trusted Learning Analytics in Hochschulen. Change Management,
Didaktik für formatives Assessment und Feedback. https://www.fernuni-hagen.de/
bildungswissenschaft/bildungmedien/forschung/projekte/impact.shtml
Dickhäuser, O., Schöne, C., Spinath, B. & Stiensmeier-Pelster, J. (2002). Die
Skalen zum akademischen Selbstkonzept: Konstruktion und Überprüfung eines
neuen Instrumentes. Zeitschrift für dierentielle und diagnostische Psychologie,
23(4), 393 405.
Drachsler, H. & Greller, W. (2016). Privacy and analytics: It’s a DELICA-
TE issue – a checklist for trusted learning analytics, 89–98. https://doi.
org/10.1145/2883851.2883893
Duval, E. (2012). Learning Analytics and Educational Data Mining. Erik Duval’s
Weblog, 30. Januar 2012. https://erikduval.wordpress.com/2012/01/30/ learning-
analytics-and-educational-data-mining/
Ebner, M., Khalil, M. & Wachtler, J. (2017). Chancen und Grenzen von Learning
Analytics: Projektergebnisse bzgl. der automatischen Datenerhebung. In C. Zim-
mermann (Hrsg.), Dr. Internet – Forschungsbericht zum Projekt (S. 88–99). Nie-
derschöckl: Verlag Mayer.
Eckerlein, N., Dresel, M., Steuer, G., Foerst, N., Ziegler, A., Schmitz, B., Spiel,
C. & Schober, B. (2020). Modelling, assessing, and promoting competences for
self-regulated learning in higher education. In Student Learning in German Higher
Education (S. 165–179). Wiesbaden: Springer VS.
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
245
Egger, R. & Hummel, S. (2020). Stolperstein oder Kompetenzstufe. Die Studien-
eingangsphase und ihre Bedeutung für die Wissenschaftssozialisation von Studie-
renden. Wiesbaden: Springer VS.
Europäische Kommission, Generaldirektion Kommunikationsnetze, Inhalte
und Technologien (2019). Ethik-Leitlinien für eine vertrauenswürdige KI. Publica-
tions O󰀩ce. https://data.europa.eu/doi/10.2759/22710
Floridi, L. (2018). Soft ethics: Its Application to the General Data Protection Regu-
lation and Its Dual Advantage. Philosophy and Technology 31, 163 167.
Foerst, N. M., Klug, J., Jöstl, G., Spiel, C. & Schober, B. (2017). Knowledge vs.
action: discrepancies in university students’ knowledge about and self-reported
use of self-regulated learning strategies. Frontiers in Psychology, 8, 1288.
Gosch, N., Andrews, D., Barreiros, C., Leitner, P., Staudegger, E., Eb-
ner, M. & Lindstaedt, S. (2021). Learning Analytics as a Service for Empow-
ered Learners: From Data Subjects to Controllers. LAK21: 11th Internation-
al Learning Analytics and Knowledge Conference (S. 475–481). https://doi.
org/10.1145/3448139.3448186
Handke, J. (2015). Shift Learning Activities – vom Inverted Classroom Mastery
Model zum xMOOC. In N. Nistor & S. Schirlitz (Hrsg.), Digitale Medien und Inter-
disziplinarität: Herausforderungen, Erfahrungen, Perspektiven (S. 113–123). Müns-
ter u.a.: Waxmann.
Hansen, J., Rensing, C., Herrmann, O. & Drachsler, H. (2020). Verhaltenskodex
für Trusted Learning Analytics. Version 1.0. Entwurf für die hessischen Hochschu-
len. https://doi.org/10.25657/02:18903
Hochschulforum Digitalisierung. (2015). Diskussionspapier – 20 Thesen zur
Digitalisierung der Hochschulbildung, Arbeitspapier Nr. 14.Berlin: Hochschulforum
Digitalisierung.
Hummel, S. (2021). Learning Analytics – Ein hochschuldidaktisches Begleit-
programm zur prozessorientierten Lernunterstützung. FNMA-Magazin, 2, 21–24.
https://www.fnma.at/content/download/2305/magazine_download/2021-02.pdf
Ifenthaler, D. (2015). Learning analytics. In J. M. Spector (Hrsg.), Encyclopedia of
educational technology (Bd. 2, S. 447–451). Thousand Oaks: CA.
Larissa Bartok et al.
246 www.zfhe.at
Leitner, P., Ebner, M., Ammenwerth, E., Andergassen, M., Csanyi, G., Grö-
blinger, O., Kopp, M., Reichl, F.,Schmid, M., Steinbacher, P. & others. (2019).
Learning analytics: Einsatz an österreichischen Hochschulen. https://www.fnma.at/
content/download/1896/8814
Little, C. (2015). The ipped classroom in further education: literature review and
case study. Research in post-compulsory education, 20(3), 265–279.
Lipp, S., Dreisiebner, G., Leitner, P., Ebner, M., Kopp, M. & Stock, M. (2021).
Learning Analytics – Didaktischer Benet zur Verbesserung von Lehr-Lernprozes-
sen? Implikationen aus dem Einsatz von Learning Analytics im Hochschulkontext.
bwp@ Berufs- und Wirtschaftspädagogik – online, 40, 1–31. https://www.bwpat.
de/ausgabe40/lipp_etal_bwpat40.pdf
Long, P. & Siemens, G. (2011). Penetrating the fog: Analytics in learning and
education. EDUCAUSE review, 46(5), 30. https://er.educause.edu/articles/2011/9/
penetrating-the-fog-analytics-in-learning-and-education
Nolda, S. (2001). Autonomie. In R. Arnold, S. Nolda & E. Nuissl (Hrsg.), Wörter-
buch Erwachsenenpädagogik (S. 37). Bad Heilbrunn: Klinkhardt.
Pardo, A. & Siemens, G. (2014). Ethical and privacy principles for learning analyt-
ics. British Journal of Educational Technology, 45(3), 438–450.
Ryan, R. M. & Deci, E. L. (2000). Intrinsic and extrinsic motivations: Classic deni-
tions and new directions. Contemporary educational psychology, 25(1), 546 7.
Scharle, Á. & Szabó, A. (2000). Learner autonomy: a guide to developing learner
responsibility. Cambridge: Cambridge University Press.
Schwendimann, B. A., Rodríguez-Triana, M. J., Vozniuk, A., Prieto, L.P., Bo-
roujeni, M.S., Holzer, A., Gillet, D. & Dillenbourg, P. (2017). Perceiving Learning
at a Glance: A Systematic Literature Review of Learning Dashboard Research.
IEEE Transactions on Learning Technologies, 10(1), 30 41. https://doi.org/10.1109/
TLT.2016.2599522
Sclater, N. & Bailey, P. (2018). Code of practice for learning analytics. Jisc. https://
www.jisc.ac.uk/guides/code-of-practice-for-learning-analytics
Sedrakyan, G., Mannens, E. & Verbert, K. (2018). Guiding the choice of learn-
ing dashboard visualizations: Linking dashboard design and data visualization
concepts. Journal of Visual Languages & Computing. https://doi.org/10.1016/j.
jvlc.2018.11.002
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
247
Slade, S. & Prinsloo, P. (2013). Learning Analytics – ethical issues and
dilemmas. American Behavioral Scientist, 57, 1509–1528. https://doi.
org/10.1177/0002764213479366
Slade, S. & Tait, A. (2019). Global guidelines: Ethics in learning analytics. Interna-
tional Council for Open and Distance Education (ICDE).
Thaler, B., Schubert, N., Kulhanek, A., Haag, N. & Unger, M. (2021). Prüfungs-
inaktivität in Bachelor- und Diplomstudien an Universitäten. https://irihs.ihs.ac.at/id/
eprint/6030/13/ihs-report-2021-thaler-schubert-et-al-pruefungsinaktivitaet.pdf
Van Barneveld, A., Arnold, K. E. & Campbell, J. P. (2012). Analytics in higher
education: Establishing a common language. EDUCAUSE learning initiative, 1(1),
l–ll.
Veljanova, H., Barreiros, C., Gosch, N., Staudegger, E., Ebner, M. & Lindsta-
edt, S. (2022). Towards Trustworthy Learning Analytics Applications: An Interdisci-
plinary Approach Using the Example of Learning Diaries. In HCI International 2022
Posters: 24th International Conference on Human-Computer Interaction, HCII
2022, Virtual Event, June 26–July 1, 2022, Proceedings, Part III (S. 138–145).
Cham: Springer International Publishing.
Veljanova, H., Barreiros, C., Gosch, N., Staudegger, E., Ebner, M. & Lindsta-
edt, S. (im Erscheinen 2023). Operationalising transparency as an intergal value of
Learning Analytics systems – From ethical and data protection to technical design
requirements. In 25th International Conference on Human-Computer Interaction,
HCII 2023,
Zimmerman, B. J. (1990) Self-Regulated Learning and Academic Achieve-
ment: An Overview. Educational Psychologist, 25, 3–17. https://doi.org/10.1207/
s15326985ep2501_2
Zimmerman, B. J. (2000). Attaining self-regulation: A social cognitive perspective.
In M. Boekaerts, P. R. Pintrich & M. Zeidner (Hrsg.), Handbook of self-regulation.
Academic Press (S. 13–39). https://doi.org/10.1016/B978-012109890-2/50031-7
Larissa Bartok et al.
248 www.zfhe.at
Autor:innen
Mag.a Larissa BARTOK, BSc. || Universität Wien, Center for
Teaching and Learning || Augasse 2–6, A-1090 Wien
https://ctl.univie.ac.at/
larissa.bartok@univie.ac.at
Mana-Teresa DONNER, MSc MA BSc BA || Universität Graz,
Institut für Erziehungs- und Bildungswissenschaft || Merangasse
70, A-8010 Graz
https://erziehungs-bildungswissenschaft.uni-graz.at/de/
mana.donner@uni-graz.at
Priv.-Doz. Dipl.-Ing. Dr.techn. Martin EBNER || Lehr- und Lern-
technologien || Münzgrabenstraße 36/I, A-8010 Graz
https://elearning.tugraz.at
martin.ebner@tugraz.at
Mag.a Nicole GOSCH || Universität Graz, Institut für Rechtswis-
senschaftliche Grundlagen, Fachbereich Recht und IT || Universi-
tätsstraße 15/C1, A-8010 Graz
https://rewi-grundlagen.uni-graz.at/de/institut/recht-und-it/
nicole.gosch@uni-graz.at
Mag. Daniel HANDLE-PFEIFFER || Universität Wien, Center for
Teaching and Learning || Universitätsstr. 5, A-1010 Wien
https://ctl.univie.ac.at/
daniel.pfeier@univie.ac.at
ZFHE Jg. 18 / Sonderheft Hochschullehre (April 2023) S. 223–250
249
Mag.a Dr.in Sandra HUMMEL || Universität Graz, Institut für Er-
ziehungs- und Bildungswissenschaft || Merangasse 70,
A-8010 Graz
https://erziehungs-bildungswissenschaft.uni-graz.at/de/
sandra.hummel@uni-graz.at
Mag.a Gisela KRIEGLER-KASTELIC || University of Vienna,
Center for Teaching and Learning || Augasse 2-6, A-1090 Vienna
https://ctl.univie.ac.at/
gisela.kriegler@univie.ac.at
Dipl.-Ing. BSc Philipp LEITNER || Lehr- und Lerntechnologien ||
Münzgrabenstraße 36/I, A-8010 Graz
https://elearning.tugraz.at
philipp.leitner@tugraz.at
Tiantian Tang, BA MA || Universität Wien, Center for Teaching
and Learning || Universitätsstr. 5, A-1010 Wien
https://ctl.univie.ac.at/
tiantian.tang@univie.ac.at
Hristina VELJANOVA, MA || Universität Graz, Institut für
Rechtswissenschaftliche Grundlagen, Fachbereich Recht und IT ||
Universitätsstraße 15/C1, A-8010 Graz
https://rewi-grundlagen.uni-graz.at/de/institut/recht-und-it/
hristina.veljanova@uni-graz.at
Larissa Bartok et al.
250 www.zfhe.at
Mag. Christoph WINTER || Universität Wien, Center for Teaching
and Learning || Universitätsstr. 5, A-1010 Wien
https://ctl.univie.ac.at/
christoph.winter@univie.ac.at
Mag.a Dr.in Charlotte ZWIAUER || Universität Wien, Center for
Teaching and Learning || Universitätsstr. 5, A-1010 Wien
https://ctl.univie.ac.at/
charlotte.zwiauer@univie.ac.at
... Das Projekt ‚Learning Analytics -Studierende im Fokus' (2020 ist ein aus den Mitteln des österreichischen Wissenschaftsministeriums im Rahmen der Ausschreibung zur digitalen und sozialen Transformation in der Hochschulbildung gefördertes Kooperationsprojekt zwischen der Technischen Universität Graz, der Universität Graz und der Universität Wien (Bartok et al., 2023). Mit besonderem Blick auf die Bedarfe und Bedürfnisse der Studierenden zielt die Verarbeitung von ‚Big Data' auf die Entwicklung technologiebasierter Lernassistenz ab, um Studierenden aussagekräftige Anhaltspunkte für die Optimierung ihrer Lernprozesse zu liefern und damit Studierbarkeit zu verbessern. ...
... Basierend auf realen Lernprozessen und Lehrstrategien wurden die messbaren Gestaltungsmerkmale des universitären Lehrens und Lernens analysiert und entsprechend einem förderlichen, formativen Rückmeldeformat aufbereitet. Dabei wurde besonderes Augenmerk auf die wechselseitige Beziehung zwischen pädagogischer Intervention, technischer Anpassung und sozialen Interaktionen gelegt (Ebner et al., 2013;Bartok et al., 2023 (Jones et al., 2020). Trotz der Vorteile birgt die Integration von KI in der Hochschullehre Risiken. ...
... 8 et al., 2021). By analyzing learning activities, these technologies enable teachers to identify gaps in students' understanding, refine instructional strategies, and foster deeper learning experiences (Bartok et al., 2023). As Vosniadou (2001) emphasizes, "New knowledge is constructed on the basis of what is already understood and believed" (p. ...
Article
Full-text available
Ethical and legal objections to learning analytics are barriers to development of the field, thus potentially denying students the benefits of predictive analytics and adaptive learning. Jisc, a charitable organisation which champions the use of digital technologies in UK education and research, has attempted to address this with the development of a Code of Practice for Learning Analytics. The Code covers the main issues institutions need to address in order to progress ethically and in compliance with the law. This paper outlines the extensive research and consultation activities which have been carried out to produce a document which covers the concerns of institutions and, critically, the students they serve. The resulting model for developing a code of practice includes a literature review, setting up appropriate governance structures, developing a taxonomy of the issues, drafting the code, consulting widely with stakeholders, publication, dissemination, and embedding it in institutions.
Article
Full-text available
This paper presents a systematic literature review of the state-of-the-art of research on learning dashboards in the fields of Learning Analytics and Educational Data Mining. Research on learning dashboards aims to identify what data is meaningful to different stakeholders and how data can be presented to support sense-making processes. Learning dashboards are becoming popular due to the increased use of educational technologies, such as Learning Management Systems (LMS) and Massive Open Online Courses (MOOCs). The initial search of five main academic databases and GScholar resulted in 346 papers out of which 55 papers were included in the final analysis. Our review distinguishes different kinds of research studies as well as various aspects of learning dashboards and their maturity regarding evaluation. As the research field is still relatively young, most studies are exploratory and proof-of-concept. The review concludes by offering a definition for learning dashboards and by outlining open issues and future lines of work in the area of learning dashboards. There is a need for longitudinal research in authentic settings and studies that systematically compare different dashboard designs.
Article
Full-text available
The use of analytics in higher education is a relatively new area of practice and research. As with any new area of practice, a variety of terms are adopted to describe concepts and processes. Each of these terms is being integrated into the literature, but a preliminary review of the analytics in education and practitioner literature revealed similar terms with different conceptual or functional definitions, as well as different terms with similar conceptual or functional definitions. The intent of this paper is to present the different descriptions of the various types of analytics being discussed in the academic and practitioner literature. Second, we propose a conceptual framework that depicts the types of analytics and their relationship to each other. Finally, we propose a synthesized set of definitions for analytics-related terms commonly found in academia.
Article
Full-text available
Nell’era di Internet, delle tecnologie mobili e dell’istruzione aperta, la necessità di interventi per migliorare l’efficienza e la qualità dell’istruzione superiore è diventata pressante. I big data e il Learning Analytics possono contribuire a condurre questi interventi, e a ridisegnare il futuro dell’istruzione superiore. Basare le decisioni su dati e sulle evidenze empiriche sembra incredibilmente ovvio. Tuttavia, l’istruzione superiore, un campo che raccoglie una quantità enorme di dati sui propri “clienti”, è stata tradizionalmente inefficiente nell’utilizzo dei dati, spesso operando con notevole ritardo nell’analizzarli, pur essendo questi immediatamente disponibili. In questo articolo, viene evidenziato il valore delle tecniche di analisi dei dati per l’istruzione superiore, e presentato un modello di sviluppo per i dati legati all’apprendimento. Ovviamente, l’apprendimento è un fenomeno complesso, e la sua descrizione attraverso strumenti di analisi non è semplice; pertanto, l’articolo presenta anche le principali problematiche etiche e pedagogiche connesse all’utilizzo delle tecniche di analisi dei dati in ambito educativo. Cionondimeno, il Learning Analytics può penetrare la nebbia di incertezza che avvolge il futuro dell’istruzione superiore, e rendere più evidente come allocare le risorse, come sviluppare vantaggi competitivi e, soprattutto, come migliorare la qualità e il valore dell’esperienza di apprendimento.
Article
Full-text available
The field of learning analytics has the potential to enable higher education institutions to increase their understanding of their students’ learning needs and to use that understanding to positively influence student learning and progression. Analysis of data relating to students and their engagement with their learning is the foundation of this process. There is an inherent assumption linked to learning analytics that knowledge of a learner’s behavior is advantageous for the individual, instructor, and educational provider. It seems intuitively obvious that a greater understanding of a student cohort and the learning designs and interventions they best respond to would benefit students and, in turn, the institution’s retention and success rate. Yet collection of data and their use face a number of ethical challenges, including location and interpretation of data; informed consent, privacy, and deidentification of data; and classification and management of data. Approaches taken to understand the opportunities and ethical challenges of learning analytics necessarily depend on many ideological assumptions and epistemologies. This article proposes a sociocritical perspective on the use of learning analytics. Such an approach highlights the role of power, the impact of surveillance, the need for transparency, and an acknowledgment that student identity is a transient, temporal, and context-bound construct. Each of these affects the scope and definition of learning analytics’ ethical use. We propose six principles as a framework for considerations to guide higher education institutions to address ethical issues in learning analytics and challenges in context-dependent and appropriate ways.
Article
Learning dashboards are known to improve decision-making by visualizing learning processes and helping to track where learning processes evolve as expected and where potential issues (may) occur. Despite the popularity of such dashboards, little is known theoretically on the design principles. Our earlier research reports on the gap between dashboards’ design and learning science concepts, subsequently proposing a conceptual model that links dashboard design principles with learning process and feedback concepts. This paper extends our previous work by mapping the dashboard design and data/information visualization concepts. Based on a conceptual analysis and empirical evidence from earlier research, recommendations are proposed to guide the choice of visual representations of data in learning dashboards corresponding to the intended feedback typology.
Article
The flipped classroom seeks to remove didactic instruction from the classroom and deliver it via electronic videos outside of the classroom, leaving contact time free for more interactive and engaging teaching and learning activities. This paper has two distinct aims: (1) to conduct a literature review of published UK-based ‘flipped classroom’ studies and (2) to contribute to this field of study. The paper will show that there have been many published scholarly pieces on the flipped classroom in countries such as the USA, detailing flipped studies in both compulsory schooling and higher education. However, at the time of writing there have been no published papers concerning an implementation of the flipped classroom in the UK further education sector. In order to contribute to this gap in the field, the findings from a small-scale flipped classroom project based in a further education college will be presented and discussed. The study was conducted in the 2012/13 academic year whilst the author was undertaking initial teacher training. This case study yielded significant benefits to learners through adopting this approach. In addition to charting the effects of a flipped classroom upon attainment and engagement, the paper will discuss the often under-represented staff experience of flipping the classroom. © 2015 Association for Research in Post-Compulsory Education (ARPCE).
Article
Extracts available on Google Books (see link below). For integral text, go to publisher's website : http://www.elsevierdirect.com/product.jsp?isbn=9780121098902
Article
The massive adoption of technology in learning processes comes with an equally large capacity to track learners. Learning analytics aims at using the collected information to understand and improve the quality of a learning experience. The privacy and ethical issues that emerge in this context are tightly interconnected with other aspects such as trust, accountability and transparency. In this paper, a set of principles is identified to narrow the scope of the discussion and point to pragmatic approaches to help design and research learning experiences where important ethical and privacy issues are considered.