Content uploaded by Martin Ebner
Author content
All content in this area was uploaded by Martin Ebner on Jan 03, 2018
Content may be subject to copyright.
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
1 von 16
MARIA GRANDL, BEHNAM TARAGHI, MARKUS EBNER, PHILIPP LEITNER & MARTIN EBNER
Learning Analytics
1 BLITZLICHT: Das Wichtigste auf einen Blick
1.1 Zielsetzung des Beitrags
Die Zielsetzung des Beitrags wird standardisiert vom Verlag formuliert eingesetzt.
1.2 Definition
Unter Learning Analytics wird die Interpretation von lernerspezifischen Daten
verstanden, um den individuellen Lernprozess gezielt zu unterstützen und zu
verbessern: „Learning Analytics is the use of intelligent data, learner-produced data,
and analysis models to discover information and social connections, and to predict
and advise on learning.“ (SIEMENS 2010)
1.3 Einstieg ins Thema
Die Digitalisierung schreitet kontinuierlich voran und mit ihr auch der Einsatz von
neuen Technologien und digitalen Medien in verschiedenen Lehr- und Lernsettings.
Durch die Nutzung von bestimmten Anwendungen, sei es eine mobile App oder eine
Webapplikation, kann eine große Anzahl an nutzerinnen- und nutzerspezifischen
Daten, die bei der Interaktion mit der Anwendung entstehen, gesammelt werden. Die
automatisierte Analyse dieser Daten zur Ermittlung von „überschaubaren Typen,
Profilen, Zusammenhängen und Clustern“ und zur Ableitung von Prognosen und
Empfehlungen für „sinnvolle pädagogische Handlungen“ ist zentraler
Forschungsgegenstand des Gebietes Educational Data Mining, kurz EDM. (EBNER
& SCHÖN 2013) Dabei wird auf Methoden und Ansätze aus den Bereichen
Pädagogik, Informatik und Statistik zurückgegriffen. (vgl. ROMERO & VENTURA
2013) Während sich EDM mit der Entwicklung von „intelligenten“ Lernsystemen zur
automatischen Generierung von Vorhersagen und Empfehlungen für die oder den
Lernende(n) auseinandersetzt, bleibt bei Learning Analytics die oder der Lehrende
„im Zentrum des pädagogischen Handelns“. (EBNER & SCHÖN 2013) Learning
Analytics stellt Lehrenden entsprechende Software („Tools“) zur Verfügung. Diese ist
in der Lage Zusammenhänge zwischen Lehre, dem Lernprozess, den Lernaktivitäten
und dem Lernerfolg sichtbar zu machen, die ohne den Einsatz eines Computers
möglicherweise nicht zugänglich wären. Die für jede Nutzerin und jeden Nutzer
automatisch gesammelten Daten und die daraus generierten Visualisierungen oder
Empfehlungen sollen die oder den Lehrenden beim Treffen von Entscheidungen zur
Verbesserung des weiteren Lernprozesses unterstützen. Die Interpretation der
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
2 von 16
Ergebnisse und die damit verbundenen Handlungsanweisungen zur Steigerung des
individuellen Lernerfolgs obliegen, im Kontext von Learning Analytics, der
Lehrperson oder den Lernenden.
Für die erfolgreiche Umsetzung von Learning Analytics in verschiedenen Lehr- und
Lernsettings oder Bildungskontexten, sind nach EBNER et al. (2015) sieben Aspekte
unerlässlich, um neue Einsichten in Lernprozesse zu erhalten und daraus weitere
Vorgehensweisen abzuleiten:
Learning Awareness – Das Lernen verbessern
Das vordergründige Ziel von Learning Analytics ist die Unterstützung des Lernens.
Dabei geht es nicht darum, die generierten Ergebnisse für Beurteilungszwecke
heranzuziehen, sondern Lernende über ihren aktuellen Fortschritt im Lernprozess zu
informieren und deren Stärken und Schwächen sichtbar zu machen, um die
Effektivität des Lernens zu steigern.
Privacy Awareness – Datenschutz und Vertraulichkeit
Ein Sprichwort der Informatik besagt: Alles was mit Daten passieren kann, wird
passieren. Auch wenn es keine vollständige Anonymität mehr gibt, müssen beim
Sammeln und Analysieren von lernspezifischen Daten gesetzliche
Rahmenbedingungen wie Persönlichkeitsrecht und Datenschutz eingehalten werden.
Dies trifft sowohl auf die Software, als auch auf die Lehrenden zu. Lernende müssen
ihrer digitalen Lernumgebung vertrauen können.
Time Awareness – Lernen ist ein Prozess
Unter dem Blickwinkel von Learning Analytics erscheint Lernen als Prozess, der sich
über eine gewisse Zeit erstreckt. Learning Analytics muss sowohl Lehrenden als
auch Lernenden die Möglichkeit bieten, den Verlauf dieses Prozesses sichtbar zu
machen, um diesen gegebenenfalls beeinflussen zu können.
Visuelles Feedback – Den Lernprozess sichtbar machen
Eine anspruchsvolle Aufgabe stellt die Visualisierung des Lernprozesses in Form von
Visualisierungen für verschiedene Interessengruppen dar. Lernende sollen daraus
klar erkennen können, wie ihre Leistungen bis zum Zeitpunkt der Auswertung
aussehen. Lehrende sollen eine Übersicht über die Leistungen der gesamten Klasse
oder Gruppe erhalten. Und schließlich soll auch für Entwicklerinnen und Entwickler
als auch Forscherinnen und Forscher eine visuelle Rückmeldung über die
Einflussnahme der verwendeten Lernanwendung oder Lernumgebung auf den
Lernprozess verfügbar sein.
Pädagogische Interventionen – Entscheidungen im Lernprozess treffen
Nach GRELLER & DRACHSLER (2012) muss Learning Analytics immer in
Verbindung mit einem pädagogischen Ansatz betrachtet werden. Die nun sichtbaren
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
3 von 16
Lernprozesse sollen verschiedene Interessengruppen, seien es Lehrende,
Forscherinnen und Forscher oder Entscheidungsträgerinnen und
Entscheidungsträger von Bildungsinstitutionen, beim Treffen von pädagogischen
Entscheidungen bestmöglich unterstützen.
Big Data – Zentrale Sammlung von Daten
Webtechnologien ermöglichen die zentrale Sammlung von lerner(innen)spezifischen
Daten. Lernende sind somit nicht mehr an ein bestimmtes Gerät gebunden. Die
zunehmende Menge an Daten bildet eine zuverlässige Basis für weitere
Forschungsaktivitäten und gehaltvolle Analyseergebnisse.
Einsichten in die Struktur des Wissens
Die Ergebnisse der Analyse liefern neue Erkenntnisse über die Aktivitäten und
Verhaltensweisen von Lernenden im Zuge eines oder mehrerer Lernprozesse(s).
Dabei werden neue Einsichten zu verschiedenen Wissensstrukturen gewonnen,
welche wiederum die Entwicklung und Verbesserung von Learning Analytics
Software vorantreiben.
Zusammenfassend kann festgestellt werden, dass eine große Anzahl an Daten ad
hoc keine wertvollen Einsichten in den Lernprozess liefert. Es bedarf dazu an
verschiedenen Analyse-Techniken und Personen, welche die Interpretation der
Ergebnisse vornehmen und weitere Schritte zur Verbesserung des Lehr- und
Lernsettings setzen. Es handelt sich dabei um einen iterativen Prozess, der im
nachfolgenden Schaubild, dargestellt ist.
1.4 Auf einen Blick (Schaubild)
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
4 von 16
Learning Analytics Life Cycle (KHALIL & EBNER 2015, Abbildung 3, Seite 1333)
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
5 von 16
2 FAKTEN: Das sollten Sie wissen!
Einführung/Überblick
Learning Analytics ist ein schnell wachsendes Forschungsfeld im Forschungsgebiet
Technology Enhanced Learning und umfasst, nach dem im Schaubild dargestellten
„Learning Analytics Life Cycle“ vier Hauptbereiche: Die vier verschiedenen
Interessensgruppen (Stakeholders) produzieren bei der Verwendung einer
Lernumgebung eine große Menge an Daten (Big Data). Diese Datensätze werden
unter dem Einsatz von verschiedenen Analysemethoden analysiert (Analytics). Die
daraus gewonnen Ergebnisse und Einsichten dienen als Grundlage für das Treffen
von Entscheidungen zur Optimierung der Lernumgebung (Act). Die Interpretation der
Ergebnisse erfolgt nicht automatisiert, sondern durch jeweils handelnde Organ. Die
vier Hauptbereiche und die mit Learning Analytics verbundenen Beschränkungen
und Herausforderungen, wie Datensicherheit, Gesetzeskonflikte und ethische
Aspekte, werden im folgenden Abschnitt näher besprochen.
2.1 Ziele von Learning Analytics
In Abhängigkeit von der Lernumgebung (z. B. ein Learning-Management-System)
und den erfassten Datensätzen (z. B. die Anzahl der Anmeldungen im System)
sollen die Ergebnisse der Analyse zur Optimierung von Lehr- und Lernprozessen in
verschiedenen Lehr- und Lernsettings beitragen.
Ziel 1: Vorhersagen und Eingreifen
Ein Ziel von Learning Analytics ist die Vorhersage/Prognose von unbekannten
Werten, wie beispielsweise den zu erwartenden Lernfortschritt oder die Punkteanzahl
oder Note bei der nächsten Prüfung. Dadurch werden Lernaktivitäten sichtbarer und
zukünftige Ergebnisse besser abschätzbar. Entsprechende Maßnahmen können auf
diese Weise rechtzeitig gesetzt werden. Durch die Interpretation der Ergebnisse
können beispielsweise Lehrende Risikogruppen identifizieren und Hilfestellungen
anbieten, um den individuellen Lernerfolg zu erhöhen.
Ziel 2: Empfehlungen
Basierend auf den erfassten Aktivitäten der Lernenden sollen durch Learning
Analytics Empfehlungen, beispielsweise in Bezug auf die Wahl eines Studiums, die
Teilnahme an einer Lehrveranstaltung oder ein zu lesendes Buch, ausgesprochen
werden. (vgl. DUVAL 2011)
Ziel 3: Personalisierung des Lernprozesses
Ein vordergründiges Ziel von Learning Analytics stellt die Verbesserung des
Lernprozesses für alle Lernenden, seien es Studierende oder Schülerinnen und
Schüler, dar, indem diese ihre Lernumgebung individuell gestalten können und
angepasste Empfehlungen auf Basis ihrer Lernaktivitäten und persönlichen
Informationen erhalten. Dies soll sich positiv auf den allgemeinen Lernerfolg
auswirken und Innovationen im Bildungsbereich vorantreiben. (vgl. PEA et al. 2014)
Ziel 4: Reflexion und Iteration
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
6 von 16
WOLF (2009) bezeichnet den Prozess der Reflexion als Selbstobservation der
eigenen, im Lernprozess entstandenen Daten. Das Ziel besteht darin, vergangene
Aktivitäten zu evaluieren, um zukünftige Lernerfahrungen, vor allem in Hinsicht auf
Personalisierung und Anpassung, zu verbessern. Eine laufende Wiederholung
dieses Prozesses trägt zur Optimierung des Lehr- und Lernsettings und des Learning
Analytics Lifecycles für alle Stakeholder bei. (vgl. KHALIL & EBNER 2015)
Ziel 5: Benchmarking
Unter Benchmarking, übersetzt Leistungsvergleich oder Vergleich von Maßstäben,
wird ein Lernprozess verstanden, bei dem die besten Methoden und Verfahren zum
Erreichen bestimmter Ergebnisse identifiziert werden. Learning Analytics kann dabei
helfen, Schwachstellen in einer Lernumgebung oder bei bestimmten Lehr- und
Lernaktivitäten aufzudecken und somit die Optimierung dieser Methoden und
Verfahren voranzutreiben.
2.2. Interessensgruppen (Stakeholders) von Learning Analytics
Entsprechend der mit Learning Analytics verbundenen Zielen, können verschiedene
Gruppen von Personen auf unterschiedliche Weise von Learning Analytics
profitieren.
Stakeholder 1: Lernende
Schüler, Studierende oder allgemein Lernende bilden die größte Interessensgruppe.
Das gemeinsame Ziel ist Steigerung der Lernperformance und die Optimierung des
Lernprozesses. Beispielsweise kann durch Learning Analytics das personalisierte
Online-Lernen unterstützt werden. Den Lernenden können Kurse vorgeschlagen
werden. Zudem wird ein Vergleich mit anderen Lernenden ermöglicht.
Stakeholder 2: Lehrende/Trainer/innen
Lehrende können durch den Einsatz von Learning Analytics die von Ihnen gewählten
Lehrmethoden optimieren. Sie erhalten Rückmeldungen über die einzelnen
Lernschritte der Lernenden, die ohne die Verwendung von Learning-Analytics-
Werkzeugen womöglich nicht zugänglich sind. Dadurch können sie rechtzeitig
eingreifen, neue didaktische Wege einschlagen und direkt auf die Bedürfnisse der
Lernenden eingehen.
Stakeholder 3: Forscherinnen und Forscher
Wissenschaftler/innen und Forscher/innen im Bereich Lehr- und Lerntechnologien
nutzen die Vorteile von Learning Analytics beispielsweise dazu, um Kurse zu
vergleichen, zu evaluieren und um didaktische Modelle zu optimieren. Daraus
ergeben sich Rückschlüsse auf das generelle Lernverhalten und der zugehörigen
Lernprozesse.
Stakeholder 4: Bildungsinstitutionen
Learning Analytics kann Entscheidungsträgerinnen und Entscheidungsträger von
Bildungsinstitutionen dabei unterstützen, festgelegte Ziele effizienter zu erreichen,
sei es die Verkleinerung der Ausfallsrate, die Steigerung der durchschnittlichen
Lernperformance oder die Verbesserung von Curricula.
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
7 von 16
2.3 Big Data und Learning Analytics
Nach EBNER & SCHÖN (2013) wird unter Big Data “eine unüberschaubare
Anhäufung von Daten durch die Nutzung verschiedener webbasierter Dienste zu
deren Analyse und Interpretation” verstanden. Lernende produzieren bei der
Interaktion mit der jeweiligen Lernumgebung nicht nur eine große Datenmenge.
Hinzu kommt, dass die Daten eine unterschiedliche Struktur aufweisen (vgl. KHALIL
& EBNER 2015).
Kommunikationsdaten
Daten in Textform entstehen beispielweise beim Versenden von E-Mails oder durch
Beiträge in Lernforen oder Blogs. Neben Bildern werden auch Audio- und
Videosequenzen auf verschiedenen Wegen produziert und ausgetauscht.
Interaktionsdaten mit fester Struktur
Bei der Interaktion mit der Lernumgebung kann beispielsweise die Anzahl der
Anmeldungen, aufgerufenen Lernressourcen, Downloads- und Uploads oder die
Anzahl der Mausklicks, gestellten Fragen und Aktivitäten in sozialen Netzwerken
festgestellt und in einer Datenbank hinterlegt werden. Auch fallen automatisch
generierte Logfiles von Servern in diesen Bereich.
Persönliche Daten
Je nach Lernumgebung werden persönliche Daten der Lernenden wie Name, E-Mail-
Adresse, Geburtsdatum, Wohnadresse oder weitere personenbezogene
Informationen erfasst.
Lerner(innen)spezifische Daten
Je nach Bildungsinstitution werden beispielsweise An- und Abwesenheiten,
Prüfungsergebnisse oder Informationen zum Bildungsweg, aufgezeichnet.
2.4 Methoden von Learning Analytics
Um verschieden strukturierte Daten von Lernenden zu analysieren, daraus Muster zu
erkennen und Typen und Profile abzuleiten, wird auf verschiedene Methoden
zurückgegriffen, welche entweder einem qualitativen oder einem quantitativen
Ansatz folgen. (vgl. KHALIL & EBNER 2015). Ein paar dieser Methoden sowie ihre
Anwendungsgebiete werden hier kurz zusammengefasst um einen Überblick über
die Vielzahl der Möglichkeiten (vgl. KHALIL & EBNER 2015; CALVET LIÑÁN & JUAN
PÉREZ 2015, LEITNER et al. 2017) zu erhalten.
Methode 1: Statistische Analyse
Die Daten werden mit statistischen Methoden untersucht um daraus Rückschlüsse
ziehen zu können. So kann z. B. die Anzahl der Besuche gezählt werden,
Mausklicks, wie lange die Studierenden für die Erledigung einer Aufgabe benötigen
usw. Entscheidungsträger/innen können daraus Handlungsempfehlungen ableiten.
(KHALIL & EBNER 2015)
Methode 2: Soziale Netzwerk Analyse
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
8 von 16
Hier wird der Fokus der Analyse auf den Beziehungen zwischen den Entitäten gelegt
in Hinblick auf kollaborative Aktivitäten (z. B. Gruppenarbeiten) als auch die
Kommunikation zwischen den Personen über z. B. Chats, Foren, E-Mails, usw.
Dadurch können starke und schwache Verbindungen zwischen den Entitäten
aufgezeigt werden. Diese Information können die Lehrenden nutzen um die
Atmosphäre in der Klasse besser zu verstehen um Hilfe da anzubieten wo es nötig
ist. (KHALIL & EBNER 2015; CALVET LIÑÁN & JUAN PÉREZ 2015)
Methode 3: Visualisierung
Diese Methode beschäftigt sich mit der sinnhaften Darstellung der gewonnen Daten
und Aktivitäten im System für die Betreuerin/den Betreuer als auch der Schülerinnen
und Schüler. Dazu werden Daten in geeigneter und verständlicher Weise mit Hilfe
von Visualisierungen, Zusammenfassung von Ergebnisse, interaktiven Oberflächen
(z. B. Diagramme), usw. dargestellt. Dadurch kann ein Überblick über die
Kompetenzen und Fähigkeiten gewonnen werden. (KHALIL & EBNER 2015;
CALVET LIÑÁN & JUAN PÉREZ 2015)
Methode 4: Gruppierung
Basierend auf den Lern- und Verhaltensmustern eines/einer jeden Studierenden
werden diese in verschiedene Gruppen zugeteilt. Das gleiche kann auch mit den
Lernmaterialien gemacht werden. Dadurch kann pro Gruppe eine fundierte
Entscheidung über die weiteren Lernfortschritte getroffen werden. (CALVET LIÑÁN &
JUAN PÉREZ 2015)
Methode 5: Abweichungen erkennen
Wenn Studierende von den gegebenen Mustern abweichen, können diese mit Hilfe
dieser Methode identifiziert werden. Damit wird es leichter Studierende die
Schwierigkeiten mit dem Gebiet haben oder eine Abweichung im Lernfortschritt
aufzeigen zu erkennen. (CALVET LIÑÁN & JUAN PÉREZ 2015)
Methode 6: Vorhersage
Ziel ist es eine Vorhersage über die Leistungen und das Verhalten der Studierenden
zu treffen. Dazu werden verschiedene Modelle für die Vorhersage auf Basis
verschiedener Faktoren und Daten genutzt. (CALVET LIÑÁN & JUAN PÉREZ 2015)
Methode 7: Abläufe analysieren
Dabei wird das Verhalten der Studierenden anhand von Ereignis-Protokollen
untersucht. Durch die Analyse von besuchten Kursen, erhaltenen Noten und
Protokollen der besuchten Inhalte können Rückschlüsse auf das Verhalten der
Studierenden geschlossen werden. (CALVET LIÑÁN & JUAN PÉREZ 2015)
Methode 8: Texte analysieren
Bei dieser Methode wird der Inhalt verschiedener Quellen wie z. B. Foren, Chats,
Seiten im Internet und Dokumente untersucht. Die so gewonnen Informationen
können dann weiterverarbeitet werden. (CALVET LIÑÁN & JUAN PÉREZ 2015)
Methode 9: Wissen prüfen
Das Wissen der Studierenden kann mit dieser Technik über einen längeren Zeitraum
hin untersucht werden. Dazu wird ein kognitives Modell welches sich an den
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
9 von 16
Fähigkeiten orientiert die zur Problemlösung benötigt werden, sowie eine Auswertung
der richtigen und falschen Antworten der Studierenden herangezogen. Dadurch lässt
sich der aktuelle Wissenstand der Studierenden im betroffenen Gebiet feststellen
und die Fortschritte bei der Aneignung, durch Wiederholung der Untersuchung über
einen längeren Zeitraum hinweg, dokumentieren. (CALVET LIÑÁN & JUAN PÉREZ
2015)
2.5 Aspekte und Einschränkungen von Learning Analytics
Auch wenn Learning Analytics mit vielen Vorteilen für verschiedene
Interessengruppen im Bildungssektor einhergeht, dürfen bestimmte Aspekte in
Bezug auf Ethik, Sicherheit und Datenschutz in der Entwicklung und in der
Verwendung von Learning-Analytics-Tools nicht vernachlässigt werden. Nachfolgend
werden acht ausgewählte „Learning Analytics Einschränkungen“ näher vorgestellt.
Aspekt 1: PRIVACY – Umgang mit persönlichen Daten
Die während des Lernprozesses gesammelten Datensätze können persönliche
Informationen über die Lernenden beinhalten und Auskunft über die durchgeführten
Aktivitäten und Verhaltensweisen der Lernenden geben. So ist es beispielsweise
Lehrenden an einer Universität durch Learning Analytics möglich, den Lernerfolg
ihrer Studierenden besser vorherzusagen und potentiell gefährdete Studierende
explizit anzusprechen. Dabei besteht jedoch die Gefahr, dass Studierende als „gut“
oder „schlecht“ klassifiziert werden. Um die Identität der Lernenden zu verbergen und
gleichzeitig eine Intervention durch Learning Analytics zu ermöglichen, stehen
mittlerweile eine Reihe an Anonymisierungstechniken zur Verfügung. (vgl. FUNG et
al. 2010). Zur Gewährleistung eines sensiblen Umgangs mit persönlichen Daten
sollten Bildungsinstitutionen klare und verbindliche Richtlinien formulieren. (vgl.
KHALIL & EBNER 2015)
Aspekt 2: ACCESS – Wer darf die Daten einsehen
Durch Authentifizierung und Autorisierung kann sichergestellt werden, dass
lerner(innen)spezifische Daten nicht für alle Interessensgruppen in der gleichen Form
einsehbar sind. So sollte beispielsweise für Lehrende die Möglichkeit bestehen, die
für den Lernprozess relevanten Daten einzusehen. Der Zugang zu persönlichen
Informationen wie Nationalität oder Geschlecht sollte jedoch nicht gegeben sein.
Auch die Lernenden sollten auf die gesammelten Daten und die ermittelten
Ergebnisse zugreifen und gegebenenfalls Änderungen vornehmen können.
Aspekt 3: TRANSPARANCY – Was wird gesammelt und wie wird ausgewertet
RICHARD & KING (2014) argumentieren, dass die Verwendung von Big Data auf
eine für die Lernerin oder den Lerner transparente Weise erfolgen muss, um zu
verhindern, dass Bildungsinstitutionen ihre Macht missbrauchen und um den
Lernenden ein Gefühl der Sicherheit bei der Weitergabe ihrer Daten zu vermitteln.
Eine vollständige Transparenz in Bezug auf die eingesetzten Algorithmen und
Methoden sehen SLADE & PRINSLOO (2013) allerdings als problematisch an, weil
dadurch Anreize entstehen, dass System zum eigenen Vorteil auszunutzen.
Dennoch sollten für die eingesetzten Algorithmen und Methoden einfache
Beschreibungen vorliegen. (vgl. KHALIL & EBNER 2015) Im Allgemeinen gilt, dass
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
10 von 16
auch im technischen Bereich von Learning Analytics Sicherheitsaspekte eine
zentrale Rolle in der Entwicklung einnehmen müssen.
Aspekt 4: POLICY – Welche Aspekte müssen berücksichtigt werden
PRINSLOO & SLADE (2013) haben im Rahmen einer Studie gezeigt, dass die
Integration von ethischen und privatrechtlichen Aspekten in institutionelle Richtlinien
bezüglich Learning Analytics häufig nicht in ausreichendem Maße erfolgt. KHALIL &
EBNER (2015) listen eine Reihe von Bestimmungen, welche in einer ethisch
unbedenklichen Learning-Analytics-Richtlinie berücksichtigt werden müssen:
Sammlung von persönlichen Informationen (z. B. Geschlecht, Geburtsdatum.,
Nationalität, etc.), Beschreibungen, wie, d.h. zu welchem Zweck diese Informationen
genutzt werden (z. B. Vorhersagen, Empfehlungen), Beschreibungen, wie die Daten
gesammelt werden (z. B. Eingabe durch die Lernenden), eine Beschreibung der
verwendeten Sicherheitsmodelle zum Datenschutz, Angaben, wie lange welche
Daten gespeichert werden, eine Definition des Prozesses, wie Daten gelöscht
werden
Aspekt 5: SECURITY – Vertraulichkeit, Integrität und Verfügbarkeit
Alle mit Learning Analytics verbundenen Softwaresysteme müssen unter Einhaltung
von bestimmten Sicherheitsprinzipien und -modellen entwickelt werden. Ein
bekanntes Sicherheitsmodell legt den Fokus auf die Komponenten „Vertraulichkeit“,
„Integrität“ und „Verfügbarkeit“ (ANCIAUX et al. 2006). Unter Vertraulichkeit versteht
man, dass Daten nur von berechtigten Personen gelesen werden können. Dies wird
beispielsweise durch Verschlüsselung erreicht. Durch die Integritäts-Komponente
wird gewährleistet, dass Daten (auch während der Übermittlung) nicht verändert
werden können. Hier spielen kryptographische Prüfsummen eine wichtige Rolle.
Zudem sollten die Daten jederzeit für berechtigte Personen verfügbar und zugänglich
sein.
Aspekt 6: ACCURANCY – Fehlerbereiche der Analyse
Nach GRELLER & DRASCHLER (2012) stellen fehlerhafte Datensätze die größte
technische Herausforderung von Learning Analytics dar. Eine solch „Verschmutzung“
von Daten kann entstehen, wenn beispielsweise Schülerinnen oder Schüler
gemeinsam auf demselben Gerät arbeiten. Darüber hinaus besteht eine
Herausforderung von Learning Analytics auch darin, die richtigen bzw. die für das
jeweilige Ziel relevanten Datensätze zu sammeln bzw. auf diese zuzugreifen. Daher
sind die ermittelten Ergebnisse immer kritisch zu hinterfragen.
Aspekt 7: RESTRICTIONS – Gesetze, die eingehalten werden müssen
Gesetzliche Vorschriften in Verbindung mit Datenschutz und Urheberrecht schränken
die positiven Effekte, welche durch Learning Analytics erzielbar sind, ein.
Beispielsweise dürfen Daten nur für eine bestimmte Zeitdauer gespeichert werden.
Zudem muss auch die Sicherheit der Daten in jedem Fall gewährleistet sein, vor
allem dann, wenn es sich dabei um persönliche Daten handelt.
Aspekt 8: OWNERSHIP – Wem gehören die Daten
Wer ist der oder die Besitzer/in der gesammelten Daten? Sind es die Studierenden
oder ist es die jeweilige Bildungsinstitution? JONES et al. (2014) argumentieren,
dass weder Studierende noch die Bildungsinstitution den alleinigen Besitz für sich
beanspruchen sollen (und können). Beide Parteien sollen von den erfassten Daten
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
11 von 16
und den Ergebnissen von Learning Analytics profitieren können, wobei ein
vertraulicher Umgang mit den Daten stets vorausgesetzt wird.
3 HANDELN: So gehen Sie vor!
Learning Analytics hilft dem jeweiligen Stakeholder dabei, neue Erkenntnisse zu
gewinnen, die zu einer Verbesserung der Abläufe in einem Lehr- oder Lernprozess
führen können. Zum Erreichen dieses Zieles durch Learning Analytics muss zuerst
ein Konzeptplan erstellt werden, in dem klare Ziele festgelegt sind. Danach erfolgt die
technische Umsetzung und die Präsentation bzw. Visualisierung der Ergebnisse.
Abschließend muss eine Interpretation der Resultate vorgenommen werden. Auf
Basis der gewonnenen Erkenntnisse sind alle beteiligten Stakeholder aufgefordert,
entsprechende Verbesserungsschritte zu setzen.
(3.1) 3 Schritte zur Planung des Einsatzes von Learning Analytics
<Einleitung>
Für die Umsetzung von Learning Analytics müssen das Vorhaben, die Ziele und die
Methoden genau definiert werden. Dabei sind die folgenden Schritte erforderlich:
1. Schritt 1: Festlegung der Stakeholder
Welche Personengruppen sollen direkt bzw. indirekt von Learning Analytics
profitieren? Der erste Schritt umfasst die Festlegung der Stakeholder, welche direkt
bzw. indirekt von den ermittelten Ergebnissen beeinflusst werden.
2. Schritt 2: Festlegung der Ziele und Konkretisierung des Vorhabens
Im zweiten Schritt sind die Ziele, welche durch Learning Analytics erreicht werden
sollen bzw. die Erwartungen an den Einsatz von Learning Analytics zu definieren.
Von den definierten Zielen hängen auch die möglichen Methoden zur Datenanalyse
und zur Präsentation der Ergebnisse ab. Eine präzise Formulierung der Ziele und
des Vorhabens ist daher unerlässlich, da Änderungen bzw. Abweichungen in einer
späteren Phase der Umsetzung zu einem enormen Mehraufwand in der
Implementierung führen können.
3. Schritt 3: Festlegung der Daten und Datenquelle(n)
Big Data steht im Mittelpunkt von Learning Analytics. Daher bilden die Daten, welche
entweder bereits verfügbar sind oder noch gesammelt werden müssen, den
zentralen Bestandteil im gesamten Prozess von Learning Analytics. Damit die in
Schritt 3 beschriebenen Ziele so gut wie möglich erreicht werden können, müssen
auch die dafür benötigten Datensätze festgelegt werden. Dies kann, je nach Ziel und
Vorhaben, eine einfache oder komplizierte Aufgabe darstellen.
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
12 von 16
Auch die Datenquelle(n) ist/sind entsprechend anzugeben. In vielen Fällen liegen die
Daten explizit vor, beispielweise in Form von Eingaben durch die Benutzerinnen und
Benutzer (z. B. Alter, Geschlecht, Angaben zu Schul- und Ausbildung) oder als
digitale Spuren, die bei der Interaktion mit der Lernumgebung (z. B.
Benutzer(innen)aktivitäten in einem Learning-Management-System) entstehen. Sind
die Daten jedoch nicht explizit verfügbar, so müssen diese unter dem Einsatz von
Data-Mining-Methoden gewonnen werden. (HAN et al. 2011) In beiden Fällen ist zu
definieren, welche Daten aus welchen Quellen entnommen werden.
(3.2) 4 Phasen der technischen Implementierung
<Einleitung>
Für die Implementierung von Learning Analytics muss man technisches Knowhow
mitbringen. Diese umfasst 4 wesentliche Phasen die wie folgt beschrieben werden
1. Phase 1: Daten sammeln
Der erste Schritt besteht in der Bereitstellung der Daten. Die Daten stammen dabei
von den im dritten Planungsschritt festgelegten Datenquellen. Um zuverlässige,
genaue Resultate zu erhalten, ist eine Mindestanzahl von Datensätzen, die
sogenannte Sample Size, erforderlich. Dieses Kriterium ist insbesondere beim
Einsatz von statistischen Methoden ausschlaggebend. Generell gilt: Je mehr
Datensätze für die Analyse vorgelegt werden, desto höher ist das sogenannte
Confidence Level, das angibt, wie genau bzw. wie verlässlich die ermittelten
Analyseergebnisse sind. In Abhängigkeit von Ziel und Methode muss darauf
geachtet werden, dass Datensätze in einem bestimmten Umfang zur Verfügung
stehen.
2. Phase 2: Daten aufbereiten
Liegen die Datensätze vor, so müssen sie zuerst für die eigentliche Auswertung
vorbereitet werden. Bei großen Datenmengen kommt es häufig vor, dass ein kleiner
Anteil aller Datensätze von der Norm bzw. von den erwarteten Werten abweicht. In
der Statistik werden solche Datensätze als Outliers, übersetzt Ausreißer, bezeichnet
und können durch Systemfehler (z. B. Aufzeichnung einer falschen Zeit beim Lösen
einer Aufgabe) oder durch falsche Eingaben entstehen. Derartige Datensätze
können die Ergebnisse der Analyse verfälschen und müssen daher detektiert und
eliminiert werden. Nicht alle Ausreißer entstehen durch ein bestimmtes
Fehlverhalten. In wenigen Fällen entsprechen sie einem wahren Wert, der sich aber
deutlich von der Mehrheit der erfassten Werte unterscheidet und daher für das
entsprechende Ziel nicht relevant ist.
Darüber hinaus müssen die Datensätze für die Auswertungsmethoden aufbereitet
werden. Dieser Schritt hängt stark von der jeweils gewählten Methode ab.
Beispielsweise muss das Format, in dem die Daten vorliegen, für die jeweilige
Methode angepasst werden. Manchmal müssen vorab Berechnungen durchgeführt
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
13 von 16
werden, um bestimmte Zusammenhänge zwischen den Datensätzen ermitteln zu
können.
3. Phase 3: Daten auswerten
Liegen die vorbearbeiteten Daten vor, kann mit der Auswertung begonnen werden.
Die Auswertung und die dafür eingesetzten Methoden und Algorithmen hängen von
den vorliegenden Daten ab und unterscheiden sich in Hinsicht auf das
Gesamtvorhaben. So kann beispielsweise die Laufzeit der Auswertung stark
variieren. In sehr einfachen Fällen und bei geringen Datenmengen kann die
Auswertung schnell erfolgen. Bei einer großen Menge an Daten, beispielsweise beim
Einsatz der Methoden und Algorithmen von Machine Learning, kann die Laufzeit und
der benötigte Speicherbedarf enorm ansteigen. (TARAGHI et al. 2016)
4. Phase 4: Präsentation der Ergebnisse
Ist die Auswertung abgeschlossen, kann mit der Interpretation der (häufig visuell
aufbereitenden) Ergebnisse, begonnen werden. Die sogenannten Learning Analytics
Dashboards nach LEITNER & EBNER (2017) und EBNER et al. (2016) umfassen
verschiedene Artefakte wie Grafiken oder Diagramme, welche die Interpretation der
Ergebnisse für die jeweilige Interessensgruppe visuell unterstützt und somit auch
erleichtert. Dabei werden relevante Eigenschaften, wie Trends, gefundene Muster
oder Gruppen, die eine oder mehrere Eigenschaften nach bestimmten Kriterien
teilen, auch Cluster genannt, hervorgehoben (TARAGHI et al. 2015). Allgemein
stehen zahlreiche Methoden und Visualisierungsbibliotheken für diesen Schritt zur
Verfügung.
(3.3) Noch 2 Schritte zum Ziel
<Einleitung>
Die in Phase 4 gewonnenen Erkenntnisse unterstützen die Stakeholder bei
Handlungsentscheidungen, um die festgelegten Ziele zu erreichen.
1. Schritt 1: Intervenieren
Ein wesentlicher Unterschied zwischen Learning Analytics und Educational Data
Mining liegt darin, dass bei Learning Analytics die Stakeholder aktiv werden und
nach den gewonnenen Erkenntnissen Entscheidungen für den weiteren Lehr- und
Lernprozess treffen. Das kann beispielsweise die Änderung von didaktischen
Maßnahmen oder die Adaptierung einer Lernapplikation sein. (TARAGHI et al. 2014).
2. Schritt 2: Optimieren
Learning Analytics ist ein Zyklus, ein iterativer Prozess. Er beginnt, wo er aufhört.
Auch nachdem entsprechende Maßnahmen gesetzt und ergriffen wurden, muss
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
14 von 16
überprüft werden, inwieweit diese zur Verbesserung des Lehr- und Lernprozesses
beigetragen haben. Möglicherweise müssen neue Maßnahmen gesetzt und bereits
getroffene Entscheidungen kritisch hinterfragt bzw. revidiert werden. Ziel ist eine
schrittweise Optimierung des Lernprozesses.
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
15 von 16
5 Quellennachweise
ANCIAUX, N., BOUGANIM, L. & PUCHERAL, P.: Data confidentiality: to which extent
cryptography and secured hardware can help, in: Annales des telecommunications,
Vol. 61, Nr. 3-4, April 2006, Chesapeake S. 267-283,
https://doi.org/10.1007/BF03219909.
CALVET LIÑÁN, L. & JUAN PÉREZ, Á. A.: Educational Data Mining and Learning
Analytics: differences, similarities, and time evolution, in: International Journal of
Educational Technology in Higher Education, 12(3), 2015, S. 98-112.
DRACHSLER, H. & GRELLER, W.: The Pulse of Learning Analytics: Understandings and
Expectations from the Stakholders, in: Proceedings of the 2nd International
Conference on Learning Analytics and Knowledge, USA: ACM, New York, 2012, S.
120-129.
DUVAL, E.: Attention please! Learning analytics for visualization and recommendation,
in: Proceedings of the 1st International Conference on Learning Analytics and
Knowledge, 2011, USA: ACM, New York, S. 9-17.
EBNER, M. & SCHÖN, M.: Das Gesammelte interpretieren - Educational Data Mining
und Learning Analytics, in: L3T - Lehrbuch für Lernen und Lehren mit Technologien,
Berlin: epubli GmbH, 2013, S. 413-419.
EBNER, M., TARAGHI, B. & SARANTI, A.: Seven features of smart learning analytics –
lessons learned from four years of research with learning analytics, in: eLearning
Papers, January, 2015, URL: http://openlib.tugraz.at/56a88cfaccea9 (2017-07-28).
EBNER, M., TARAGHI, B., SOFTIC, S.: Dashboard zur Verfolgung von Lernaktivitäten in
einer personalisierten Lernumgebung mittels semantischer Modellierung der
Benutzerdaten, in: 10. Forschungsforum der Österreichischen Fachhochschulen, BFI
Wien, 4/2016, S. 1-6.
FUNG, B., WANG, K., CHEN, R. & YU, P.: Privacy-Preserving data publishing: A survey
of recent developments, in: ACM Computing Surveys (CSUR), 2010, 42. Jg., Nr. 4,
S. 14.
GRELLER, W. & DRACHSLER, H.: Translating Learning into Numbers: A Generic
Framework for Learning Analytics, in: Educational Technology & Society, 15 (3),
2012, S. 42-57.
HAN, J., PEI, J., KAMBER, M.: Data mining: concepts and techniques, Elsevier 2011.
JONES, K., THOMSON, J. & ARNOLD, K.: Questions of Data Ownership on Campus.
EDUCASE Review. Dezember 2014, URL:
http://www.educause.edu/ero/article/questions-data-ownership-campus (2017-07-30).
KHALIL, M. & EBNER, M.: Learning Analytics: Principles & Constraints, in: Proceedings
of World Conference on Educational Multimedia, Hypermedia and
Telecommunication, 2015, S. 1326-1336.
LEITNER, P., EBNER, M: Development of a Dashboard for Learning Analytics in Higher
Education, in: International Conference on Learning and Collaboration Technologies,
7/2017, S. 293-301.
Vorabversion – Original veröffentlicht in: Grandl, M., Taraghi, B., Ebner, M., Leitner, P. & Ebner, M. (2017) Learning Analytics. In
K. Wilbers & A. Hohenstein (Hrsg.), Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis – Strategien,
Instrumente, Fallstudien. Köln: Deutscher Wirtschaftsdienst (Wolters Kluwer Deutschland). 72. Erg.-Lfg. Dezember 2017.
9.1 S. 1-16
16 von 16
LEITNER, P., KHALIL, M., EBNER, M: Learning Analytics in Higher Education – A
Literature Review. In: Learning Analytics: Fundaments, Applications, and Trends.
Peña-Ayala, A. (Ed.). Springer International Publishing, 2017, S. 1-23.
PEA, R. & JACKS, D.: THE LEARNING ANALYTICS WORKGROUP A Report on
Building the Field of Learning Analytics for Personalized Learning at Scale, 2014,
URL: https://ed.stanford.edu/sites/default/files/law_report_complete_09-02-2014.pdf
(2017-07-31).
PRINSLOO, P., & SLADE, S.: An evaluation of policy frameworks for addressing ethical
considerations in learning analytics, in: Proceedings of the Third International
Conference on Learning Analytics and Knowledge (LAK), 2013, New York, USA:
ACM, S. 240-244.
RICHARD, J.H. & KING, N.M.: Big Data Ethics, in: Wake Forest Law Review, 2014,
URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2384174 (2017-07-30).
ROMERO, C. & VENTURA, S.: Data Mining in Education, in: WIREs Data Mining Knowl
Disv, 2013, S. 12-27, DOI: 10.1002/widm.1075.
SIEMENS, G.: What are Learning Analytics?, Elearnspace, August 25, 2010, URL:
http://www.elearnspace.org/blog/2010/08/25/what-are-learning-analytics (2017-07-
28).
SLADE, S. & PRINSLOO, P.: Learning Analytics: Ethical Issues and Dilemmas, 2013,
URL: http://oro.open.ac.uk/36594/2/ECE12B6B.pdf (2017-07-30).
TARAGHI, B., EBNER, M., SARANTI, A., SCHÖN, M.: On Using Markov Chain to Evidence
the Learning Structures and Difficulty Levels of One Digit Multiplication, in:
Proceedings of the Fourth International Conference on Learning Analytics And
Knowledge, ACM, 3/2014, S. 68-72.
TARAGHI, B., SARANTI, A., EBNER, M., MÜLLER, V., GROßMANN, A.: Towards a Learning-
Aware Application Guided by Hierarchical Classification of Learner Profiles, in: J.
UCS, 21(1), 2015, S. 93-109.
TARAGHI, B., SARANTI, A., LEGENSTEIN, R., EBNER, M.: Bayesian Modelling of Student
Misconceptions in the One-Digit Multiplication with Probabilistic Programming, in:
Proceedings of the Sixth International Conference on Learning Analytics &
Knowledge, 4/2016, S. 449-453.
WOLF, G.: Know thyself: Tracking every facet of life, from sleep to mood to pain,
24/7/365, in: Wired Magazine, 2009, URL:
http://www.wired.com/medtech/health/magazine/1707/lbnp_knowthyself?currentPage
=all (2017-07-31).
