ChapterPDF Available

Learning Analytics an Schulen

Authors:
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
Learning Analytics an Schulen
Behnam Taraghi, Markus Ebner, Martin Ebner,
Martin Schön
1 Einführung
Learning Analytics hat seit seiner Erwähnung im Horizon Report 2012
(Johnson et al. 2012) immer mehr an Bekanntheit und Wichtigkeit
gewonnen. Long und Siemens bezeichnen überdies Big Data und Analytics
als die dramatischen Faktoren für die Zukunft der (Hoch)Schulbildung
(Long/Siemens 2011, S. 31-40). Learning Analytics selbst profitiert von den
Möglichkeiten eine Vielzahl von unterschiedlichen Daten einer jeden
Benutzerin/eines jeden Benutzers zu sammeln, um die Lernaktivität und das
Lernverhalten genauer zu betrachten. Dadurch wird ermöglicht das Lernen
selbst besser zu verstehen (Bader-Natal/Lotze 2011). Siemens versucht mit
Big Learning Data weitere Informationen zu erhalten um den Lernerfolg
vorherzusagen (Siemens 2010). Überdies führt er aus dass nicht die
Analysemodelle wichtig sind, sondern der Prozess als Ganzes. So ist es
möglich die Ausbilderinnen und Ausbilder, Lehrenden sowie Dozentinnen
und Dozenten mit entsprechenden Daten zu versorgen, welche das
Lernverhalten jedes einzelnen Lernenden abbilden und so eine
individualisierte und personalisierte Betreuung ermöglichen (Ebner/Schön
2013, S. 14-17).
2 Schreiben lernen im Grundschulalter
Für Schülerinnen und Schüler zählt das Schreiben neben Lesen und Rechnen
zu den grundlegenden Fähigkeiten die in der Grundschule erlernt werden
müssen. Unverzichtbar für die spätere Teilnahme am gesellschaftlichen
Leben ist es daher für die Lehrkräfte von großem Interesse frühzeitig
Defizite in diesem Bereich zu erkennen um geeignete Maßnahmen zur
Beseitigung dieser zu setzten (Ebner et al. 2015, S. 118-122). Dazu wird den
Kindern eine webbasierte Plattform angeboten in die sie kurze Texte in Form
von Blogeinträgen verfassen können. Im Gegensatz zu handschriftlich
verfassten Werken können diese Texte im ersten Schritt teil-automatisiert
analysiert werden um den Kindern Feedback zu liefern. Dies kann in Form
von Hinweisen zur Korrektur erfolgen welches das Selbstkorrekturpotenzial
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
der Kinder fördert. Die Schülerinnen und Schüler erhalten so die
Möglichkeit ihren eigenen Text mehrmals selbst zu verbessern (Konstanze et
al. 2015, S. 4-15). Die Lehrkräfte profitieren hierbei von der bereits
durchgeführten Erstauswertung des Textes in Hinblick auf
Rechtschreibungs- und Grammatikfehler sowie in weiterer Folge von der
qualitativen Analyse. Hierzu werden die gemachten Fehler in verschiedene
Bereiche kategorisiert und bestimmten Phänomenen zugeordnet. Die
Auswertung ermöglicht es den Lehrerinnen und Lehrern geeignete
Maßnahmen zur Förderung des Kindes zu setzten mit z.B. geeigneten
individuellen online Übungen sowie Arbeitsblätter, welche zusätzlich auf
dieser Plattform kostenlos angeboten werden (Konstanze et al. 2015, S. 4-
15). Der Fortschritt des Kindes kann so über einen längeren Zeitraum
beobachtet und entsprechend visuell aufbereitet den Schülerinnen und
Schülern, Eltern sowie Lehrkräften zur Verfügung gestellt werden. In
weiterer Folge ermöglicht die Analyse der Daten ein besseres Verständnis
für den Lernprozess „Schreiben lernen“ an sich und ermöglicht neue
didaktische Zugänge (Ebner et al. 2016).
3 Mathematik in den Grundschulen
Einer der ersten Ziele im Mathematikunterricht ist das richtige Erlernen der
einstelligen Multiplikation, dessen gutes Verständnis als Voraussetzung für
mehrstellige Multiplikationen gilt. Auf dem ersten Blick scheint dieses
Lernproblem ganz trivial zu sein. Jedoch zeigen viele wissenschaftliche
Untersuchungen auf, dass die Schulkinder dabei mit diversen
Schwierigkeiten zu kämpfen haben: Die Auswirkung der eigenen
Muttersprache im Allgemeinen (Gerster 2009, S. 248-268), die Mathematik
als erste Fremdsprache (Landerl et al. 2003) und das sogenannte reine „row
learning“ (Fuson 1990, S. 180-206) spielen eine große Rolle in dem
Lernprozess. Zusätzlich gibt es zahlreiche pädagogische sowie
psychologische Untersuchungen, die auf die üblichen Fehler in der
einstelligen Multiplikation eingehen. Einer der bekanntesten Erkenntnisse ist
der „Problem-Size“ Effekt. Die Erfahrung hat gezeigt, dass
Multiplikationsprobleme mit großen Operanden eher eine größere Fehlerrate
aufweisen: je größer das Problem desto schwerer wird es zu lösen sein.
Verguts und Fias (Verguts/Fias 2005, S. 132-140) haben herausgefunden,
dass Fehler in Multiplikationsproblemen wahrscheinlicher sind wenn eine
Ziffer in der Lösung auch in Operanden vorkommt. Andere Untersuchungen
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
haben versucht Muster für die einfachen Multiplikationsprobleme zu
bestimmen. Beispiele sind Quadratzahlen und Multiplikationen mit zwei
sowie fünf (Chambers 1996, S. 92-95), (Garnett 1992, S. 210-216),
(Thornton 1990, S. 133-151). Neben allen psychologischen und
pädagogischen Untersuchungen, gibt es ganz wenige wissenschaftliche
Arbeiten, die auf rechnerische und analytische Weise das einstellige
Multiplikationsproblem untersuchen. In diesem Kapitel wird, an Hand der
Lernapplikation „1x1 Trainer“, die analytische Herangehensweise bei der
Untersuchung von einstelligen Multiplikationsproblemen gezeigt.
Anschließend werden die Ergebnisse in Bezug auf Klassifizierung der
Probleme nach ihrem Schwierigkeitsgrad präsentiert sowie die erkennbare
Muster und Strukturen in dem dahinterliegenden Lernprozess.
4 Applikation 1x1 Trainer
Die Abteilung Lehr- und Lerntechnologien an der Technischen Universität
Graz ist sehr aktiv im Bereich technologiegestütztes Lehren und Lernen. Im
Rahmen diverser Untersuchungen im Bereich Mathematikunterricht in den
Volksschulen wurden seit 2010 mehrere Mathematiktrainer entwickelt um
den Mathematikunterricht durch Anwendung neuer Technologien zu
unterstützen (Ebner/Schön 2013, S. 14-17). Als erstes wurde der „1x1
Trainer“ (Schön et al. 2012, S. 73-81) veröffentlicht, gefolgt vom „Multi-
Math-Coach“ (Ebner et al. 2013, S. 183-190) und „Addition und Subtraktion
Trainer“ (Ebner et al. 2014, S. 24-27). Alle Lernapps dürfen kostenfrei,
sowohl in den Schulen als auch privat, verwendet werden.
Der „1x1 Trainer“ ist eine webbasierte Applikation mit dem Ziel die Kinder
beim Trainieren der einstelligen Multiplikationsprobleme zu begleiten.
Zusätzlich wird auch eine pädagogische Intervention seitens der Lehrerinnen
und Lehrer, an den Stellen bei denen Kinder diese tatsächlich benötigen,
ermöglicht. Der dahinter liegende Algorithmus errechnet jederzeit das
Kompetenzniveau des Kindes. Weiteres, ist der Algorithmus in der Lage, je
nach erreichtem Kompetenzniveau, dem Kind geeignete Übungen
vorzulegen. Die gezielt ausgewählten Übungen sind für das bereits erzielte
Kompetenzniveau weder zu schwer noch zu einfach. Der Algorithmus stellt
auch sicher, dass bereits gelernte Übungen in regelmäßigen Abständen
wiederholt und geübt werden. Die Applikationsoberfläche und die
Bedienung sind besonderes für Kinder im Alter von 7 bis 10 Jahren
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
angepasst. Der dahinter liegende intelligente Algorithmus ist unter (Schön et
al. 2012, S. 73-81) in Detail beschrieben.
[Beginn Grafik]
Abb. 1: Überblick über den Lernstatus einer Schulklasse in „1x1 Trainer“ Applikation
Kap01_Abb01_1x1trainer.png
[Ende Grafik]
Abbildung 1 zeigt einen Überblick über den Lernstatus bei einer Schulklasse
an. Auf der linken Seite ist die Liste der Schüler zu sehen. Jede Zeile stellt
die offenen oder bereits absolvierten einstelligen Multiplikationsübungen bei
der/dem jeweiligen Schülerin/Schüler dar. Eine dunkelgrüne Farbe deutet
darauf hin, dass die Aufgabe bereits beherrscht wird. Wurde die Aufgabe
richtig gelöst (nur ein Mal) wird dies mit hellgrün symbolisiert. Rot lässt
darauf schließen, dass die Aufgabe noch zu üben ist bzw. inkorrekt gelöst
wurde. Eine graue Farbe weist darauf hin, dass die Aufgabe dem Schüler
noch nicht vorgelegt wurde. Neben dem Schülerinnennamen/Schülernamen
in der zweiten Spalte führte man eine Kompetenz-Farbe ein, die das
Ampelschema befolgt. Grün zeigt an, dass derzeit keine Probleme bei dem
Kind zu beobachten sind. Gelb deutet auf Unregelmäßigkeiten hin. Rot
alarmiert die Lehrerin/den Lehrer und deutet auf den Bedarf einer
pädagogischen Intervention hin. Die Kompetenz-Spalte stellt den aktuellen
Lernstatus des Kindes visuell dar, sodass die Lehrerin/der Lehrer, bei großer
Anzahl von Schülerinnen und Schülern, schnell auf Problemfällen
aufmerksam gemacht werden kann. Die Applikation wird in mehreren
Schulen sowie privat von vielen Interessentinnen und Interessenten genutzt.
Die Antworten der Benutzerinnen und Benutzer sowie ihre Reaktionszeiten
werden abgespeichert und für die Analyse als Basis-Datensatz
herangezogen.
4.1 Antworttypen
Der zu dieser Analyse herangezogene Datensatz beinhaltet ca. 450.000
Kalkulationen von 3.400 Kindern der “1x1 Trainer“ Applikation. Die
Applikation legt der Benutzerin/dem Benutzer eine Multiplikationsfrage
mindestens zwei Mal vor. Sollte die Frage das erste Mal richtige beantwortet
werden (Antworttyp R für „right“, richtig) wird sie später wieder gestellt um
sicherzustellen, dass sie tatsächlich von dem Kind gelernt wurde. Wenn die
Benutzerin/der Benutzer dieselbe Frage zum zweiten Mal richtig beantwortet
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
(Antworttyp RR) wird von der Annahme ausgegangen, dass sie/er die Frage
richtig gelernt hat. Wird dieselbe Frage zum zweiten Mal falsch beantwortet
(Antworttyp RW), wird sie solange in späterer Folge wieder gestellt bis die
Benutzerin/der Benutzer diese mindestens zweimal richtig beantwortet.
Im Gegensatz dazu ergeben sich Antworttypen W (für „wrong“, falsch),
WW und WR. Alle 6 möglichen Antworttypen und deren Bedeutung sind in
der Tabelle 1 aufgelistet. Diese werden für die weitere Analyse
herangezogen.
[Beginn Tabelle]
Tabelle 1. Sechs Antworttypen und deren Bedeutung. „R“ steht für
„Right“ (richtig) und „W“ für „Wrong“ (falsch)
Antworttyp
Definition
Letzte
Antwort
Aktuelle
Antwort
R
Erste richtige Antwort
-
R
W
Erste falsche Antwort
-
W
RR
Richtige Antwort gegeben,
richtige letzte Antwort
R
R
RW
Falsche Antwort gegeben,
richtige letzte Antwort
R
W
WR
Richtige Antwort gegeben,
falsche letzte Antwort
W
R
WW
Falsche Antwort gegeben,
falsche letzte Antwort
W
W
[Ende Tabelle]
5 Schwere und leichte Multiplikationsprobleme
Auf Basis des vorliegenden Datensatzes und der vordefinierten
Antworttypen werden die Wahrscheinlichkeiten und durchschnittlichen
Reaktionszeiten berechnet. Die Wahrscheinlichkeiten des Auftretens
verschiedener Antworttypen bei einer bestimmten Frage geben Indizien
darüber wie schwer sie in Relation zu allen anderen Fragen sind. Zu diesem
Zweck werden zuerst die Antworttypen statistisch analysiert. In weiterer
Folge werden die einstelligen Multiplikationsfragen in drei Kategorien
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
(schwer, mittelschwer, leicht) durch Anwendung eines bekannten
Algorithmus klassifiziert.
5.1 Statistische Analyse der Fragen
Es werden in einer ersten Phase zuerst „R“ und „W“ Antworttypen in
Betracht gezogen. Diese beinhalten nur die Fragen die zum ersten Mal der
Benutzerin/dem Benutzer gestellt wurden. Das Ziel ist herauszufinden
welche Fragen bzw. Lösungen bereits, statistisch betrachtet, ihr/ihm bekannt
und welche meistens unbekannt sind.
Abbildung 2 zeigt die ersten 30 schweren Fragen, deren Lösungen bei den
meisten Benutzerinnen und Benutzer unbekannt sind. Die Abbildung stellt
die Proportion von „W“ zu „R“ Antworttypen dar.
[Beginn Grafik]
Abb. 2: 30 meist schweren Fragen (mit unbekannten Lösungen)
Kap01_Abb02_difficultquestions.pdf
[Ende Grafik]
Abbildung 3 stellt ein Heatmap dar, aus der man visuell die einfachen bzw.
schweren Fragen ablesen kann. Die Reihen repräsentieren den ersten
Operanden und die Spalten den zweiten Operanden. Wie aus der Abbildung
3 leicht zu entnehmen ist, machen Operanden 1, 2, 5 und 10 die leichten
Fragen aus. Im Gegensatz dazu spielen Operanden 3, 4, 6, 7, 8 und 9 eine
größere Rolle bei dem Schwierigkeitsgrad einer Frage. 7*8 und 6*8 sind die
schwierigsten Fragen, da die meisten Benutzerinnen und Benutzer die
richtige Lösung nicht gewusst haben, als ihr/ihm zum ersten Mal die Fragen
vorgelegt wurden.
[Beginn Grafik]
Abb. 3: Die gestellten Fragen mit „W“ Antworttypen. Die schweren und leichten Fragen sind
in Relation erkennbar.
Kap01_Abb03_Heatmap_R_W.pdf
[Ende Grafik]
Abbildung 4 zeigt die durchschnittliche Reaktionszeit der Benutzerinnen und
Benutzer bei den Fragen, die richtig beantwortet wurden. Das sind die
Fragen mit Antworttyp „R“. Vergleicht man die Abbildung 3 mit 4, wird es
ersichtlich dass die Benutzerinnen und Benutzer bei der Lösung der
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
schweren Fragen (ersichtlich in Abbildung 3) erheblich mehr Zeit benötigen
als bei leichten Fragen.
[Beginn Grafik]
Abb. 4: Die durchschnittliche Reaktionszeit bei den gestellten Fragen mit Antworttypen „R“.
Höhe Reaktionszeit bei den schweren Fragen von Abbildung 3 ist in Relation erkennbar.
Kap01_Abb04_Heatmap_time_R.pdf
[Ende Grafik]
In der zweiten Phase wurden die Antworttypen „RW“, „WR“ und „WW“
analysiert. These beinhalten Fragen, die die Benutzerin/der Benutzer
mindestens einmal falsch beantwortet hat. Ihr/Ihm wird die Frage solange
gestellt bis sie/er mindestens zweimal die richtige Antwort gibt. Demzufolge
weisen die Wahrscheinlichkeiten des Auftretens dieser Antworttypen auf
den Schwierigkeitsgrad der jeweiligen Frage hin. Abbildung 5 stellt diese
Wahrscheinlichkeiten in einer Heatmap dar. Die Resultate ähneln sich sehr
stark der Abbildung 3. Man kann wieder die gleichen Operanden
identifizieren welche für eine leichte bzw. schwere Frage zuständig sind.
[Beginn Grafik]
Abb. 5: Die gestellten Fragen mit „RW“, „WR“, „WW“ Antworttypen. Die schweren und
leichten Fragen sind in Relation erkennbar.
Kap01_Abb05_Heatmap_RW_WR_WW.pdf
[Ende Grafik]
Abbildung 6 zeigt die durchschnittliche Reaktionszeit der Benutzerin/des
Benutzers bei den Fragen mit Antworttyp „WR“. Das sind die Fragen bei der
die Benutzerin/der Benutzer endlich zu einer richtigen Lösung gekommen
ist. Man kann dieselben Resultate, wie von der Menge „R“ und „W“
Antworttypen, beobachten.
[Beginn Grafik]
Abb. 6: Die durchschnittliche Reaktionszeit bei den gestellten Fragen mit Antworttypen
„WR“. Höhe Reaktionszeit bei den schweren Fragen von Abbildung 5 ist in Relation
erkennbar.
Kap01_Abb06_Heatmap_time_WR.pdf
[Ende Grafik]
5.2 Klassifikation der Fragen
Das Ziel ist, die einstelligen Multiplikationsprobleme je nach
Schwierigkeitsgrad in unterschiedlichen voneinander trennbaren Kategorien
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
zu klassifizieren, bzw. genau eine Aussage zu treffen welche Fragen als
schwer, welche als mittelschwer und welche als leicht zu bezeichnen sind.
Die Klassifizierung erfolgt auf Basis der Wahrscheinlichkeit des Auftretens
der jeweiligen sechs vorliegenden Antworttypen. Zu diesem Zweck wurde
der bekannte „k-means“ Algorithmus (Bishop 2006, S. 424-430) eingesetzt.
Es wurde zuerst von der Hypothese ausgegangen, dass es drei Kategorien
von Fragen (schwer, mittelschwer und leicht) gibt. Unter dieser Annahme
wurden die drei Kategorien berechnet. Abbildung 7 stellt eine mögliche
Klassifikation der einstelligen Multiplikationsprobleme in drei Kategorien
dar.
[Beginn Grafik]
Abb. 7: Die drei berechneten Kategorien (schwer, mittelschwer und leicht) von einstelligen
Multiplikationsprobleme. Das obere Bild stellt die drei identifizierten Kategorien dar. Das
untere Bild Zeigt die Multiplikationsprobleme in der Kategorie der schwersten Fragen auf.
Kap01_Abb07_Cluster_3.png
[Ende Grafik]
Acht Fragen wurden als schwer klassifiziert, gefolgt von 22 mittelschwere
Fragen und 60 leichte Fragen.
[Beginn Wichtig]
Folgende Multiplikationsprobleme wurden als ganz schwierig klassifiziert:
6*8, 8*6, 7*8, 8*7, 8*4, 4*8, 6*7, 8*8
[Ende Wichtig]
In nächstem Schritt wurde versucht die optimale Anzahl der Kategorien zu
bestimmen nach denen sich die 90 einstelligen Multiplikationsprobleme
nach Schwierigkeitsgrad klassifizieren lassen. Zu diesem Zweck wurde der
„k-means“ Algorithmus gemeinsam mit k-fold cross validation (Bishop
2006, S. 32-33) für verschiedene Anzahl von Clustern eingesetzt. Die
durchschnittliche kumulative Distanz wurde als Qualitätsmaß für die
Auswahl der optimalen Anzahl der Clusters verwendet. Der Algorithmus
lieferte sechs optimale Kategorien, wobei die Anzahl der Probleme in der
schwersten Kategorie auf vier reduziert wurde, gefolgt von zehn Fragen in
der zweitschwersten Kategorie.
6 Muster im Lernprozess
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
In diesem Abschnitt werden einige erkennbare Muster aus dem Datensatz
der „1x1 Applikation“ präsentiert. Zur Modellierung des Lernprozesses, das
sind die Antworten bzw. die dazugehörigen Antworttypen auf in zeitlichen
Reihenfolge gestellten Fragen, wurde eine Markow-Kette verwendet. Die
Muster die hier als Beispiel präsentiert werden spiegeln das
Antwortverhalten der Benutzerin/des Benutzers innerhalb der Applikation
wieder.
6.1 Markow-Kette
Eine Markow-Kette wird zur Modellierung von stochastischen Prozessen
eingesetzt. Sie besteht aus Zuständen und den
Übergangswahrscheinlichkeiten (Transitionen) zwischen den Zuständen. Ein
Beispiel ist die Modellierung des Navigationsverhaltens der Menschen in
World-Wide-Web (Brin/Page 1998, S. 107-117), (Deshpande/Karypis 2004,
S. 163-184), (Lempel/Moran 2000, S. 387-401), (Borges/Levene 2007, S.
441-452). Dabei werden die Webseiten als Zustände und Hyperlinks als
Übergänge von einer Seite zur nächsten definiert. Im Falle der „1x1 Trainer“
Applikation repräsentieren die Antworttypen für jede Frage die Zustände.
Die Wahrscheinlichkeit zum Antworttyp derselben Folgefrage in der Kette
wird als Übergangswahrscheinlichkeit definiert.
Eine diskrete endliche Markow-Kette erster Ordnung ist eine Reihenfolge
von Zufallsvariablen für welche die folgende Markow-Eigenschaft gilt:
𝑃𝑋!!!= 𝑥!!!𝑋!=𝑥!,𝑋!=𝑥!,,𝑋!=𝑥!)=
𝑃(𝑋!!!=𝑥!!!|𝑋!=𝑥!)
Die obige Eigenschaft deutet darauf hin, dass der nächste Zustand nur von
dem aktuellen Zustand abhängt. Bei einer Markow-Kette der Ordnung k,
hängt die Übergangswahrscheinlichkeit zum nächsten Zustand von k
vorherigen Zuständen ab. Sie wird mathematisch wie folgt definiert:
𝑃𝑋!!!= 𝑥!!!𝑋!=𝑥!,𝑋!=𝑥!,,𝑋!=𝑥!)=
𝑃(𝑋!!!=𝑥!!!|𝑋!=𝑥!,𝑋!!!=𝑥!!!,,𝑋!!!!!=𝑥!!!!!)
6.2 Selbstübergänge
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
Abbildung 8 stellt die Übergangswahrscheinlichkeiten (in %) von jedem
Zustand (Antworttyp) zu demselben, bei ansteigender Ordnung k, graphisch
dar.
[Beginn Grafik]
Abb. 8: Markow-Kette und deren Übergangswahrscheinlichkeiten (in %) bis k = 5. Zustände
sind die Antworttypen.
Kap01_Abb08_markov_chain_self_transitions.pdf
[Ende Grafik]
Es ist ersichtlich, dass die Übergangswahrscheinlichkeiten bei allen
Antworttypen mit der Ausnahme von „RW“ steigen. Zum Beispiel die
Übergangswahrscheinlichkeit vom Antworttyp „WW“ beträgt bei k=1: 31%.
Sie steigt auf 55.29% bei k=2, bei k=3 weiter auf 66.51% usw.
Angenommen der letzte Antworttyp einer Benutzerin/eines Benutzers ist
„WW“. Dies bedeutet dass sie/er die nachfolgende Frage mit der
Wahrscheinlichkeit von 31% zumindest zum zweiten Mal falsch
beantworten wird. Sollte sie/er tatsächlich dieses Antwortverhalten
fortsetzen wird sie/er mit einer Wahrscheinlichkeit von 55.29% dasselbe
Verhalten im nächsten Schritt aufweisen.
Ein anderes Extrembeispiel ist der Antworttyp „R“. Kinder die bereits eine
zum ersten Mal gestellten Frage richtig beantworten, werden
höchstwahrscheinlich (Wahrscheinlichkeit von 70%) die nächste Frage auch
richtig beantworten. Dieser Verhaltensmuster kann auch bei Antworttyp
„RR“ festgestellt werden (Wahrscheinlichkeit von über 77% ab k=2). Beim
Antworttyp „RW“ nimmt die Wahrscheinlichkeit ab k=2 ab und erreicht
anschließend den Wert Null. Es deutet darauf hin, dass es beinah unmöglich
ist in weiteren Schritten eine falsche Antwort abzugeben wenn man schon
mal die Frage richtig gelöst hat, was wiederum auf einen erfolgreichen
Lernprozess in der Applikation hinweist.
6.3 Abwechselnde Übergänge zwischen „RW“ und
„WR“
Ein anderes Muster wurde bei den Zuständen „RW“ und „WR“ beobachtet
welches in Abbildung 9 illustriert wird.
[Beginn Grafik]
Abb. 9: Abwechselnde Übergänge zwischen den Zuständen „RW“ und „WR“.
Kap01_Abb09_alternative_transitions_RW_WR.pdf
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
[Ende Grafik]
Angenommen, es wird der Antworttyp „RW“ bei einer Benutzerin/einem
Benutzer festgestellt. Das aus der Abbildung 9 ersichtliche Muster zeigt,
dass die Benutzerin/der Benutzer im nächsten Schritt mit der
Wahrscheinlichkeit von 46% auf Zustand „WR“ enden wird. Sollte dieser
Fall eintreten steigt die Wahrscheinlichkeit auf 61% dass sie/er auf „RW“
zurückfällt. Sollte die Benutzerin/der Benutzer dieses Verhalten fortsetzen
steigt die Wahrscheinlichkeit auf 76% dass sie/er auf „WR“ zurückfällt. Man
kann solche Fälle ab dem zweiten Schritt (k=1) erkennen und die
Lehrerin/den Lehrer zum Intervenieren einschalten.
7 Zusammenfassung
In diesem Kapitel wurde auf die Plattform zum Schreibenlernen im
Grundschulalter sowie im Detail auf die Mathe-Training-Applikation „1x1
Trainer“ eingegangen. Anhand dieser Applikation wurden
Analysemöglichkeiten gezeigt die auf Basis der gesammelten Datensatz die
Antworten der Benutzerinnen und Benutzer statistisch untersucht und die
schwersten einstelligen Multiplikationsprobleme identifiziert. Mit
geeigneten Algorithmen konnten die Menge der einstelligen
Multiplikationsprobleme in optimalen Submengen (Clustern) je nach
Schwierigkeitsgrad klassifiziert werden. Es stellte sich heraus dass der
Operand 8 bei den meisten der schwersten Fragen (erster Cluster) vorkommt.
Weiteres konnten als Beispiel zwei Muster präsentiert werden, die das
Antwortverhalten der Benutzerinnen und Benutzer und somit den
Lernprozess innerhalb der Applikation wiederspiegeln. Eine weitere Analyse
von den Mustern hat ergeben, dass die abwechselnden Übergänge zwischen
„RW“ und „WR“ bei den leichten Fragen fast kaum vorkommt. Die
schweren sowie mittelschweren Fragen sind eher davon betroffen. Die
Selbstübergänge sind jedoch in allen Fragen zu beobachten. Die Muster
helfen den Lehrenden das Antwortverhalten der Schülerinnen und Schüler in
den nachkommenden Schritten aufgrund seines aktuellen Antwortverhaltens
vorauszusagen. Somit kann die Lehrerin/der Lehrer frühzeitig intervenieren
und den Lernprozess auf die richtige Spur leiten.
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
8 Literaturverzeichnis
(Bader-Natal/Lotze 2011)
Bader-Natal, A./Lotze, T. (2011) Evolving a learning analytics platform. In:
1st International Conference on Learning Analytics and Knowledge 2011;
The Technology Enhanced Knowledge Research Institute, Athabasca
University, Canada. 1, 4, 5
(Bishop 2006, S. 424-430)
(Bishop 2006, S. 32-33)
Bishop, C. (2006): Pattern Recognition and Machine Learning. In: Springer
Science and Business Media, LLC, New York, USA.
(Borges/Levene 2007, S. 441-452)
Borges, J./ Levene, M. (2007): Evaluating variable-length Markov chain
models for analysis of user web navigation sessions. In: IEEE Trans. On
Knowl. And Data Eng., 19(4), S. 441-452.
(Brin/Page 1998, S. 107-117)
Brin, S./Page, L. (1998): The anatomy of a large-scale hypertextual web
search engine. In: Proceedings of the seventh international conference on
World Wide Web 7, WWW7, Amsterdam, The Netherlands. Elsevier
Science Publishers B. V, S. 107-117.
(Chambers 1996, S. 92-95)
Chambers, D. (1996): Direct modeling and invented procedures: Building on
children’s informal strategies. In: Teaching Children Mathematics, 3, S. 92-
95.
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
(Deshpande/Karypis 2004, S. 163-184)
Deshpande, M./Karypis G. (2004): Selective Markov models for predicting
web page accesses. In: ACM Trans. Internet Technol., Volume 4(2), S. 163-
184.
(Ebner/Schön 2013, S. 14-17)
Ebner, M./ Schön, M. (2013): Why Learning Analytics for Primary
Education Matters!. In Karagiannidis, C./Graf, S (Hrsg.): Bulletin of the
Technical Committee on Learning Technology,Volume 15(2), S. 14-17.
(Ebner et al. 2013, S. 183-190)
Ebner, M./Schön, M./Taraghi, B./Steyrer, M. (2013): Teachers Little Helper:
Multi-Math-Coach. In Nunes, M. B./McPherson, M. (Hrsg.): Proceedings of
the IADIS International Conference e-Learning 2013, Prague, IADIS Press,
S. 183-190.
(Ebner et al. 2014, S. 24-27)
Ebner, M./Schön, M./Neuhold, B. (2014): Learning Analytics in basic math
education first results from the field. In eLearning Papers, Volume 36, S.
24-27.
(Ebner et al. 2015, S. 118-122)
Ebner, M./Taraghi, B./Ebner, M./Christian Aspalter, C./Biermeier,
S./Edtstadler, K./Gabriel, S./Goor, G./Gros M./Huppertz, A./Martich,
S./Steinhauer, N./Ullmann, M./Ziegler, K. (2015): Design für eine Plattform
zum Schreibenlernen im Grundschulalter. In: Proceedings of DeLFI
Workshops 2015 co-located with 13th e-Learning Conference of the German
Computer Society (DeLFI 2015), S. 118-122.
(Ebner et al. 2016)
Ebner, M./Ebner, M./Edtstadler, K. (2016): Learning Analytics and Spelling
Acquisition in German - a first prototype. In: Learning and Collaboration
Technologies: Third International Conference, LCT 2016, Held as Part of
HCI International 2016, Toronto, Ontario, Canada, 17-22 Juli 2016, Springer
International Publishing (in Druck).
(Fuson 1990, S. 180-206)
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
Fuson, K.C. (1990): Using a base-ten blocks learning/teaching approach for
first- and second-grade- place-value and multidigit addition and subtraction.
In: Journal for Research in Mathematics Education, 21, No. 3, Northwestern
University, S. 180-206.
(Garnett 1992, S. 210-216)
Garnett, K. (1992): Developing fluency with basic number facts:
Intervention for students with learning disabilities. In: Learning Disabilities
Research & Practice 7, S. 210-216.
(Gerster 2009, S. 248-268)
Gerster, H.D. (2009), Schwierigkeiten bei der Entwicklung arithmetischer
Konzepte im Zahlenraum bis 100. In: Fritz, A./Ricken, G./ Schmidt, S
(Hrsg.): Rechenschwäche. Lernwege, Schwierigkeiten und Hilfen bei
Dyskalkulie. Weinheim, Basel, Berlin: Beltz, S. 248-268.
(Johnson et al. 2012)
Johnson, L./Adams, S./Cummins, M. (2012): The NMC Horizon Report:
2012 Higher Education Edition. In: The New Media Consortium, Austin,
Texas. http://www.nmc.org/pdf/2012-horizon-report-HE.pdf Abrufdatum:
21.03.2016.
(Konstanze et al. 2015, S. 4-15)
Edtstadler, K./Ebner, M./Ebner, M. (2015): Improved German Spelling
Acquisition through Learning Analytics. In: eLearning Papers 45, S. 4-15.
(Landerl et al. 2003)
Landerl, K./Butterworth, B./Lorenz, J.H./Möderl, K. (2003):
Rechenschwäche - Rechenstörung - Dyskalkulie: Erkennung - Prävention -
Förderung. Leykam, Graz.
(Lempel/Moran 2000, S. 387-401)
Lempel, R./Moran, S. (2000): The stochastic approach for link-structure
analysis (salsa) and the tkc effect. In: Comput. Netw., 33 (1-6), S. 387-401.
(Long/Siemens 2011, S. 31-40)
Entwurf Original veröffentlicht unter: Taraghi, B., Ebner, M., Ebner, M & Schön, M. (2017) Learning
Analytics an Schulen. Handbuch Kompetenzentwicklung im Netz. Erpenbeck, J., Sauter, W. (Hrsg.).
Schäffer-Poeschel Verlag. Stuttgart. S. 285-302
Long, P./Siemens, G. (2011): Penetrating the Fog: Analytics in Learning and
Education. In: EDUCAUSE Review Magazine. Volume 46. 5, S. 31-40
(Schön et al. 2012, S. 73-81)
Schön, M./Ebner, M./Kothmeier, G. (2012): It's Just About Learning the
Multiplication Table. In Buckingham Shum, S./Gasevic, D./Ferguson, R.
(Hrsg.): Proceedings of the 2nd International Conference on Learning
Analytics and Knowledge (LAK '12), ACM, New York, NY, USA, S. 73-81.
(Siemens 2010)
Siemens G. (2010): What are Learning Analytics?
http://www.elearnspace.org/blog/2010/08/25/what-are-learninganalytics/
Abrufdatum: 23.03.2016
(Thornton 1990, S. 133-151)
Thornton, C. (1990): Strategies for the basic facts. In: Payne, J. (Hrsg.):
Mathematics for the young child, Reston, VA: National Council of Teachers
of Mathematics, S. 133-151.
(Verguts/Fias 2005, S. 132-140)
Verguts, T./Fias, W. (2005): Neighbourhood effects in mental arithmetic. In:
Psychology Science, 47, S. 132-140.
... chgeführt und eingesetzt werden. Auf nationaler oder internationaler Ebene gibt es noch weniger Initiativen dafür (Gunawardena, 2017), vieles fällt noch in den Bereich der Forschung.In diesem Kapitel wollen wir verschiedene internationale digitale Werkzeuge und Lernumgebungen vorstellen, welche an Schulen mit und ohne LA genutzt werden können (vgl.Taraghi et al, 2017;Poth, 2018), um einen groben Überblick über die am Markt befindlichen Angeboten zu bieten.ASSISTments[1]: Ein web-basiertes System in dem Lehrer/innen Aufgaben für Schüler/innen mit Mehrfachantworten vorbereiten können. Dabei wird während der Bearbeitung der Aufgaben direktes Feedback über die Korrektheit der Antworten zurück geliefert. ...
... bt, diese wurden mehrfach richtig beantwortet. Ein helleres Grün bzw. helleres Rot deutet auf leichte bzw. mittel-schwere Unregelmäßigkeiten beim Lösen der Aufgabe hin. Ein dunkles Rot zeigt den Bedarf einer pädagogischen Intervention auf. In diesem Fall kann durch die Lehrkraft oder Eltern eingegriffen und frühzeitig Maßnahmen gesetzt werden (vgl.Taraghi et al, 2017). ...
Article
Full-text available
Der Einsatz von digitalen Technologien im Alltag der Jugend ist selbstverständlich geworden. Die Schülerinnen und Schüler haben die Möglichkeit mit Hilfe von Geräten wie Computern, Tablets und Smartphones Zugang zu Informationen, Kursmaterialien und Übungen zu erhalten. Die dadurch gewonnenen Daten haben das Potential die Art und Weise wie wir Lehren und Lernen tiefgreifend zu verändern. In diesem Beitrag sollen die Möglichkeiten und die Entwicklung von Learning Analytics im Bildungswesen näher betrachtet und die Rolle der Lehrenden und Lernenden beleuchtet werden. Es wird ein Ausschnitt von am Markt befindlichen Werkzeugen geboten und anhand von ausgewählten Beispielen und Fallstudien der Mehrwert des Einsatzes aufgezeigt und diskutiert. Abschließend werden Datenschutzfragen und Potenziale für die Zukunft besprochen.
Article
Full-text available
Der Beitrag diskutiert anhand des Forschungsprojektes Game Based Learning in Nursing – Spielerisch Lernen in authentischen, digitalen Pflegesimulationen (GaBaLEARN) die Einbindung von Learning Analytics in digitale Fallsimulationen eines Serious Games. Es werden pflege- und mediendidaktische Impulse zur Entwicklung und Integration von Learning Analytics für die Darstellung von situativen, komplexen Kompetenzen im Bereich personenbezogener Dienstleistungsberufe, wie der Pflege, dargestellt.
Article
Full-text available
Nell’era di Internet, delle tecnologie mobili e dell’istruzione aperta, la necessità di interventi per migliorare l’efficienza e la qualità dell’istruzione superiore è diventata pressante. I big data e il Learning Analytics possono contribuire a condurre questi interventi, e a ridisegnare il futuro dell’istruzione superiore. Basare le decisioni su dati e sulle evidenze empiriche sembra incredibilmente ovvio. Tuttavia, l’istruzione superiore, un campo che raccoglie una quantità enorme di dati sui propri “clienti”, è stata tradizionalmente inefficiente nell’utilizzo dei dati, spesso operando con notevole ritardo nell’analizzarli, pur essendo questi immediatamente disponibili. In questo articolo, viene evidenziato il valore delle tecniche di analisi dei dati per l’istruzione superiore, e presentato un modello di sviluppo per i dati legati all’apprendimento. Ovviamente, l’apprendimento è un fenomeno complesso, e la sua descrizione attraverso strumenti di analisi non è semplice; pertanto, l’articolo presenta anche le principali problematiche etiche e pedagogiche connesse all’utilizzo delle tecniche di analisi dei dati in ambito educativo. Cionondimeno, il Learning Analytics può penetrare la nebbia di incertezza che avvolge il futuro dell’istruzione superiore, e rendere più evidente come allocare le risorse, come sviluppare vantaggi competitivi e, soprattutto, come migliorare la qualità e il valore dell’esperienza di apprendimento.
Article
Full-text available
Learning Analytics is an emerging field, because the analyses of a big amount of data can lead to deeper insights into how learning occurs. In this publication we introduce a new addition / subtraction trainer which assists teachers in their daily basic math education. A first field study points out that beside of typical mistakes also systematic ones can be detected.
Article
Full-text available
The ubiquitous availability of applications enables us to offer students opportunities to test and train competences in almost every situation. At Graz University of Technolgy two apps for testing competences in multiplication are developed. They estimate the competence level of every user and adapt to their individual development in this domain. They collect a lot of data during a longer period, which could be used on further research. In the foreground they give feedback in a compact and clearly arranged way to the single student and the teachers of classes. But furthermore the analysis of the data during a longer term showed us, that the process of testing and giving feedback has also an positive effect on learning. We emphasize that this quality in supporting the students could not be achieved by human teachers. Information Technology and Learning Analytics gives them a wider radius to perceive specific behavior and establishes their capacity for storing and processing all the relevant data.
Conference Paper
Full-text available
One of the first and basic mathematical knowledge of school children is the multiplication table. At the age of 8 to 10 each child has to learn by training step by step, or more scientifically, by using a behavioristic learning concept. Due to this fact it can be mentioned that we know very well about the pedagogical approach, but on the other side there is rather less knowledge about the increase of step-by-step knowledge of the school children. In this publication we present some data documenting the fluctuation in the process of acquiring the multiplication tables. We report the development of an algorithm which is able to adapt the given tasks out of a given pool to unknown pupils. For this purpose a web-based application for learning the multiplication table was developed and then tested by children. Afterwards so-called learning curves of each child were drawn and analyzed by the research team as well as teachers carrying out interesting outcomes. Learning itself is maybe not as predictable as we know from pedagogical experiences, it is a very individualized process of the learners themselves. It can be summarized that the algorithm itself as well as the learning curves are very useful for studying the learning success. Therefore it can be concluded that learning analytics will become an important step for teachers and learners of tomorrow.
Article
Full-text available
We introduce the concept of consistency of a multiplication problem with its neighbours (e.g., problem 6 4 has neighbours 6 3 and 6 5). Two problems are consistent to the extent that their solutions have the same decade or unit values. It is argued that this measure of consistency provides a natural explanation for a number of hitherto unrelated findings in the literature, for example, the size effect and the tie effect in mental multiplication. Further, the consistency of some multiplication problems was experimentally manipulated by present-ing or not presenting a number of neighbours of these particular problems. We observed response time differences between conditions in solving these problems that were consistent with our predictions. The findings emphasize the role of consistency of multiplication prob-lems, similar to consistency effects observed in psycholinguistics (e.g., Seidenberg & McClelland, 1989).
Article
A learning/teaching approach used base-ten blocks to embody the English named-value system of number words and digit cards to embody the positional base-ten system of numeration. Steps in addition and subtraction of four-digit numbers were motivated by the size of the blocks and then were carried out with the blocks; each step was immediately recorded with base-ten numerals. Children practiced multidigit problems of from five to eight places after they could successfully add or subtract smaller problems without using the blocks. In Study 1 six of the eight classes of first and second graders (N=169) demonstrated meaningful multidigit addition and place-value concepts up to at least four-digit numbers; average-achieving first graders showed more limited understanding. Three classes of second graders (N=75) completed the initial subtraction learning and demonstrated meaningful subtraction concepts. In Study 2 most second graders in 42 participating classes (N=783) in a large urban school district learned at least four-digit addition, and many children in the 35 classes (N=707) completing subtraction work learned at least four-digit subtraction.
Article
Most people recognize that children should learn basic facts, because knowing them is useful both in school and in real life outside the classroom. Describes a strategies approach to basic addition and subtraction-facts instruction, and discusses assessment techniques and a rationale for the approach. Contains 29 references. (ASK)
Article
Presents examples of direct modeling and invented strategies of students for problem solving. Teachers are encouraged to capitalize on children's abilities to use these invented strategies and in time guide the student toward a standard, more efficient strategy. (AIM)
Article
Today, when searching for information on the World Wide Web, one usually performs a query through a term-based search engine. These engines return, as the query's result, a list of Web sites whose contents match the query. For broad topic queries, such searches often result in a huge set of retrieved documents, many of which are irrelevant to the user. However, much information is contained in the link-structure of the World Wide Web. Information such as which pages are linked to others can be used to augment search algorithms. In this context, Jon Kleinberg introduced the notion of two distinct types of Web sites: hubs and authorities. Kleinberg argued that hubs and authorities exhibit a mutually reinforcing relationship: a good hub will point to many authorities, and a good authority will be pointed at by many hubs. In light of this, he devised an algorithm aimed at finding authoritative sites. We present SALSA, a new stochastic approach for link structure analysis, which examines random walks on graphs derived from the link structure. We show that both SALSA and Kleinberg's mutual reinforcement approach employ the same meta-algorithm. We then prove that SALSA is equivalent to a weighted in-degree analysis of the link-structure of World Wide Web subgraphs, making it computationally more efficient than the mutual reinforcement approach. We compare the results of applying SALSA to the results derived through Kleinberg's approach. These comparisons reveal a topological phenomenon called the TKC effect (Tightly Knit Community) which, in certain cases, prevents the mutual reinforcement approach from identifying meaningful authorities.