Conference PaperPDF Available

Entwicklung und Einführung eines Studierenden- Dashboards an der TU Graz Co-Design mit Studierenden, Visualisierung und Rückmeldungen

Authors:

Abstract and Figures

In den zentralen Informationssystemen der Technischen Universität Graz (TU Graz), dem auf Moodle basierenden TeachCenter und dem Campusmanagementsystem TUGRAZonline, werden verschiedene Services und Unterstützungen für Lehrende und Studierende angeboten. Zu den neuesten Entwicklungen gehört ein Studienfortschritts-Dashboard für Studierende. Dieses Dashboard soll einen hilfreichen Überblick über die Aktivitäten der Studierenden geben, z. B. über ihre akademischen Leistungen in ECTS im Vergleich zum Durchschnitt ihrer Kommilitonen, über den eigenen Studienfortschritt und die offizielle Studienempfehlung sowie über den Fortschritt in den verschiedenen Pflicht-und Wahlfächern. Der erste Prototyp wurde im Mai 2020 bei den Studierenden der Fakultät für Informatik und Biomedizinische Technik eingeführt, seit Dezember 2020 steht das Dashboard allen-rund 8.700 Bachelor-Studierenden der TU Graz-zur Verfügung. Der Beitrag skizziert die Prozesse und Ergebnisse von der ersten Erwähnung in einem Ideenworkshop für Studierende, über die Entwicklung und stufenweisen Implementierung, sowie die Rückmeldungen der Studierenden.
Content may be subject to copyright.
Andrea Kienle et al. (Hrsg.): Die 19. Fachtagung Bildungstechnologien (DELFI),
Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2021 175
Entwicklung und Einführung eines Studierenden-
Dashboards an der TU Graz
Co-Design mit Studierenden, Visualisierung und Rückmeldungen
Philipp Leitner 1, Martin Ebner 2, Hanna Geisswinkler3 und Sandra Schön 4
Abstract: In den zentralen Informationssystemen der Technischen Universität Graz (TU Graz), dem
auf Moodle basierenden TeachCenter und dem Campusmanagementsystem TUGRAZonline,
werden verschiedene Services und Unterstützungen für Lehrende und Studierende angeboten. Zu
den neuesten Entwicklungen gehört ein Studienfortschritts-Dashboard für Studierende. Dieses
Dashboard soll einen hilfreichen Überblick über die Aktivitäten der Studierenden geben, z. B. über
ihre akademischen Leistungen in ECTS im Vergleich zum Durchschnitt ihrer Kommilitonen, über
den eigenen Studienfortschritt und die offizielle Studienempfehlung sowie über den Fortschritt in
den verschiedenen Pflicht- und Wahlfächern. Der erste Prototyp wurde im Mai 2020 bei den
Studierenden der Fakultät für Informatik und Biomedizinische Technik eingeführt, seit Dezember
2020 steht das Dashboard allen - rund 8.700 Bachelor-Studierenden der TU Graz - zur Verfügung.
Der Beitrag skizziert die Prozesse und Ergebnisse von der ersten Erwähnung in einem
Ideenworkshop für Studierende, über die Entwicklung und stufenweisen Implementierung, sowie
die Rückmeldungen der Studierenden.
Keywords: Lernunterstützung, Feedback, Dashboard, Studienfortschritt, Learning Analytics
1 Einleitung
Im März 2019 äußersten Studierende der Technischen Universität Graz (TU Graz) in
einem Ideenworkshop zur Verbesserung der Lehre den Wunsch, einen besseren und
einfacheren Überblick über ihren Studienfortschritt zu erhalten. Diesen Wunsch teilen sie
mit anderen Studierenden: Bei einer Befragung von deutschen Studierenden (N=194) von
[RN15] gaben nahezu alle befragten Studierenden an, dass sie gerne alle studienrelevanten
Informationen an einem zentralen Ort sehen würden. Tatsächlich hatte keine der von
[RN15] untersuchten Anwendungen diese Funktion, sie beschränkten sich meist auf Daten
1 Technische Universität Graz, Lehr- und Lerntechnologien, Münzgrabenstraße 36, 8010 Graz,
philipp.leitner@tugraz.at, https://orcid.org/0000-0001-8883-6758
2 Technische Universität Graz, Lehr- und Lerntechnologien, Münzgrabenstraße 36, 8010 Graz,
martin.ebner@tugraz.at, https://orcid.org/0000-0001-5789-5296
3 Technische Universität Graz, Lehr- und Studienentwicklung, Rechbauerstraße 12/1, 8010 Graz,
hanna.geisswinkler@tugraz.at
4 Technische Universität Graz, Lehr- und Lerntechnologien, Münzgrabenstraße 36, 8010 Graz,
sandra.schoen@tugraz.at, https://orcid.org/0000-0003-0267-5215
Veröffentlicht unter der CC BY-SA 4.0 (International) - https://creativecommons.org/licenses/by-sa/4.0/
Leitner, P., Ebner, M., Geisswinkler, H. & Schön, S., (2021). Entwicklung und Einführung eines
Studierenden-Dashboards an der TU Graz. Co-Design mit Studierenden, Visualisierungsdetails und
Rückmeldungen. In: Kienle, A., Harrer, A., Haake, J. M. & Lingnau, A. (Hrsg.), DELFI 2021. Bonn:
Gesellschaft für Informatik e.V.. (S. 175-180).
176 Philipp Leitner et al.
aus dem Lernmanagementsystem (S. 403). In diesem Artikel zeichnen wir die
Entwicklung des Studierenden-Dashboards der TU Graz nach und nutzen dafür
Ausführungen, die ausführlich in englischer Sprache veröffentlicht werden [L21].
2 Ausgangslage und Zielsetzung
An der TU Graz heißt das auf Moodle basierende Lernmanagementsystem TeachCenter
und bildet zusammen mit dem Campusmanagementsystem, genannt TUGRAZonline, die
Infrastruktur für die digitale Lehre. Die Gestaltung der Informationen zum Studienverlauf
von TUGRAZonline basierte größtenteils auf textuellen Informationen, die auf mehreren
Seiten verteilt waren. Das Studienfortschritts-Dashboard für Studierende soll nun einen
hilfreichen Überblick über die Aktivitäten der Studierenden geben, z. B. über die
Studienleistung in ECTS im Vergleich zum Durchschnitt der anderen Studierenden, den
eigenen Studienfortschritt und die offizielle Studienempfehlung sowie den Fortschritt in
den verschiedenen Pflicht- und Wahlfächern. Durch die Visualisierung der Lerndaten
sollen die Studierenden ihren eigenen Lernprozess im Auge behalten, was letztlich zu
einer Verbesserung ihres Lernerfolgs führen soll [TU20].
3 Entwicklung und Herausforderungen
Unsere Entwicklung wurde in einem Zeitrahmen von zwei Jahren geplant und umgesetzt.
Im Folgenden beschreiben wir den Prozess von der ersten Ideenentwicklung bis zum
aktuellen Stand. Wie in Abb. 2 zu sehen ist, war die Einbeziehung der Stakeholder,
insbesondere der Studierenden, ein zentrales Merkmal des Entwicklungsprozesses. Design
und technische Entwicklung wurden im Team „Lehr- und Lerntechnologien“ (LLT)
zusammen mit Kollegen der IT-Services der TU Graz entwickelt. Informationen für
Studierende wurden vom Team „Lehr- und Studienentwicklung“ entwickelt. Es begann
damit, dass das LLT-Team in Abstimmung mit dem Vizerektorat für Lehre im März 2019
Workshops mit Studierenden und Fakultätsvertreter/innen aus insgesamt fünf
Fachdisziplinen zu Ideenentwicklung zur Verbesserung der Studienunterstützung und -
situation der Lehrenden organisierte. Hier wurde der Wunsch einer Übersicht erstmals
thematisiert. Von März bis Oktober 2019 wurden eine erste Analyse der Datenstrukturen
und -herkunft durchgeführt und erste Visualisierungen ausprobiert. Im Sommer 2019
wurde ein Co-Design-Workshop mit Studierenden sowie im Herbst weitere interne
Treffen in kleinen Gruppen von Studierenden durchgeführt. Im Frühjahr 2020 wurden
mehrere Treffen mit Stakeholdern organisiert, u. a. mit Studierendenvertreter/innen,
Lehrenden, Vizerektorat für Lehre, Betriebsrat, Rechtsabteilung. Parallel dazu wurden
Informationsmaterialien für Studierende angefertigt [TU20, TU21]. 18 Monate nach den
ersten vagen Ideen implementierten wir im Mai 2020 das neue Dashboard für den
Studienverlauf für alle Bachelor-Studierenden der Fakultät für Informatik und
Biomedizinische Technik. Wir sammelten Nutzer/innen-Feedback und nahmen kleine
Entwicklung und Einführung eines Studierenden-Dashboards an der TU Graz 177
Überarbeitungen vor. Nach einer sechsmonatigen Testphase führten wir im Dezember
2020 die hochschulweite Implementierung für alle Bachelor-Studierenden durch,
inklusive verschiedener Informationsmaterialien, Aufbau der Beratungsstruktur,
Nutzerfeedback und Adaptionen. Die Entwicklung des Dashboards verzögerte sich im
Laufe der Zeit aufgrund der COVID19-bedingten Schließung der Universität im März
2020 um einige Wochen, da alle Ressourcen kurzfristig benötigt wurden, um die
notwendige technische Unterstützung für die Notfalllehre zu gewährleisten. Insgesamt
verlief die Implementierung rückblickend zwar durch die notwendige Einbindung aller
Stakeholder zwar aufwändig, jedoch schnell und reibungslos.
Abb. 2. Entwicklung des Studierenden-Dashboards bis zur universitätsweiten Implementierung im
Zeitverlauf
Es gibt einige Herausforderungen, auf die wir uns einstellen konnten [LEE19],
beispielsweise ethische Aspekte und die Notwendigkeit der Einbindung von Stakeholdern
und Entwicklung von Informationsmaterialien. Insbesondere um grundsätzliche Debatten
wie auch unerwünschte Szenarien zu vermeiden, wurde entschieden nur Daten
einzusetzen, die bereits in anderen Systemen für Studierende zur Verfügung stehen.
Ebenfalls wurde festgelegt, dass nur die Studierenden selbst ihr individuelles Dashboard
einsehen und benutzen können. Mit dieser Entscheidung konnten wir verhindern, dass
keine erneute Prüfung für die Nutzung der Daten anfallen, und somit möglichen
Diskussionen vorgreifen. Gleichzeitig mussten wir sicherstellen, dass nur Studierende
selbst die Informationen über ihre Noten und ihren Studienstand erhalten können; dies
taten wir auch in dem Bewusstsein, dass Studierende es nicht gerne sehen, wenn ihre
Daten z. B. für Zwecke der Studienberatung verwendet werden [We20]. Hinsichtlich des
Designs und der Visualisierungen konnten wir auf entsprechende Vorarbeiten und
Entwicklungen zurückgreifen. So haben beispielsweise Charleer et al. „LISSA“
entwickelt [Ch18]. Zudem gab es kleinere Herausforderungen in Hinblick auf die
verfügbaren Daten und deren Qualität oder jenen bei der Visualisierung an sich. Schwierig
erwies sich die Frage nach dem Studium an sich. So ergibt sich aus den Daten der TU
178 Philipp Leitner et al.
Graz nicht auf welchen Studiengang sich die Darstellungen beziehen sollen, wenn mehrere
Studiengänge belegt wurden. Auch gibt es bisher keinen Datenaustausch mit anderen
Universitäten, mit denen gemeinsame Studiengänge angeboten werden.
4 Dashboard-Design und Visualisierungsdetails
Das Dashboard wird allen Studierenden der TU Graz angezeigt, die sich in einem
laufenden Bachelorstudium befinden. Es ist auch für einige und individuell ausgewählte
auslaufende Bachelor-Studiengänge nutzbar und unterstützt Studieren, indem sie ihren
Erfolg im Studium sehen, ihren Studienfortschritt planen können, herausfordernde
Lehrveranstaltungen identifizieren nnen und auch ihre Leistungen vergleichen können.
Abb. 3. Das Dashboard für TU Graz Studierende (Ausschnitt),
unterschiedliche Bestandteile wurden mit Ziffern markiert. Quelle: TU Graz.
Das Dashboard gliedert sich in die folgenden Funktionsbereiche (siehe Abb. 6):
Studienwahl (1), Studienjahr ECTS (2), Semesterempfehlung (3), Studienverlauf (4),
Lehrveranstaltungen (5). Nicht abgebildet sind der Überblick über die Historie von
Lehrveranstaltungen, und Links auf die Legende, Hilfe, Logout und die Möglichkeit
Feedback hinterlassen. Durch Anklicken verschiedener Komponenten können weitere
Detailauswertungen angezeigt werden. Die Auswahl des Studiengangs (1) ist nur für
Studierende möglich, die in mehreren Bachelor-Studiengängen eingeschrieben sind. Der
Bereich „Studienjahr ECTS (2) zeigt beispielsweise die Leistungen im aktuellen
Studienjahr in Form von ECTS an. Die angezeigte Gesamtzahl der ECTS rangiert in der
Skala des Studienfortschritts. Die Studierenden sehen, wo sie im Kontext eines Semesters
Entwicklung und Einführung eines Studierenden-Dashboards an der TU Graz 179
oder des gesamten Studienjahres stehen, auch im Vergleich zu den Leistungen der
Mitstudierenden. Unter „Semesterempfehlung“ (3) werden die empfohlenen Kurse pro
Semester angezeigt. Der Abschnitt ist wie folgt aufgebaut: ECTS-Gesamtzahl des
Studiums, alle Studiensemester, Wahlfächer und Wahlpflichtfächer ihres Studiums. Der
Studienverlauf (4) zeigt die absolvierten Lehrveranstaltungen pro Semester. Die erste
Kachel zeigt an, wie viele ECTS im Verlauf des Bachelorstudiums absolviert wurden, im
Beispiel sind es 139,5 ECTS. Um die absolvierten Lehrveranstaltungen pro Semester
anzuzeigen, müssen Studierende auf das entsprechende Semester klicken.
Lehrveranstaltungen sind entweder mit einem farbigen, einem blauen oder einem grauen
Kreis markiert. Farbige Kreise zeigen die Verteilung der Noten von 1 („sehr gut“) bis 5
(„ungenügend“; siehe Abb. 2 unten links). Blaue Kreise beziehen sich auf abgeschlossene
Kurse mit einer Gruppengröße von weniger als 5 Personen (siehe Abb. 2 unten rechts).
Nicht beendete Kurse sind mit einem grauen Kreis gekennzeichnet. Innerhalb des Kreises
findet man Angaben zu den Noten (farbiger kleiner Kreis), die Anzahl der EC, die Anzahl
der Antritte, die Anzahl der Teilnehmenden, eine Angabe, ob die/der Studierende unter
den ersten 10, 20 oder 50 Prozent ist und eine Angabe zum Lehrveranstaltungstyp. Ein
Klick auf eine Lehrveranstaltung öffnet dessen Historie und zeigt die Verteilung der Noten
der letzten fünf Prüfungsergebnisse an. Diese Funktion soll helfen, Herausforderungen bei
der Semesterplanung besser einzuschätzen. Ein ausführlicher Leitfaden hilft den
Studierenden, alle Funktionen zu nutzen und die dargestellten Informationen zu verstehen
[TU20].
5 Implementierung und Rückmeldungen der Nutzer/innen
Im Sommersemester 2020 wurde das Dashboard für alle Studierenden der
Bachelorstudiengänge der Fakultät für Informatik und Biomedizinische Technik
zugänglich gemacht. Diese Einführung wurde von weiteren Informationen zum
Dashboard begleitet und sowohl über E-Mails, als auch Lehrende kommuniziert. Bis zum
9. Juni 2020 hatten 743 Studierende Zugriff auf das Dashboard. 27 Studierende haben die
Möglichkeit genutzt, Feedback zum Dashboard zu geben. Das Feedback wurde als Freitext
abgefragt. Eine Auswertung ergab, dass mehr als die Hälfte, nämlich 54 Prozent, sich
deutlich positiv äußerten und kleinere Fehler meldeten oder Verbesserungsvorschläge
machten, 38 Prozent andere äußerten sich weder positiv noch negativ zum Dashboard und
machten nur Verbesserungsvorschläge. Nach diesem insgesamt sehr erfolgreichen Start
wurde das Dashboard im Dezember 2020 universitätsweit für alle Bachelor-Studierenden
verfügbar gemacht, das sind etwa 8.700 Studierende. Anfang April 2021 hatten bereits
fast 5.000 Studierende auf das Dashboard zugegriffen, d. h. bereits mehr als die Hälfte.
Auch hier zeigen die bisherigen Rückmeldungen eine Zufriedenheit mit dem Dashboard.
In den ersten drei Monaten kamen ungefähr 90 Rückmeldungen über das Formular,
typischerweise werden dabei ganz konkrete Rückmeldungen, auch
Verbesserungsvorschläge gegeben. Manche stellen auch nur Fragen. Angesichts der
positiven Resonanz auf das Dashboard an der TU Graz haben wir vorerst keine größeren
Weiterentwicklungen geplant.
180 Philipp Leitner et al.
Danksagung
Der Beitrag und die beschriebenen Entwicklungen entstand zu Teilen im Rahmen des
Projekts „Learning Analytics: Auswirkungen von Datenanalysen auf den Lernerfolg“
(01/2020-12/2021) mit der Technischen Universität Graz und der Universität Graz als
Partner und dem Land Steiermark als Fördergeber (12. Zukunftsfonds Steiermark).
6 Literaturverzeichnis
[Ch18] Charleer, S.; Moere, A. V.; Klerkx, J.; Verbert, K.; De Laet, T. (2018). Learning
Analytics Dashboards to Support Adviser-Student Dialogue. In: IEEE Transactions on
Learning Technologies, v11 n3 p389-399 Jul-Sep 2018
[Fe16] Ferguson, R., Hoel, T., Scheffel, M., & Drachsler, H. (2016). Guest editorial: Ethics and
privacy in learning analytics. Journal of learning analytics, 3(1), 5–15.
http://dx.doi.org/10.18608/jla.2016.31.2
[LEE19] Leitner P., Ebner M., Ebner M. (2019). Learning Analytics Challenges to Overcome in
Higher Education Institutions. In: Ifenthaler D., Mah DK., Yau JK. (eds.) Utilizing
Learning Analytics to Support Study Success. Springer, Cham
[Le21] Leitner, P., Ebner, M., Geisswinkler, H. & Schön, S. (2021, in Druck). Visualisation of
learning for students: A dashboard for study progress. Development, design details,
implementation, and user feedback. In: D. Ifenthaler & M. Sahin (Hrsg.), Visualisation
and LA, Cham: Springer.
[RN15] Reimers, G., & Neovesky, A. (2015). Student focused dashboardsAn analysis of
current student dashboards and what students really want. In Proceedings of the 7th
international conference on computer supported education (CSEDU) (pp. 399–404).
[TU20] TU Graz (2020). Leitfaden: Grundlagen des Studierenden-Dashboards. Internes
Dokument URL:
https://tu4u.tugraz.at/fileadmin/Studierende_und_Bedienstete/Anleitungen/Studierende
n-Dashboard_Funktionen_Leitfaden.pdf (2021-01-15).
[TU21] TU Graz (2021). Learning Analytics (Internal Webpage). URL:
https://tu4u.tugraz.at/studierende/mein-laufendes-studium/learning-analytics/ (2021-
01-15)
[We20] West, D., Luzeckyj, A., Searle, B., Toohey, D., Vanderlelie, J., & Bell, K. R. (2020a).
Perspectives from the stakeholder: Studentsviews regarding learning analytics and data
collection. Australasian Journal of Educational Technology, 36(6), 72-88.
https://doi.org/10.14742/ajet.5957
Article
Full-text available
Learning Experience Design (LXD), also die bewusste, auf Grundlagen und Methoden der Designdisziplin erfolgten Gestaltung von Lernerfahrungen, ist ein Begriff der immer häufiger bei der Gestaltung von (digitalen) Lernumgebungen genannt wird. Zielsetzung ist dabei, das Lernen zu einer positiven, spannenden Erfahrung für die Lerner/innen zu machen. Dieser Beitrag beschreibt den Prozess des Learning Experience Designs im deutschsprachigen Raum und erläutert, wie sich diese Designdisziplin zur Gestaltung von Lernerfahrungen mit Lernenden anwenden lässt und nennt Bezüge zu Design im Allgemeinen, Learning Experience Design, Interaction Design, User Experience Design sowie Grafikdesign. Es werden dazu Fachbegriffe erläutert, Abläufe, Methoden und Verfahren zur Umsetzung, sowie zahlreiche Beispiele, u.a. aus unterschiedlichen Umsetzungen der Technischen Universität Graz (TU Graz) dargestellt. Der Beitrag schließt mit einer Beschreibung von Herausforderungen sowie einen Ausblick auf die aktuellen Professionalisierungsbestrebungen und -entwicklungen.
Chapter
Full-text available
At Graz University of Technology (TU Graz, Austria), the learning management system based on Moodle (https://moodle.org/ – last accessed February 10, 2021) is called TeachCenter. Together with a campus management system – called TUGRAZonline – it is the main infrastructure for digital teaching and general study issues. As central instances for both teachers and students, various services and support for them are offered. The latest developments include the design and implementation of a study progress dashboard for students. This dashboard is intended to provide students a helpful overview of their activities: It shows their academic performance in ECTS compared to the average of their peers, their own study progress, and the official study recommendation as well as the progress in the various compulsory and optional courses. The first dashboard prototype was introduced to all computer science students in May 2020, and a university-wide rollout started in December 2020. The chapter describes design considerations and design development work, implementation, as well as the user feedback on the implementation. Finally, the authors present recommendations as guidelines for similar projects based on their experience and students’ feedback and give an outlook for future development and research.
Article
This article reports on a study exploring student perspectives on the collection and use of student data for learning analytics. With data collected via a mixed methods approach from 2,051 students across six Australian universities, it provides critical insights from students as a key stakeholder group. Findings indicate that while students are generally comfortable with the use of data to support their learning, they do have concerns particularly in relation to the use of demographic data, location data and data collected from wireless networks, social media and mobile applications. Two key themes emerged related to the need for transparency to support informed consent and personal-professional boundary being critical. This supports findings from other research, which reflects the need for a nuanced approach when providing information to students about the data we collect, including what we are collecting, why and how this is being used. Implications for practice or policy: When implementing the use of dashboards, institutions should ideally include opportunities for students to opt in and out, rather than being set so that students have agency over their data and learning. When undertaking work in relation to learning analytics, staff need to ensure the focus of their work relates to student learning rather than academic research. When institutions and academic staff collect and use student data (regardless of the purpose for doing so), all aspects of these processes need to be transparent to students.
Article
This paper presents LISSA ("Learning dashboard for Insights and Support during Study Advice"), a learning analytics dashboard designed, developed, and evaluated in collaboration with study advisers. The overall objective is to facilitate communication between study advisers and students by visualising grade data that is commonly available in any institution. More specifically, the dashboard attempts to support the dialogue between adviser and student through an overview of study progress, peer comparison, and by triggering insights based on facts as a starting point for discussion and argumentation. We report on the iterative design process and evaluation results of a deployment in 97 advising sessions. We have found that the dashboard supports the current adviser-student dialogue, helps them motivate students, triggers conversation and provides tools to add personalisation, depth, and nuance to the advising session. It provides insights at a factual, interpretative, and reflective level and allows both adviser and student to take an active role during the session.
Article
The European Learning Analytics Community Exchange (LACE) project is responsible for an ongoing series of workshops on ethics and privacy in learning analytics (EP4LA), which have been responsible for driving and transforming activity in these areas. Some of this activity has been brought together with other work in the papers that make up this special issue. These papers cover the creation and development of ethical frameworks, as well as tools and approaches that can be used to address issues of ethics and privacy. This editorial suggests that it is worth taking time to consider the often intertangled issues of ethics, data protection and privacy separately. The challenges mentioned within the special issue are summarised in a table of 22 challenges that are used to identify the values that underpin work in this area. Nine ethical goals are suggested as the editors’ interpretation of the unstated values that lie behind the challenges raised in this paper.
Leitfaden: Grundlagen des Studierenden-Dashboards
  • Tu Graz
TU Graz (2020). Leitfaden: Grundlagen des Studierenden-Dashboards. Internes Dokument URL: https://tu4u.tugraz.at/fileadmin/Studierende_und_Bedienstete/Anleitungen/Studierende n-Dashboard_Funktionen_Leitfaden.pdf (2021-01-15).
Learning Analytics (Internal Webpage)
  • Tu Graz
TU Graz (2021). Learning Analytics (Internal Webpage). URL: https://tu4u.tugraz.at/studierende/mein-laufendes-studium/learning-analytics/ (2021-01-15)