Evaluation des audiovisuellen digitalen Informationsdienstes von Knowledgebay.

Conference Paper (PDF Available) · January 2005with 28 Reads
Source: DBLP
Conference: DeLFI 2005: 3. Deutsche e-Learning Fachtagung Informatik, der Gesellschaft für Informatik e.V. (GI) 13.-16. September 2005 in Rostock
Abstract
Der vorliegende Beitra gs tellt die Planung, Durchführung und Ergebnisse der Evaluation des Informationsportals von Knowledgebay vor. Zunächst wird der Evaluationsgegenstand kurz vorgestellt und das Evaluationsvorgehen sowie die Durchführung der Untersuchung beschrieben. Die Evaluation umfasste unterschiedliche Maßnahmen: Akzeptanzanalyse, Nutzeranalyse, heuristische Evaluation, Prototypenbeschreibung, Benutzerbefragung, Video-Analyse und Logfile-Analyse. Zusammenfassend werden dann die wichtigsten Ergebnisse der Evaluation vorgestellt sowie auf die mit dem Untersuchtunsvorgehen gemachten Erfahrungen eingegangen.
Evaluation des audiovisuellen digitalen
Informationsdienstes von Knowledgebay
Thomas Sporer, Daniel Weiß, Michael Giesz, Holger Striegl
Projekt Knowledgebay
Universität Regensburg
c/o Lehrstuhl für Informationswissenschaft
93040 Regensburg
kontakt@knowledgebay.de
Abstract: Der vorliegende Beitragstellt die Planung, Durchführung und
Ergebnisse der Evaluation des Informationsportals von Knowledgebay vor.
Zunächst wird der Evaluationsgegenstand kurz vorgestellt und das
Evaluationsvorgehen sowie die Durchführung der Untersuchung beschrieben. Die
Evaluation umfasste unterschiedliche Maßnahmen: Akzeptanzanalyse,
Nutzeranalyse, heuristische Evaluation, Prototypenbeschreibung,
Benutzerbefragung, Video-Analyse und Logfile-Analyse. Zusammenfassend
werden dann die wichtigsten Ergebnisse der Evaluation vorgestellt sowie auf die
mit dem Untersuchtunsvorgehen gemachten Erfahrungen eingegangen.
1. Einleitung
Knowledgebay betreibt einen Informationsdienst im Internet, der an der Hochschule
vermitteltes Wissen in Form von Au dio- und Videodokumenten bereitstellt. Über das
Internetportal (www.knowledegebay.de) ist es möglich, einfach und nutzerfreundlich auf
das im Rahmen des Projektserstellte Medienarchivzuzugreifen. Im folgenden Beitrag
wird eine Zusammenfassung der Evaluation diesesI
nformationsportals gegeben, wobei
der Fokus auf der Beschreibung des Evaluationsvorgehens und den damit gemachten
Erfahrungen liegt. Eine ausführliche Beschreibung der eigentlichen Portalsoftware findet
sich an anderer Stelle.1
2. Beschreibung des Evaluationsgegenstands
Das Informationsangebot von Knowledgebay ist primär zum Zweck des
selbstgesteuerten, mediengestützten Online-Lernens konzipiert. Nach dem Ansatz einer
Notebook-Universität [Ker04] stellt Knowledgebay in Form einer audiovisuellen
digitalen Mediathek einen spezifischen Informationsdienst bereit, über denLehr-
Lernmaterialien, wie z. B. videobasierte Vorlesungen, abgerufen werden können. Die
1Sporer, T.; Köstlbacher, A.; Jahnke, T. (2005): Softwareframework für audiovisuelle digitale Medien im
Internet.U
RL: www.knowledgebay.org/publikationen/kb-softwareframework.pdf [1.3.2005]
399
Nutzungsszenarien reichen dabei von einfachen Anreicherungskonzepten,als Ergänzung
der vor Ort gegebenen Präsenzlehre, bis hin zu einemo
rtsübergreifenden,v
irtuellen
Zusatzangebotfür Studierende andererHochschulen.
Das Portal umfasst ein breites Spektrum an Inhalten. Es werden Beiträge verschiedener
Fachbereiche einer Hochschule angeboten und die inhaltlichen Formate reichen von
studentischen Beiträgen zum Campusleben, über populärwissenschaftliche und
glichst allgemeinverständliche Beiträge bis hin zu dokumentierten Vorträgen die im
Rahmen wissenschaftlicher Fachveranstaltungen entstanden si nd und zum Verständnis
fachspezifisches Vorwissen voraussetzen.
Währendder Pilotphase des Projekts Knowledgebay ist ein breit gefächertes Online-
Archiv entstanden, das eine Vielzahl an verschiedenen Beiträgen bereitstellt. Der
inhaltliche Rahmen des Portals lässt sich durch vier W-Fragen fassen.2
Abbildung 1: Inhaltlicher Rahmen des Portals
Die Inhalte des Informationsangebots bestehen dabei primär aus Audio- und/oder
Videodokumenten und werden durch textbasierte Formate wie Essays, Newsmeldungen
und kommentierten Sammlungen von Internetlinks ergänzt. Da es sich bei Audio- und
Videodokumenten um zeitbasierte, kontinuierliche Medientypen handelt und diese
inhaltlich schwer recherchierbar sind, werden sie mit interaktiven Inhaltsverzeichnissen,
kontextuell synchronisierten Folien- und Linkeinblendungen sowie der Möglichkeit,
persönliche Notizen und Anmerkungen zu machen, ergänzt. Die Inhalte sind über das
Portal abrufbar und nach unterschiedlichen thematischen Aspekten sortiert. Die
Wiedergabe der Medien erfolgt in Form von interaktiven Rich-Media-Applikationen.
2 Konkrete Beispiele ausgewählter Inhalte finden sich unter: www.knowledgebay.org/contentbeispiele.htm
400
Abbildung 2: Video-Playerfenster Abbildung 3: Aufbereitetes Audio-Playerfenster
Um eine effektive Nutzung der Medien zu ermöglichen, werden die unterschiedlichen
Beiträge des Informationsangebots mit zusätzlichen Metadaten versehen. Auf dem Portal
werden alle Beiträge mit Kurzbeschreibungen, Zusammenfassungen sowie weiteren
Informationen zum jeweiligen Wissensartefakt dargeboten. Insgesamt bietet die
Portalsoftware zahlreiche Möglichkeiten, strukturiert und zielgerichtet auf die
Medieninhalte zuzugreifen: über eine Suchmaschine, ein Stichwortverzeichnis,
verschiedene Kategoriensysteme und über hypermediale Querbezüge zwischen den
einzelnen Beiträgen. Eine Reihe personalisierbarer Dienste unterstützen den
Portalbesucher bei der individuellen Selektion der Inhalte. Diskussionsforen zu den
Beiträgen geben den Benutzern die Möglichkeit sich zu den Themengebieten des
Informationsangebots auszutauschen.
3. Zielsetzungen der Portalevaluation
Damit die Technik das Lernen durch einen einfachen und benutzerfreundlichen
Informationsabruf bestmöglich unterstützen kann, wurde das Portal von Knowledgebay
hinsichtlich differenzierter Aspekte auf Gebrauchstauglichkeit überprüft und optimiert.
Die folgenden Fragestellungen stellten die zentralen Erkenntnisinteressen dieser
Evaluation dar:
Generelle Akzeptanz.Besteht überhaupt Bedarf an einem Informationsportal wie
Knowledgebay?
Zielgruppenspezifizierung. Für welche Zielgruppen ist das Portal von Interesse?
Wird verstanden, was das Informationsangebot zu bieten hat?
Gesamteindruck der Portalbenutzer. Finden sich die Benutzer mit der
grundlegenden Seitenstruktur zurecht? Wie wird die Gestaltung des
Informationsangebots hinsichtlich verschiedener Kriterien von den Benutzern
bewertet?
401
Gebrauchstauglichkeit der Einzelelemente. Welche Usability Probleme können
auf der Ebenee
inzelner Seitenbereiche hinsichtlich verschiedener Kriterien
aufgedeckt werden? Werden die angebotenen Funktionen als relevant erachtet?
Qualitätsbewertung der Inhalte. Wie wird das inhaltliche Angebot von den
Benutzern eingeschätzt? Ist die technische Qualität der Audio- und Videomedien
ausreichend?
Reales Nutzerverhalten. Wie verhalten sich Nutzer auf den Seiten des Angebots?
Wie ist das Ausmaß der Nutzung des Portals Knowledgebay einzustufen? In
wieweit weicht die tatsächliche Nutzung von den Erwartungen der Entwickler ab?
4. Evaluationsdesign und Maßnahmendurchführung
Bei der Planung und Durchführung einer Evaluation existieren i. d. R. keine „Rezepte,
die sich ohne weitere Denk- und Planungsarbeit allgemeingültig anwenden lassen. Zu
beachten sind nämlich stets die Ziele und besonderen Umstände des Einzelfalls“
[MPR94, 67].Vor diesem Hintergrund wurde das hier angewandte Evaluationsdesign in
Anlehnung an ein Modell von WernerSchweibenz [Sch01, 488] entwickelt. Es handelte
sichh
ierbei um eine mehrstufige, kombinierte Evaluation [Sch01], die formative und
summative Maßnahmen umfasste.
Abbildung 4: Überblick über den zeitlichen Verlauf der Evaluation
Die im Folgenden näher ausgeführten einzelnen Evaluationsmnahmen können mit
Hilfe von Abbildung 4im Kontext der Gesamtevaluation verortet werden. In der Phase
der formativen Evaluation wurden primär expertenorientierte Methoden der Evaluation
angewendet, während in der Phase der summativen Evaluation benutzerorientierte
Methoden zum Einsatz kamen.
402
4.1Akzeptanzanalyse und Nutzeranalyse
„What you are really testing is the relationship of your product to the end user“ [Rub94,
99]. Eine klare Vorstellung über ein Produkt und dessen Anwendungskontext stellt somit
die Grundlage eines „Human Centered Design“ [ST03] dar. Alle Modelle des Software
und Usability Engineerings sehen daher zunächst eine Analysephase des Entwicklung-
bzw. Evaluationsgegenstands vor. Dabei wird i. d. R. geklärt: 1.) welche Anforderungen
an das Produkt zu stellen sind, für welche Einsatzgebiete das Produkt dient und an
welche Zielgruppe es sich richtet und 2.) inwieweit Interesse der potenziellen Benutzter
am vorliegenden Produkt besteht und was die spezifischen Erwartungen der Benutzer an
das Produkt sind.
Im Rahmen dieser Evaluation wurde auf der Basis einer Literaturrecherche eine
konzeptuelle und funktionale Einordnung des bestehenden Informationsdienstes von
Knowledgebay vorgenommenund potenzielle Zielgruppen abgeleitet. Um den
voraussichtlichen Bedarf an dem Informationsdienst zu überprüfen wurde eine
Akzeptanzbefragung (n = 202 Studierende) mittels Fragebogen auf dem Campus der
Universität Regensburg durchgeführt. Zusätzlich wurde im Zeitraum vom 27.9.2003 bis
zum 7.5.2004 eine Online-Befragung (n = 351 registrierte Benutzer) durchgeführt, um
den realen Nutzerkreis festzustellen.
4.2Heuristische Evaluation
Anhand einer heuristischen Evaluation erfolgte dann eine Überprüfung des zu
Evaluationsbeginn bereits bestehenden Grades an Benutzbarkeit des
Informationsdienstes. „The term heuristic evaluation describes a method in which a
small set of evaluators examine a user interface and look for problems that violate some
of the general principles of good user interface design“[
DR94, 56]. Im Unterschied zu
benutzerorientierten Evaluationsmaßnahmen handelt es sich dabei um eine
expertenorientierte Methode, die sich speziell für die Phase der formativen Evaluation
eignet [NM94; MM02; ST03].
Zu Beginn dieser Evaluationsmaßnahme stand die Wahl einer geeigneten Heuristik. Mit
Hilfe eines vorgegebenen Kriterienkataloges von Nielsen und Tahir [NT02] wurde das
Evaluationsobjekt vor der Fertigstellung des Prototyps von vier Evaluatoren hinsichtlich
vorhandener Usability-Schwachstellen durchgearbeitet. Die gefundenen Problemstellen
wurden mittels Screenshot dokumentiert und eine Textergänzung diente zur
Beschreibung des Problems. Durch dieses Vorgehen entstand eine entsprechend dem
verwendeten Kriterienkatalog strukturierte Evaluationsdokumentation. Die Ergebnisse
wurden schließlich mit den Entwicklern besprochen. Für die identifizierten
Problembereiche erarbeitete das Expertenteam gemeinsameVerbesserungsvorschläge.
4.3P
rototypenbeschreibung
Um die Ergebnisse aus der bisherigen formativen Evaluation direkt in den
Entwicklungsprozess einfließen zu lassen, erfolgte nach der heuristischen Evaluation
403
eine unmittelbare Implementierung der erarbeiteten Verbesserungsvorschläge. Die
Prototypenbeschreibung s
ollte dabei helfen das konzeptionelle Modell der Seite
schlüssig und konsistent zu halten. Sie ist dabei zwar nicht im eigentlichen Sinne als
Evaluationsmaßnahme zu betrachten, sie fungierte jedoch als Bindeglied zwischen
formativer und summativer Evaluation, indem sie die Änderungen an der Software im
Kontext der formativen Evaluationsergebnisse dokumentierte.Der Maßnahme lag
folgende Annahme zu Grunde: Kann der Entwickler die Gestaltung der
Benutzerschnittstelle schlüssig beschreiben, ist davon auszugehen, dass der Seite ein
ausgearbeitetes und wohl durchdachtes Modell zu Grunde liegt.
Der erste Schritt dieser Maßnahme bestand daherdarin, dass die Entwickler den fertigen
Prototyp der Portalsoftware beschreiben und die konkrete Form derGestaltung der
Benutzerschnittstelle begründen. Von den Evaluatoren wurden dann in einem zweiten
Schrittder funktionale Nutzen dieser Schnittstellengestaltung für den Benutzer
hinterfragt und die von den Entwicklern gegebenen Antworten hierauf schriftlich
festgehalten.
4.4Benutzerbefragung mittels Fragebogen
Im Gegensatz zu den zuvor beschriebenen expertenorientierten Methoden werden die
Benutzer bei der aus der sozialwissenschaftlichen Forschung stammenden B
efragung
mittels Fragebogen direkt in die Evaluation eingebunden. Dieses benutzerorientierte
Evaluationsinstrument stellt in vielen Bereichen eine beliebte Methode dar, um aus Sicht
der Zielgruppe verallgemeinerbare Rückmeldungen und Einschätzungen gegenüber dem
Untersuchungsgegenstande
inzuholen [RFH88]. „Je nach der Entscheidung, ob
quantitative oder qualitative Datenerhebungsmethoden gewählt wurden, erfolgt eine
statistische oder inhaltliche Auswertung und Analyse der Daten“[Hen01, 6]. Das Design
der Fragebögen muss dabei im Vorfeld auf die Erkenntnisziele der Evaluation
ausgerichtet werden, wobei sich die Orientierung an bereits existierenden und erprobten
Fragebögen und Bewertungsskalen empfiehlt [Hen01].
Auf die Version 1.0 der Po rtalsoftware zugeschnitten, wurde folglich ein Fragebogen
entwickelt. Der Fragebogen erfasst in Anlehnung an die Kriterien der ISO 9241/10
einerseits verschiedene Punkte der Benutzbarkeit und Gebrauchstauglichkeit der Seiten
hinsichtlich allgemeiner Grundsätze der Dialoggestaltung, andererseits aber auch
besondere Aspekte und Bewertungsschwerpunkte zur Evaluation von mediengestützten
Lernumgebungen [Hen01]. Der Fragebogen enthielt schließlich 20 geschlossene sowie
drei offene Fragen und lieferte Ergebnisse quantitativer sowie qualitativer Art. Der
Fragebogen wurde von 40 Personen aus der Zielgruppe des Informationsportals
bearbeitet, nachdem sichdie Befragten zuvor 30 Minuten frei explorierend mit dem
Evaluationsobjekt auseinandersetzten.
4.5Video-Analyse
Zusätzlich fand ein Usability-Testing mittels Video-Analyse statt. Unter einer Video-
Analyse ist dieAufzeichnung und Auswertung der tatsächlichen Interaktion eines
404
Testbenutzers mit dem Evaluationsgegenstand zu verstehen. Zur Durchführung einer
Video-Analyse benötigt man eine Testumgebung, die i. d. R. als Usability- Labor
bezeichnet wird. Der Aufbau und die technischen Hilfsmittel, die im Usability-Labor
zum Einsatz kommen können, differieren je nach zur Verfügung stehendem Budget: „In
its most basic form, a usability lab can be a desk with a PC […]. At the other end of the
spectrum it might contain several PCs, video cameras and two-way mirrors.“3
Bei der Durchführung wurden von den Evaluatoren zunächst geeignete Testaufgaben
erstellt, die der Proband dannwährend des Tests durchläuft [Rub94]. Der Task-Katalog
bestand sowohl aus vollständig angeleiteten Aufgaben als auch aus Phasen des freien
Explorierens. Dann wurden aus dem Kreis der Zielgruppe des Informationsdienstes
sechs Probanden [NL93; Nie00] mit unterschiedlichem Grad an Computer- und
Internetkenntnissen gewählt und die Tests durchgeführt. Bei der Konzeption des
Usability Labors griffen die Evaluatoren auf ein kostengünstiges Arrangement
standardmäßiger Hard- und Softwareausstattung zurück. Bei der eigentlichen
Durchführung der Video-Analyse wurde die Interaktion der Benutzer mit dem System
durch eine Aufzeichnung dokumentiert. Durch Screen-Capturing erfasste die
Aufzeichnungdas Geschehen auf dem Bildschirm und zugleich wurde durch eine fest
installierte Kamera das Verhalten des Benutzers als Nahaufnahme synchron ergänzt.
Mittels der Question-Asking-Technik [Nie93] sowie der Thinking-Aloud-Methode
[Nie93] wurden dabei die Gedanken der Benutzer bei der Interaktion artikuliert und
zusammen mit dem Video aufgezeichnet. Der Durchlauf eines Tests betrug, je nach Grad
der Computer- und Internetkenntnisse der Probanden, zwischen 40 bis 60 Minuten. Nach
Fertigstellung derV
ideo-Tests fand eine Untersuchung der Aufzeichnungen auf
Auffälligkeitensowie eine vergleichende Auswertung statt. Die Ergebnisse wurden
schließlich zusammengefasst und den Entwicklern anhand von Videobeispielen
demonstriert.
4.6Analyse der Logfiles
Abschließend gab eine Logfile-Analyse Aufschluss über das reale Benutzerverhalten
auf den Seiten des Portals. Eine Logfile-Analyse ist eine quantitative, analytische
Methode und basiert auf der Erstellung und Auswertung von Protokolldateien (=
Logfiles), die mit einem speziellenErfassungssystem automatisch erstellt und
computergestützt mittels spezieller Analyse-Software ausgewertet werden [Bar03;
Heg03]. Sie kann über längere Zeiträume ohne nennenswerten Mehraufwand viele
Untersuchungsmerkmale gleichzeitig festhalten und ist als kostengünstige Ergänzung
zu anderen empirischen Analysemethoden zu betrachten:„
[…] logging has the major
advantage compared with practically all other usability methods of not interfering
with the users in any way. Basically, users can ignore the log and use the system in
exactly the way they would anyway”[Nie93, S. 102]. Ein wesentlicher Nachteil der
Logfile-Analyse ist dagegen der weite Spielraum zur Interpretation der Ergebnisse
[BS04].
3Quelle:http://www.usabilitycentre.com/usability.html (entnommen am: 16.06.2004)
405
Im Zeitraum vom 17.7.2003 bis 8.7.2004 wurden serverseitig aufgezeichnete Logfiles
erfasst und mit der Software „Summary“4 einer st atistischen Analyse unterzogen.So
konnten Kriterien wie Aufenthaltsdauer, Aufenthaltsbereiche, Navigationswege,
Anmeldungen und Forennutzung festgestellt werden.
5. Zusammenfassung der wichtigsten Ergebnisse
Generelle Akzeptanz.Bei der Akzeptanzanalyse konnte ein deutliches Interesse an
internetbasierten Studienangeboten im Allgemeinen und an einem Informationsportal
wie Knowledgebay im Besonderen festgestellt werden.Insgesamt gaben 98% der
Befragten an das Internet als Informationsquelle für das Studium zu nutzen. 84%
meinten derartige Studienangebote bereits zu kennen und 59% nutzen diese auch. 76%
gaben zudem an, insbesondere audio- und videobasierte Medienangebote zu schätzen.
Im Vergleich zu Offline-Medien (27%), wie zum Beispiel CD-ROM oder DVD, erwies
sichd
abei das Internet (52%) als bevorzugte Bezugsform eines solchen Angebots.
Zielgruppenspezifizierung.Laut Nutzeranalyse setzen sich die Benutzer von
Knowledgebay sowohl aus Studierenden (56%) als auch Nicht-Studierenden (44%)mit
überwiegend höherem Bildungsabschluss zusammen. Der größte Teil der Benutzer von
Knowledgebay ist dabei zwischen 20 und 30 Jahren (63%) jung. Mit 55% männlichen
und 45% weiblichen Nutzern sind beide Geschlechter als relevante Zielgruppe zu
betrachten. Die Nutzung von Knowledgebay findet vornehmlich zu Studienzwecken
(49%) statt. 2
9% nutzen Knowledgebay aber auch aus allgemeinem Bildungsinteresse
und 19% zur beruflichen und privaten Aus- und Weiterbildung. Als bevorzugten Ort der
Internetnutzung gaben 56% der befragten Personen an, das Internet von Zuhause zu
nutzen. 35% der Befragten nannten als bevorzugten Ort der Internetnutzung
Bildungseinrichtungen und Arbeitsplätze. 70% der registrierten Nutzer gaben dabei an
Breitband Technologien (DSL, LAN, WLAN) zur Verbindung mit dem Internet zu
nutzen und 44% der Befragten gaben an das Internet mehr als 12 Stunden in der Woche
zu nutzen. Damit scheint Knowledgebay derzeit überwiegend internetaffine Nutzer
anzusprechen [vgl. EGF04].
Gesamteindruck der Portalbenutzer. Die übergeordneteSeitenstruktur wurde von den
Benutzern in der Videoanalyse gut verstanden. Es konnte durch die Benutzerbefragung
ein positiver Eindruck der Seiten auf den Nutzer nachgewiesen werden. Bei der
Benutzerbefragung gaben82 % der Befragten an, stets zu wissen, wo sie sich auf der
Seite befanden.77% der Befragten wussten dabei auch jeweils, wohin sie aufden Seiten
navigieren konnten und 87% gaben an, eine nachvollziehbare Seitenstruktur erkennen zu
können. Das Design der Seite erhielt von 82% der Befragten ei ne positive Bewertung.
Trotz der genannten positiven Bewertungen konnten Unzufriedenheiten der Nutzer
festgestellt werden. Die vielen unterschiedlichen Zugriffsmöglichkeiten auf Inhalte
wurden als „Überladung“ der Webseite aufgefasst. Durch die Logfile-An alysekonnte
nachgewiesen werden, dass einzelne Navigationselemente und Seitenbereiche selten bis
4 Die Analysesoftware “Summary“ ist zu beziehen über: http://www.summary.net
406
gar nicht genutzt werden. Ein Benutzer gab explizit an, die „Spalten rechts und links
neben dem Haupttext als störend und teilweise informationsredundant“ zu empfinden.
Die Benennung der Navigationselemente mit „Vorträge & Vorlesungen“,
„Internetradio“, „Webverzeichnis“ und „Diskussionsforen“ wurde ebenfalls in Frage
gestellt. Der Begriff „Webverzeichnis“ macht nach Ansicht einer Testperson in der
Videoanalyse nicht deutlich, was sich hinter diesem Navigationspunkt verbirgt.Die
Logfile-Analyse zeigte, dasssowohl „Webverzeichnis“ als auch „Diskussionsforen“ im
Untersuchungszeitraum kaum genutzt wurden.
Gebrauchstauglichkeit der Einzelelemente. Die Bedienung des Player-Fensters zur
Darstellung der Audio- und Videoinhalte wurde in der Benutzerbefragung von 82% der
Befragten als positiv bewertet. Probanden der Video-Analyse bezeichneten die
Bedienung als standardmäßig und konnten problemlos damit umgehen.Kritisiert wurde
die nicht konforme Gestaltung der Player-Fenster beim Aufruf unterschiedlicher Inhalte
Es wurde der Wunsch geäußert, das Player-Fenster in der Größe veränderbarzumachen.
Sowohl die Video-Analyse als auch die Logfile-Analyse ergaben eine große Relevanz
der Suchfunktion.Die Suchfunktion wirkte jedoch zum Zeitpunkt der Evaluation noch
sehr unausgereift und wies einige gravierende Mängel auf. Eine Bool’sche
Kombinationen von Suchebegriffen sowie unscharfe Anfragen, um zum Beispiel
Schreib- und Tippfehler abzufangen, warenetwa nicht möglich. Der Anmeldevorgang
zum personalisierten Bereich wurde bei der Video-Analyse von allen Probanden
problemlos bewältigt und als standardmäßig bezeichnet. Nach der Anmeldung
verstanden alle Testpersonen, den angemeldeten Status vom Nicht-Angemeldeten zu
unterscheiden. Von den Testpersonen wurde in der Video-Analyse auch ein deutlicherer
Hinweis auf die Vorteile einer persönlichen Anmeldung bei Knowledgebay gewünscht.
Obwohl in der Benutzerbefragung 67% der Befragten den personalisierten Bereich als
nützlich bewerteten, ergab die Logfile-Analyse, dass der persönliche Bereich tatsächlich
nur sehr wenig genutzt wird.Hinsichtlich einer tendenziellen Ablehnung einer
Anmeldung von 25% in der Benutzerbefragungerscheint es empfehlenswert, den
Benutzern die Vorteile einer Registrierung bei Knowledgebay sowie der besonderen
Nutungsmöglichkeiten des persönlichen Bereichs besser zu vermitteln.
Qualitätsbewertung der Inhalte. Die technische Qualität der Audio- und Videostreams
wurdeals überwiegend gut eingeschätzt. Sowohl in der Benutzerbefragung als auch in
der Videoanalyse erhielten sie eine positiveBewertung. Die Benutzerbefragung wies
jedoch auf die Forderung nach mehr Inhalten hin, insbesondere wenn zum Zeitpunkt der
Befragung in manchen Fachrichtungen wenig bis keine Inhalte vorhanden waren.Hier
wurde eine inhaltliche Erweiterung des Informationsangebotsverlangt.Einige
Probanden wünschten auch, dassmehr Information über Professoren, Dozenten und
Autorenbereitgestellt wird. Im Downloadbereich der jeweiligen Beiträge muss auf
einheitliches Format (z. B. PDF) geachtet werden. Die sprachlichen Formulierungen auf
den Seiten ist in der Benutzerbefragung von 82% der Befragten als positiv beurteilt
worden. Die Textmenge auf den Seiten wurde von 40% der Befragten als wenig
angemessen befunden. 25% empfanden die Seite als überladen. Das Spektrum an
Textmenge auf den Einzelseiten reichte hier von Einzeilern bis hin zu Texten von ca.
einer DIN A4 Seite. Dringend ist hier eine professionellere Redaktionsarbeit,das
Einhalten gewisser Standards in der Gestaltung der redaktionellen Inhalte und die
407
Erarbeitung geeigneter Qualitätssicherungsmechanismen zu etablieren. Gerade vordem
Hintergrund einer tendenziell niedrigeren Einschätzung von studentischen im Vergleich
mit institutionalisierten Lehr-Lernangeboten in der Studie von Kleinmann et al. [KW05]
sollte der Qualitätssicherung künftig eine besonders hohe Priorität eingeräumt werden.
Reales Nutzerverhalten. In der Logfile-Analyse stellte sich heraus, dass im Zeitraum von
einem Jahr lediglich11.523 Visits nachgewiesen werden konnten. Die Auswertung der
durchschnittlichen Verweildauer (15min33s) und die Zahl der durchschnittlichen
Seitenaufrufe (12,3 pages) eines Besuchers zeigten jedoch, dass das Konzept von
Knowledgebay viele Nutzer anspricht und der Informationsdienst bereits von vielen
intensiv genutzt wird. Je Besucher erfolgten dabei durchschnittlich 2,34 Aufrufe von
Audio-Videoinhalten je Visit. Bei diesen Ergebnissen ist zu betrachten, dass in der
Akzeptanzanalysegerade 11% der Befragtenangaben das Informationsangebot von
Knowledgebay zu kennen. Angebote, wie zum Beispiel die VHB (Virtuelle Hochschule
Bayern), wurden dagegen von 84% der Befragten gekannt und 59% der Befragten gaben
an diese bereits besucht zu haben. Es bleibt hier eine deutliche Diskrepanz im
Bekanntheitsgrad festzustellen und eine vermehrte Öffentlichkeitsarbeit der
Seitenbetreiber von Knowledgebay erscheint notwendig.
6. Bewertung der Evaluationsmaßnahmen
Aktzeptanz- und Nutzeranalyse. Mit diesen Maßnahmen wurde die Basis für die
vorliegende Evaluation gelegt. In der Akzeptanzanalyse wurde zunächst der Bedarf an
dem Evaluationsgegenstand bestätigt, was erst die Durchführung der Gesamtevaluation
rechtfertigte. Durch die Nutzeranalyse konnte dann der Nutzerkreis spezifiziert werden.
Erst mit einer klaren Vorstellung des Nutzerkreises, konnte eine optimale Anpassung der
Software an den Nutzer im Sinne des „human centered design“ erfolgen.
Heuristische Evaluation.Die heuristische Evaluation trug wesentlich zur
Entwicklungsoptimierung bei. Mit relativ geringem Aufwand konnte ein Großteil relativ
offensichtlicher Usability-Problemen aufgedeckt werden. Weil die Auswahl eines
geeigneten Kriterienkatalogs maßgebend für die Qualität der Ergebnisse dieser
Evaluationsmaßnahme ist, erwies sich die Verwendung der praktisch bewährten
Heuristik von Nielsen als ratsam. Mit Hilfe der heuristischen Evaluation konnten jedoch
keine realen Nutzungsprobleme identifiziert werden. In diesem Zusammenhang führten
die benutzerorientierten Methoden der summativen Evaluation zu einem detailreicheren
Erkenntnisgewinn.
Prototypenbeschreibung. Mit einer detaillierten Beschreibung des Prototyps durch die
Entwickler konnten weitere Inkonsistenzen des Seitenkonzepts und eine Reihe von
Usability-Problemen,wie Ambiguitäten und Redundanzen bei der Seitengestaltung,
aufgedeckt werden. Die Prototypenbeschreibung diente zudem zur Erfassung der
Zwischenergebnisse der formativen Evaluation sowie des Entwicklungsstands der
Softwareversion 1.0. Als Erfassung des Status Quo stellte sie die Grundlage der
anschließenden summativen Evaluation dar und spielte daher in der Gesamtevaluation
eine wichtige Rolle.
408
Benutzerbefragung.Mit Hilfe der Benutzerbefragung konnten stichhaltige und
objektivierbare Ergebnisse erzielt werden. Der Einsatz eines Fragebogens ermöglichte es
ganz gezielt auf konkrete Usabiltiy-Aspekte einzugehen und weitgehendobjektive
Ergebnisse zu ausgewählten Fragestellungen zu erhalten. Es hat sich hier gezeigt, dass
die benutzerorientierten Methoden der Video- und Logfileanalyse eher explorativen
Charakter haben und sich besonders zur Generierung von Hypothesen eignen, die dann
mit einer Benutzerbefragung verifiziert werden können. Vor diesem retrospektiven
Hintergrund hätte sich die Benutzerbefragung besser als abschließende Maßnahme der
summativen Evaluation geeignet und so zugleich auch die Grundlage eines „Severity-
Ratings“ der Evaluationsergebnisse darstellen können.
Video-Analyse. Die Video-Analyse stellte in dieser Evaluationsstudie einen zentralen
Punkt dar. Die Videoanalyse war zwar die aufwändigste Methode, brachte allerdings
auch sehr großen Aufschluss über den Evaluationsgegenstand mit sich. Insbesondere
lieferte sie dort Ergebnisse, wo andere Evaluationsmethoden zu keinen vergleichbaren
Aussagen führten. In Bereichen, in denen von den Evaluatoren keine Usability-
Schwachstellen vermutet wurden, konnte die Video-Analyse eine ganze Reihe von
Mängeln aufdecken.
Logfile-Analyse.Die Logfile-Analysemachte auf Fehler aufmerksam, die mit keiner
anderen der angewendeten Methoden aufgedeckt werden konnten. Außerdem zeigte
sich, dass subjektive Meinung bei einer Befragung und tatsächliches Nutzerverhalten
nicht unbedingt übereinstimmen. Ein wesentlicher Nachteil der Logfile-Analyse ist, dass
zur Datenerhebung ein „fertiges und funktionierendes Produkt“ vorliegen muss und nur
rückwirkende Betrachtungen gemacht werden können. Weiterhin können mit der
Logfile-Analyse nur Annahmen getroffen werden, dass etwas so ist wie es sich in den
Ergebnissen darstellt. Eine Rückführung der Ergebnisse auf ihre Ursachen ist in
manchen Punkten sehr interpretationsabhängig, weshalb eine weitere Verifikation dieser
Erkenntnisse mit anderen Methoden hinzugezogen werden muss.
7. Zusammenfassung und Fazit
Keine der verwendeten Evaluationsmethoden kann retrospektiv als unwichtig oder
überflüssig bezeichnet werden, da jede Methode auf ihre Weise zum Gesamtergebnis
dieser Evaluation beitrug. Die durchgeführten formativen Evaluationsmaßnahmen
gingen bereits während der Entwicklung des Softwareprototyps in die
Benutzerschnittstellengestaltung ein, da durch sie die Aufmerksamkeit der Entwickler
gezieltauf den Aspekten der Benutzerfreundlichkeit fokussiert wurde. Die summativen
Maßnahmen dieser Evaluation untersuchten schließlich den fertigen Prototyp des
Informationsdienstes. Sie lassen einerseits relativ gesicherte Aussagen über den
Gesamteindruck der Benutzer über das Informationsangebot zu. Andererseits geben sie
Hinweise darauf, wo hinsichtlich der Gebrauchstauglichkeit nachgebessert werden sollte.
Um hier allerdings detaillierte Aussagen über die Veränderung einzelner Seitenbereiche
zu treffen, müssendieseeinzelnen Bereiche nochmals in einer gesonderten
Untersuchung unter die Lupe genommen werden. Erst dann lassen sich konkrete
Aussagen über die Optimierung der Usability sowie eine nutzerfreundlichere
409
Ausgestaltung ei nzelner Seitenelemente treffen: Letztlich muss di eOptimierung eines
Informationsangebots wie Knowledgebay als kontinuierlicher Prozess verstanden
werden. Die vorliegende Evaluation ist damit als Pilotstudie einzustufen.
Literaturverzeichnis
[BS04] Baketaric, B.; Strübel, I. (2004): Auslegungssache: Webserver-Zugriffe richtig loggen
und deuten. c't Magazin2
3/04, Seit e 240
[Bar03] Bartel, T. (2003). Die Verbesserung der Usability von WebSites –auf der Basis von
WebStyleguides, Usability Testing und Logfile-Analysen. Berlin: WiKu.
[DR94] Dumas, J. and J. Redish (1994). A Practical Guide to Usability Testing. Norwood, Ablex
Publishing Corporation.
[EGF04] Eimeren, B. van; Gerhard, H.; Frees, B (2004). Internetverbreitung in Deutschland: Po
tential vorerst ausgeschöpft? Unter: http://www.br-online.de/br-intern/
medienforschung/onlinenutzung/onlinestudie/ [25.10.2004].
[Has95] Hasebrook, J. (1995). Multimedia-Psychologie: Eine neue Perspektive menschlicher
Kommunikation. Heidelberg: Spektrum.
[Hen01] Henninger, M. (2001). Evaluation von multimedialen Lernumgebungen und Konzepten
des e-learning (Forschungsbericht Nr. 140). München: Ludwig-Maximilians-Universität,
Lehrstuhl für Empirische Pädagogik und Pädagogische Psychologie.
[Ker04]K
errres, M. (2004). Warum Notebooks? Von der virtuellen Hochschule zum mobilen
Lernen auf dem digitalen Campus. In: M. Kerres, M. Kalz, J. Stratmann & C. de Witt
(Hrsg.). Didaktik der Notebook-Universität. Münster: Waxmann
[KW05] Kleinman, B.; Weber, S.; Willige, J. (2005). E- Learning aus Sicht der Studierenden.
HISBUS-Kurzbericht Nr. 10. Hochschul-Informations-System GmbH (Hrsg.). URL:
http://www.his.de/Abt2/Hisbus/HISBUS_E-Learning10.02.2005.pdf
[MPR94] Mandl, H.; Prenzel, M.; Rheinmann-Rothmeier, G. (1994). Computerunterstützte Lern-
umgebungen., (Hrsg.)Arzberger H.& Brehm, K.H.. Erlangen: Publicis MCD Verlag.
[MM02] Manhartsberger, M. ; Musil, S. (2002).Web usability: das Prinzip des Vertrauens. Bonn:
Galileo Press.
[NL93] Nielsen, J.; Landauer, T. K. (1993). A
mathematical model of the finding of usability
problems. Proceedings of INTERCHI 93, p. 206-213. New York, NY: ACM.
[Nie93] Nielsen, J. (1993). Usability Engineering. Boston: Academic Press.
[NM94] Nielsen, J.; Mack, R. (1994). Usability Inspection Methods.N
ew York: John Wiley &
Sons.
[Nie00] Nielsen, J. (2000). Why you only need to test with 5 users. Unter:
http://www.useit.com/alertbox/20000319.html
[NT02] Nielsen, J.; Tahir, N. (2002). Homepage Usability: 50 enttarnte Websites. München:
Markt und Technik Verlag.
[RFH88]Rossi, P. H., Freeman, H. E. & Hofmann, G. (1988). Programm-Evaluation. Einführung
in die Methoden angewandter Sozialforschung Stuttgart: Enke.
[Rub94] Rubin, J. (1994). Handbook of usability testing: How to plan, design, and conduct
effective tests.New York, NY: John Wiley & Sons.
[Sch01]Schweibenz, W. (2001). Evaluation des Intranet-Angebots Multimediales Lernen bei
DaimlerChrysler, Standort Stuttgart. In R. Schmidt (Hrsg.), Information Research &
Content - Orientierung, Ordnung und Organisation im Wissensmarkt. Proceedings der
23. Online-Tagung der DGI und 53. Jtg Frankfurt am Main 8. bis 10. Mai 200.1 (486-
497). Frankfurt/Main: DGI.
[ST03] Schweibenz, W.; Thissen, F. (2003) Qualität im Web. Benutzerfreundliche Webseiten
durch Usability Evaluatino . Heidelberg: Springer.
410
  • Conference Paper
    Full-text available
    Um den Funktionsumfang von Lehr-Lernplattformen zu erweitern, werden oft mithilfe von Portalsystemen unterschiedlichste Anwendungen unter einer Oberfläche vereint, um diese den Nutzern niedrigschwellig zugängig zu machen. In diesem Beitrag werden verschiedene Typen von Portalsystemen vorgestellt und anhand konkreter Implementierungen im Projekt "Digicampus" der Universität Augsburg erläutert. Anschließend wird auf eine Usabilitystudie desselbigen sowie generelle Probleme mit Portalsystemen eingegangen. Abschließend wird der neue Ansatz, bei dem das Learning-Management-System selbst als Portalsoftware fungiert, vorgestellt.
  • Article
    The evaluation of learning environments or of concepts of e-learning differs from evaluation concepts typical for vocational trainings in some points. The procedure of the evaluation and the focus in the evaluation design are modified. Aspects of effectiveness and efficiency play a more important role in the case of multimedia evaluation. This paper deals with the following issues in detail: tasks and questions regarding the evaluation of multimedia learning environments and of concepts of e-learning; procedure of an evaluation; foci in the evaluation design; evaluation methods. In summary, the presentation of the theoretical background, the description of the design and the methods of multimedia evaluation and, finally, the consideration of different foci show that the evaluation and thus the quality management of multimedia or web-based learning environments is a complex, but solvable task in the area of vocational training. Die Evaluation von Lernumgebungen oder Konzepten des e-learning unterscheidet sich an manchen Punkten von Evaluationskonzepten wie sie sonst in der Erwachsenenbildung üblich sind. Ablauf und Schwerpunktsetzung im Evaluationsdesign sind modifiziert. Aspekte der Effektivität und Effizienz spielen eine wichtige Rolle. In der vorliegenden Arbeit wird auf folgende Punkte vertieft eingegangen: Aufgaben und Fragestellungen bei der Evaluation von multimedialen Lernumgebungen und Konzepten des e-learning; Ablauf der Evaluation; Schwerpunktsetzungen im Evaluationsdesign; Evaluationsmethoden. Insgesamt zeigen die Darstellung von theoretischem Hintergrund, die Beschreibung von Design und Vorgehensweisen bei einer Multimedia-Evaluation und schließlich das Thematisieren der Schwerpunkte, dass die Evaluation als auch die damit verbundene Qualitätsmanagement von multimedialen oder webbasierten Lernumgebungen eine komplexe, aber lösbare Aufgabenstellung im Rahmen von Erwachsenenbildung darstellt.
  • Usability Engineering
    • J Niels En
    Niels en, J. (1993). Usability Engineering. Boston: Academic Press.
  • Auslegungssache: Webserver-Zugriffe richtig loggen und deuten. c't Magazin23
    • Literaturverzeichnis
    • B Baketaric
    • I Strübel
    Literaturverzeichnis [BS04] Baketaric, B.; Strübel, I. (2004): Auslegungssache: Webserver-Zugriffe richtig loggen und deuten. c't Magazin23/04, Seit e 240
  • Warum Notebooks? Von der virtuellen Hochschule zum mobilen Lernen auf dem digitalen Campus Didaktik der Notebook-Universität
    • K Errres
    • M Kleinman
    • B Weber
    • S Willige
    • J Rheinmann-Rothmeier
    K errres, M. (2004). Warum Notebooks? Von der virtuellen Hochschule zum mobilen Lernen auf dem digitalen Campus. In: M. Kerres, M. Kalz, J. Stratmann & C. de Witt (Hrsg.). Didaktik der Notebook-Universität. Münster: Waxmann [KW05] Kleinman, B.; Weber, S.; Willige, J. (2005). E-Learning aus Sicht der Studierenden. HISBUS-Kurzbericht Nr. 10. Hochschul-Informations-System GmbH (Hrsg.). URL: http://www.his.de/Abt2/Hisbus/HISBUS_E-Learning10.02.2005.pdf [MPR94] Mandl, H.; Prenzel, M.; Rheinmann-Rothmeier, G. (1994). Computerunterstützte Lernumgebungen., (Hrsg.)Arzberger H.& Brehm, K.H.. Erlangen: Publicis MCD Verlag.
  • Web usability: das Prinzip des Vertrauens
    • M Manhartsberger
    • S Musil
    Manhartsberger, M. ; Musil, S. (2002). Web usability: das Prinzip des Vertrauens. Bonn: Galileo Press.