Thinkie: Lautes Denken mit Spracherkennung (mobil) / Thinkie – Mobile Thinking-Aloud with Siri / Thinkie – une app pour la pensée à voix haute avec Siri

Abstract

Lautes Denken ist eine bewährte Methode zum Erforschen kognitiver Prozesse. Es wird in vielen Disziplinen benutzt, z. B. um aufzudecken, welche Erfahrungen Benutzer bei der Interaktion mit Computerschnittstellen machen. Nach einer kurzen Erklärung des Lauten Denkens wird die App Thinkie vorgestellt. Thinkie ist eine mobile Lösung für das Laute Denken auf iPhone und iPad. Die Testperson nimmt auf dem iPhone den Ton auf. Die Spracherkennungssoftware Siri (http://www.apple.com/de/ios/siri/) transkribiert ihn. Parallel wird auf dem iPad oder einem anderen Gerät gefilmt. Auf dem iPad kann man - mit Video im Blick - das Transkript aufarbeiten und interpretieren. Die Textdateien transportiert Thinkie über eine Cloud-Kollektion, die Filme werden mit iTunes übertragen. Thinkie ist noch nicht tauglich für den praktischen Gebrauch. Noch sind die Sequenzen zu kurz, die Siri verarbeiten kann. Das wird sich ändern.

Full text

Brigitte Endres-Niggemeyer, Hannover
Thinkie: Lautes Denken mit Spracherkennung
(mobil)
Lautes Denken ist eine bewährte Methode zum Er-
forschen kognitiver Prozesse. Es wird in vielen Diszipli-
nen benutzt, z. B. um aufzudecken, welche Erfahrungen
Benutzer bei der Interaktion mit Computerschnittstellen
machen. Nach einer kurzen Erklärung des Lauten Den-
kens wird die App Thinkie vorgestellt. Thinkie ist eine
mobile Lösung für das Laute Denken auf iPhone und
iPad. Die Testperson nimmt auf dem iPhone den Ton auf.
Die Spracherkennungssoftware Siri (http://www.apple.
com/de/ios/siri/) transkribiert ihn. Parallel wird auf dem
iPad oder einem anderen Gerät gefilmt. Auf dem iPad
kann man –mit Video im Blick –das Transkript aufar-
beiten und interpretieren. Die Textdateien transportiert
Thinkie über eine Cloud-Kollektion, die Filme werden mit
iTunes übertragen. Thinkie ist noch nicht tauglich für
den praktischen Gebrauch. Noch sind die Sequenzen zu
kurz, die Siri verarbeiten kann. Das wird sich ändern.
Deskriptoren: Verarbeitung natürlicher Sprache, Software-
entwicklung, Entwurf, Mobilkommunikation, Benutzerfor-
schung, Lautes Denken, Thinkie
Thinkie –Mobile Thinking-Aloud with Siri
Thinking aloud is a proven method for exploring cogni-
tive processes. It is popular in many disciplines, also for
uncovering user experience during the interaction with a
computer interface. After some background knowledge
on thinking aloud, Thinkie is proposed. It puts thinking
aloud onto a mobile platform made of iPhone and iPad.
An iPhone with Siri speech recognition (http://www.
apple.com/de/ios/siri/) serves as extended microphone.
It records the thinking aloud protocol and Siri transcribes
it. In parallel the session can be videotaped on the iPad
or a different device. An iPad screen integrates the ses-
sion video and the Siri transcript text, so that the re-
searcher can rework (synchronize, model) it. The tran-
script is transported via iCloud, the movie via iTunes
synchronization. The app is in a proof-of-concept state.
Thinkie still falls short in some points of practical impact.
A main issue is that the Siri takes are still too short. This
may change in the near future.
Keywords: Natural language processing, software devel-
opment, project, mobile platform, user study, user experi-
ence, thinking aloud, Thinkie
Thinkie –une app pour la pensée à voix haute avec Siri
La pensée à voix haute est une méthode conçue pour
découvrir les activités cognitives d’une personne durant
l’exécution d’une tâche. Il est demandé au participant
d’énoncer ses pensées en parlant tout le temps. Celles-ci
sont normalement enregistrées par audio ou vidéo. Cette
méthode est notamment utilisée aux fins de tests utilisa-
teurs réalisés en ergonomie informatique lors de l’utilisa-
tion de logiciel ou site web. Après une brève introduction
à la méthode de la pensée à voix haute, cet article pré-
sente l’app Thinkie. Thinkie est un logiciel mobile prévu
pour la pensée à voix haute sur une plateforme d’iPhone
et iPad. Le participant enregistre sa contribution en utili-
sant un iPhone comme micro et avec support de Siri pour
la reconnaissance automatique de la parole, utilisé ici
pour transcrire le récit oral du participant. En parallèle,
la session peut être enregistrée soit sur vidéo, soit sur
l’iPad ou encore par caméra vidéo issue d’un autre ordi-
nateur. L’interface sur l’iPad présente au chercheur la
vidéo de la session et le texte transcrit par Siri. La fenêtre
texte soutient l’édition. En marge de la correction des
erreurs, le chercheur peut annoter le texte pour le syn-
chroniser avec la vidéo et l’interpréter aux termes d’une
théorie ou d’un modèle. Thinkie transporte les dossiers
texte par l’intermédiaire d’une collection Cloud. Les vi-
déos sont expédiées par synchronisation iTunes. Thinkie
propose une preuve de concept, il n’est pas encore prêt
pour l’emploi courant. Notamment les prises de Siri sont
encore trop brèves pour un soutien efficace du partici-
pant. Ceci est en voie de changement.
Mots-clés: conception, logiciel mobile, pensée à voix
haute, Thinkie
DOI
10.1515/iwp-2013-0047 Information. Wissenschaft & Praxis 2013; 64(6):311–322

1 Protokolle des Lauten Denkens
Protokolle des Lauten Denkens (LD –gebräuchliche eng-
lische Terme Thinking Aloud Protocols, verbal protocols)
sind eine viel benutzte Methode, um herauszufinden,
was Menschen denken, während sie einen Vorgang erle-
digen. Die Testpersonen werden aufgefordert, zu reden,
solange sie die Aufgabe erledigen. So äußern sie, was ihr
Arbeitsgedächtnis enthält. Die Protokolle werden auf-
genommen und ausgewertet. Dabei erhält man Daten
über menschliches Denken in dem Augenblick, indem es
entsteht. Methoden des LD sind mobil, so dass sie in der
natürlichen Lebensumgebung der Testpersonen deren
kognitive Tätigkeit dokumentieren können.
Da das Denken eine weit verbreitete menschliche Tä-
tigkeit ist, werden Methoden des LD in vielen Umgebun-
gen angewandt. Mit ihnen erforscht man beispielsweise,
wie Schüler Mathematikaufgaben lösen, wie Ingenieure
Softwarefehler beheben, wie Übersetzer vorgehen und
wie Benutzer sich mit Schnittstellen von Computersyste-
men auseinander setzen. Es folgen ein paar Hinweise
zum LD und zu seiner Anwendung.
Nach wie vor ist das zentrale LD-Buch Ericsson & Si-
mon 1993. Nielsen 1994 beschreibt einen Hauptvorteil
von LD: LD mit einer kleinen Gruppe gut gewählter Test-
personen liefert ein realitätsnahes Bild der Problemlage.
Die Aufwände sind also verhältnismäßig gering.
Die beste verfügbare LD-Einführung stammt von So-
meren, Barnard & Sandberg 1994. Sie bringt viel Detail
und enthält auch Übungen. Entwicklungen, die nach 1994
vorgeschlagen wurden, fehlen jedoch. So kommen z. B.
Ontologien für die Modellierung von LD-Protokollen nicht
vor. Frommann 2005 führt deutsche Studierende in die LD-
Methodik ein. Eine kurze englischsprachige Einführung
für Studierende gibt es bei der State University.
1
Ausführ-
lich ist dagegen der Primer von Trickett & Trafton 2009.
Charters 2003 konzentriert sich auf das LD in der
qualitativen Forschung. Ihre LD-Einführung vermittelt
zudem viel Hintergrundwissen.
Erstinformationen über das LD in der Benutzerfor-
schung (usability engineering) findet man bei der Nielsen
Norman Group
2
. Mehr bringen Holzinger 2005, Spaulding
& Weber 2009 und Nielsen, Clemmensen & Yssing 2002.
Oostendorp & Mul 1999 zeichnen mit LD und anderen
Methoden nach, wie Benutzerinnen ein Informationssys-
tem erkunden.
Boren & Ramey 2000 beobachteten, dass in der Pra-
xis der LD die Kommunikation zwischen Testpersonen
und Interviewern von den Vorgaben in der Literatur ab-
wich. Sie stellten fest, dass das die zentralen Testergeb-
nisse nicht beeinflusste, obwohl die Testpersonen teil-
weise während des Versuchs unterschiedliche Wege
einschlugen.
Black & Bear 2010 stellen LD und andere Methoden
für kognitive Interviews bei der Entwicklung von Erhe-
bungsinstrumenten dar. Trenor, Miller & Gipson 2011 be-
werten LD-Methoden für Erhebungsinstrumente.
Clemmensen et al. 2008 arbeiten kulturelle Unter-
schiede heraus, die sich bei Westerners (Europäern und
Amerikanern) und Easterners (Asiaten) im Umgang mit
LD zeigen.
Mercier 2012 erforscht mit LD-Methoden die Lehrpla-
nung von Pädagogen sowohl im Labor als auch in der
normalen Arbeitsumgebung.
Elekes 2000 diskutieren LD im Fremdsprachenunter-
richt. Young 2005 beobachtet Studierende beim Lernen
aus dem Netz. Sie erklärt zudem LD-Methoden recht aus-
führlich. Seng 2007 verwendet LD in der Fremdsprachen-
forschung. Tsai & Chang 2010 schlagen LD vor, um das
Fremdsprachenverständnis älterer Lerner zu erforschen.
Johnstone, Bottsford-Miller & Thompson 2006 verwenden
LD, um Tests für behinderte Schüler und Schüler mit ge-
ringen Englischkenntnissen zu evaluieren.
Bernardini 1999 erklärt LD-Verfahren und konzen-
triert sich dann auf deren Verwendung in der Überset-
zungswissenschaft. Sie berichtet über eine eigene Demo-
Studie und fordert auf, Studien systematischer zu planen.
Ericsson 2006 benutzt LD, um die Fähigkeiten von
Experten herauszuarbeiten.
2 Hauptbeteiligte beim Lauten
Denken: Testpersonen und
Forscher/Interviewer
Eine LD-Studie braucht zwei Typen von Beteiligten: Test-
subjekte, welche die erforschten Prozesse unter LD durch-
führen können, und LD-Forscher, welche die Studie pla-
nen, organisieren und wissenschaftlich auswerten können.
Testpersonen berichten durch LD über den Inhalt
ihres Arbeitsgedächtnisses. Sie werden so zusätzlich be-
ansprucht, während sie ihre eigentliche kognitive Arbeit
erledigen. Da man schneller denken als reden kann, ver-
langsamt das LD den Arbeitsprozess, über den berichtet
wird. Damit erhöhen sich die Anforderungen an das Ge-
dächtnis der Testpersonen.

1http://education.stateuniversity.com/pages/2363/Research-Me-
thods-VERBAL-PROTOCOLS.html
2http://www.nngroup.com/articles/thinking-aloud-the-1-usability-
tool/
312 Informationspraxis B. Endres-Niggemeyer, Thinkie

Protokolle des LD haben Lücken. Gedächtnisinhalte
können verloren gegangen sein, unter anderem weil sie
zu schnell von neuen Inhalten überlagert wurden.
Je stärker ein Prozess automatisiert ist, desto weniger
ist er für eine Person zugänglich. LD konzentriert sich da-
rum auf die Erkundung bewusster intellektueller Aktivi-
täten. So lässt sich das inhaltliche Schreiben eines Brie-
fes mit LD gut erforschen, die Handschrift in ihrer
Motorik jedoch nicht.
LD wird oft auch auf Video aufgenommen. Das Bild-
material zeigt, was die Testperson tut, während sie
denkt. Sie kann beispielsweise auf ein bestimmtes Objekt
schauen, es anfassen oder ungläubig mit den Augen rol-
len. Artefakte werden ebenfalls herangezogen, um LD zu
interpretieren. Beispiele dafür sind Notizen der Testper-
son oder das System, mit dem sich die Testperson be-
fasst.
Nach den Prinzipien der Feldforschung suchen For-
scher ihre Testpersonen in deren normaler Umgebung
auf. Dort kann die technische Infrastruktur sehr unter-
schiedlich sein. Wo die Testpersonen zu Hause sind, sind
ihre Arbeitsbedingungen authentisch. Die Testpersonen
fühlen sich unbefangen oder zumindest weniger befan-
gen. Die Voraussetzungen sind günstig, um durch LD
realitätsgerechte Arbeitsprozesse aufzuzeichnen, weil im
realen Kontext gearbeitet wird.
Forscher/Interviewer sind für das Studiendesign
und für die Durchführung der LD-Studie verantwortlich.
Sie bestimmen die Methoden und das wissenschaftliche
Ziel der Untersuchung. Sie finden und motivieren ge-
eignete Testpersonen, sorgen für die technische Ausrüs-
tung, planen die Datenerfassung und die Transkription
der Verbalprotokolle. Sie integrieren Transkripte mit an-
deren Medien wie Videos oder Realien, und interpretie-
ren/modellieren sie vor einem theoretischen Hintergrund.
Wie die LD-Protokolle ausgewertet werden, richtet
sich nach der Frage, welche die Untersuchung stellt. Es
können sich mehrere Fragerichtungen ergeben. Man
kann etwa die Stolperstellen codieren, die einer System-
benutzerin Schwierigkeiten machen, oder die Zeit, die sie
zur Erledigung einer Aufgabe braucht. Für die Fragen
der Untersuchung ist ein Modell zu entwickeln. Danach
werden die Daten und das LD-Protokoll interpretiert.
Man sieht dann, wie das Modell empirische Beobachtun-
gen erklärt. Oft wird das Modell vor der Untersuchung
festgelegt. Alternativ entsteht es als „Grounded Theory“
3
aus der Interpretation der Daten.
Neben der Methodenkompetenz braucht die Forsche-
rin genug Fachkenntnis im Anwendungsgebiet. Sie muss
mit Testpersonen kommunizieren, die oft Experten ihres
Faches sind, und deren Denkprozesse korrekt interpretie-
ren können.
3 Eigene Erfahrung mit Lautem
Denken
Meine eigenen Erfahrungen mit LD gehen zurück in die
achtziger Jahre. Damals fragte ich mich, welche Denk-
tätigkeiten beim Zusammenfassen vorkommen. Ich be-
gann mit einem Selbsttest. Erstaunlich viele Teil-Denk-
prozesse traten auf. Monate später waren sie immer noch
da. Ich ging mit der Frage ins Feld und bekam LD-Pro-
tokolle von fünf deutschen und amerikanischen Inde-
xing/Abstracting-Experten. Für jeden von ihnen baute
ich zunächst ein individuelles Modell nach Methoden der
Grounded Theory. Dann wurden die individuellen Model-
le integriert. Die Experten hatten individuelle Denktätig-
keiten, aber viele Teilprozesse wurden von mehreren
oder allen Gruppenmitgliedern benutzt. Vielfach benutz-
te Tätigkeiten wurden auf benannte Agenten übertragen
und implementiert (Endres-Niggemeyer 1998). Die Agen-
ten übersiedelten später in die Knochenmarktransplanta-
tion und fassten dort Informationen aus dem Netz zu-
sammen (Endres-Niggemeyer 2008).
Damals ging ich mit einen Laptop, einen winzigen
Drucker und einem Kassettenrecorder ins Feld. Wenn die
Experten ihre LD-Protokolle gesprochen hatten, hatte ich
eine Kassette, das Quelldokument, die Notizen und die
Indexierung bzw. das Abstract, das während des LD ent-
standen war. Darauf beruhte meine Modellierung.
Bei der wissenschaftlichen Aufarbeitung der Daten
war die Transkription der LD-Protokolle sehr arbeits-
intensiv. Sie brachte mir sehr, sehr viele Stunden unter
Kopfhörern ein. LD-Protokolle sind oft nicht leicht zu ver-
stehen und zu übertragen. Aber wenn die automatische
Spracherkennung beim Diktieren hilft, warum soll dann
nicht eine ASR (Automatic Speech Recognition)-Technik
wie Siri wenigstens einen Teil der Transkription erledi-
gen? Bei ersten Tests waren viele Siri-Fehler zu korrigie-
ren, aber trotzdem fand ich die Arbeitssituation deutlich
besser als früher. Im nächsten Denkschritt kam die Thin-
kie-Idee: eine App, die Spracherkennung und Video auf
zwei handlichen mobilen Geräten (iPhone und iPad)
handhabbar macht und den Beteiligten die Arbeit er-
leichtert. Für die wissenschaftliche Aufarbeitung der Pro-
tokolle muss Thinkie zusätzlich gute Editierfunktionen

3Gute Einführung: Corbin J & Strauss A (2008). Basics of Qualitati-
ve Research. Techniques and Procedures for Developing Grounded
Theory. 3e ed. Sage.
B. Endres-Niggemeyer, Thinkie Informationspraxis 313

anbieten. Eine proof-of-concept-App erschien machbar,
eine praxistaugliche Lösung noch nicht. Dafür sind ins-
besondere die Siri-Erkennungsintervalle mit ca. 30 Se-
kunden noch zu kurz. Es lässt sich aber demonstrieren,
wie eine app-basierte Arbeitsumgebung für das LD aus-
sehen kann. Dies tut die Thinkie-App, die in diesem Arti-
kel beschrieben wird.
Die Thinkie-App kombiniert ein iPhone, das vor allem
die Testpersonen bei der LD-Aufnahme unterstützt, mit
einem iPad, das der Forscherin eine Arbeitsumgebung zur
Aufarbeitung (Korrektur, Annotation/Modellierung) des
LD-Protokolls anbietet. Beides wird in den folgenden
Abschnitten beschrieben.
Als Demo-Anwendungsfall verwende ich EasyVoting,
eine eigene iPad-App für Wahlen in Gruppen oder Ver-
einen. Ich exploriere als Benutzerin ihre erste Seite. Die
App ist für den internationalen Gebrauch auf Englisch
beschriftet. Bei der Testbenutzung spreche ich Deutsch.
Englische Wörter aus der App werden eingemischt, so
dass Siri zweisprachigen Input verarbeiten muss.
4 Die Thinkie-Konfiguration
Abbildung 1 zeigt, wie ein iPhone und ein iPad in der
Thinkie-App kooperieren. Das iPhone funktioniert als
Mikrofon, das um eine Siri-Spracherkennung erweitert ist.
Die LD-Szene kann parallel auf einem iPad oder ei-
nem anderen Gerät (z. B. einem iMac) gefilmt werden.
Auf dem iPad wird das Video der LD-Sitzung abgespielt.
Im Texteditor kann man das von Siri gelieferte Transkript
aufarbeiten, d. h. korrigieren und mit Zeitmarken (time
stamps) und Modellierungskonzepten annotieren (vgl.
Tabelle 1).
iPhone und iPad zeigen die iCloud-Kollektion der
App (auf dem iPhone s. Abb. 4 links, auf dem iPad s.
Abb. 7 rechts). Benutzerinnen können dort ihre Textda-
teien (Transkripte/Protokolle) anlegen, abholen, spei-
chern und löschen. Die Dateinamen sind frei wählbar.
Wenn der Film nicht auf dem iPad aufgenommen wurde
(wie bei EasyVoting), gelangt er über die iTunes-Synchro-
nisation auf das iPad. Alle Produkte können auch per
E-Mail verschickt werden. Für Textdaten ist eine E-Mail-
Funktion in die App integriert. Filme werden von der
CameraRoll aus versandt.
5 Die EasyVoting-Demo
Um Thinkie zu demonstrieren, übernehme ich zuerst die
Rolle einer Testperson, welche die Begrüßungsseite von
EasyVoting (Abb. 2) erkundet. Siri transkribiert, was die
Testperson sagt. Die Testperson muss deshalb die Siri-
Restriktionen einhalten.
Danach bin ich als Forscherin aktiv. Ich korrigiere die
Erkennungsfehler von Siri. Außerdem annotiere ich das
Transkript mit Zeitstempeln (time stamps) und mit Kon-
zepten, die es interpretieren und modellieren (s. Tabelle 1).
Während das LD aufgenommen wird, befindet sich
die Testperson in folgendem Umfeld:
–Das iPad liegt vor der Testperson auf dem Tisch und
zeigt die Startseite von EasyVoting (Abb. 2).
Abb. 1: Thinkie-Konfiguration auf iPhone und iPad.
314 Informationspraxis B. Endres-Niggemeyer, Thinkie

Abb. 2: Die Begrüßungsseite von EasyVoting.
B. Endres-Niggemeyer, Thinkie Informationspraxis 315

–Die Testbenutzerin hält das iPhone als Mikrofon in
der Hand.
–Ein iMac zeichnet das Video der LD-Sitzung auf.
Die Forscherin bearbeitet das LD-Protokoll auf dem iPad-
Interface (s. Abb. 5). Dabei spielt sie bei Bedarf Passagen
aus dem Video ab, um den Originalton und weitere Infor-
mationen zu bekommen.
6 Thinkie auf dem iPhone:
Tonaufnahme und Siri
Auf iPhone und iPad werden Benutzerinnen mit einem
Überblick empfangen. Es wird erklärt, wozu die App ge-
dacht ist und wozu iPhone und iPad da sind: Auf dem
iPhone wird das LD-Protokoll mit Siri aufgenommen, auf
Abb. 3: Begrüßung und Anleitung für Testpersonen auf dem iPhone.
Abb. 4: iCloud-Tabelle auf dem iPhone (links), Siri-Seite mit Service-Tasten unten (Mitte) und Siri-Seite mit Tastatur und Siri-Starter.
316 Informationspraxis B. Endres-Niggemeyer, Thinkie

dem iPad wird es ausgearbeitet. Für Testsubjekte gibt es
eine kurze Anleitung zum Vorgehen. Abbildung 3 zeigt
die iPhone-Fassung der Startseite und die Anleitung.
Abbildung 4 zeigt, wie die Arbeitsumgebung der
Testperson aussieht:
–Die iCloud-Kollektion der App wird als Tabelle ge-
zeigt. Man kann neue Dateien anlegen, Dateien aus-
wählen, in die App holen und in die iCloud hoch-
laden. Es funktioniert wie auf dem iPad, sollte aber
Testpersonen nicht über das Notwendigste hinaus
zugemutet werden. Anklicken in der Grunddarstel-
lung (mit blauen Pfeilen rechts) wählt eine Datei aus.
Sie wird in die Arbeitsdatei der App kopiert. Wenn
man jedoch vorher die Up-Taste angeklickt hat, wird
die Arbeitsdatei in die selektierte Cloud-Datei hoch-
geladen. Die New-Taste setzt die Tabelle in den Ein-
fügezustand, die Delete-Taste bereitet das Löschen
einer Datei vor (s. genauere Darstellung unten in
Abb. 8).
–Die Siri-Seite hat ebenfalls Service-Tasten. SiriFirst-
Aid erklärt kurz das Vorgehen, Get lädt die Arbeits-
datei in das Textfenster, Save sichert den Inhalt des
Textfensters in die Arbeitsdatei. eMail hilft beim E-
Mail-Versand der Arbeitsdatei.
–Auf der rechten Seite von Abbildung 4 sieht man die
Siri-Seite mit Tastatur und Siri-Starter. Siri schreibt
ab der Cursorposition. Man kann den Text editieren.
7 Thinkie auf dem iPad: Video und
Editing für die Forscherin
Die Arbeitsumgebung auf dem iPad unterstützt die
wissenschaftliche Aufarbeitung der LD-Protokolle. Die
Begrüßung von Benutzern ist analog zur der iPhone-
Seite aufgebaut, enthält jedoch mehr Einzelinformatio-
nen.
Auf dem iPad-Bildschirm ist mehr Platz als auf dem
iPhone, so dass das Arbeitsinterface Bedienelemente in-
tegrieren kann, die auf dem iPhone nacheinander ange-
ordnet werden müssen. So wird die iCloud Collection auf
dem iPhone auf einer eigene Seite angezeigt, während
sie auf dem iPad eingeblendet werden kann (vgl. Abb. 4
links und Abb. 7 rechts).
Da Benutzerinnen auf dem iPad viel mehr Möglich-
keiten zum Handeln haben, fallen die Anleitungen um-
fangreicher aus. Sie wurden als HowTos zusammenge-
fasst und haben einen eigenen Bereich.
Abbildung 5 zeigt die zentrale Movie Transcript View-
Seite mit ihren Kontrollelementen:
–Auf der oberen Kontrollleiste sitzen die Tasten für
den Umgang mit dem Film. CameraRoll zeigt die Kol-
lektion von Fotos und Filmen, die auf dem iPad ge-
speichert sind. Die Tasten Load Movie,Play Movie
und Stop Movie tun, was ihr Name verspricht. Cus-
tom Play startet den Film ab der vom Benutzer fest-
gelegten Position.
–Darunter wird der Film abgespielt. Ein Schieberegler
(slider) positioniert ihn.
–Unter dem Schieberegler wird die aktuelle Position
des Films angezeigt.
–Darunter liegt das Textfeld zum Editieren des Verbal-
protokolls. Die Größe reicht für ein Teilprotokoll, das
eine Testperson mit Siri bewältigen kann. Das Fens-
ter scrollt nach Bedarf und bleibt auch bei eingeblen-
deter Tastatur immer sichtbar.
–Auf der Kontrollleiste unten finden sich die Tasten,
mit denen sich das Textfenster steuern lässt. Die Tas-
te iCloud Collection zeigt die Tabelle mit den verfüg-
baren Cloud-Dateien. Load Local Copy und Store Lo-
cal Copy bringen die lokale Arbeitsdatei in das
Textfenster bzw. holen den Inhalt des Textfensters in
die Arbeitsdatei. eMail hilft, die Arbeitsdatei per E-
Mail zu versenden.
Unterstützung beim Editieren
Die Siri-Erkennung reduziert die Transkription der Ver-
balprotokolle auf eine Fehlerkorrektur, die jedoch nicht
unterschätzt werden sollte. Eine gute Unterstützung beim
Editieren ist also wichtig.
Es ist günstig, dabei die Ausgangsdaten (Video) und
das Protokoll parallel verfügbar zu haben. Dafür sind
Zeitstempel (time stamps) im Protokoll eine praktische
Lösung.
Zentral ist die Anbindung des empirischen LD-Proto-
kolls an eine allgemeine Theorie oder ein Modell. Anno-
tationen im Text des Protokolls können den Beobach-
tungsdaten Modellkonzepte zuordnen.
Wie praktisch editiert wird, zeigt Abb. 6 am Beispiel
eines Zeitstempels. Mit dem Gleitregler ist der Zeitstem-
pel des Films eingestellt worden. Der Zeitstempel wird in
seinem Fenster markiert und dann kopiert. Man kann ihn
dann im Textfenster einsetzen.
Wie aus dem Siri-Transkript durch Editieren im Text-
fenster ein LD-Protokoll wird, welches ein Vorkommen
eines theoretischen Modells darstellt, kann man in Ta-
belle 1 verfolgen.
Ich verwende eine gängige Codierstrategie. Danach
wird das Protokoll in Textspannen zerlegt, denen eine
B. Endres-Niggemeyer, Thinkie Informationspraxis 317

Abb. 5: Die iPad-Arbeitsumgebung zur Aufarbeitung der LD-Daten.
Abb. 6: Cut, Copy und Paste –die Grundfunktionen für das Editieren.
318 Informationspraxis B. Endres-Niggemeyer, Thinkie

theoretische Interpretation zugeordnet werden kann. Die
Interpretations-Metadaten werden am Ende der Spanne
eingetragen. In Tabelle 1 findet man beispielsweise die
Metakonzepte start, image, inspection usw.
Tabelle 1 zeigt die Stufen der Überarbeitung.
–Zuerst werden Strukturelemente eingeklebt, und
zwar an Stellen, an denen nach dem anfänglichen
Transkript Einschnitte zu vermuten sind. Die Struk-
turelemente enthalten geschweifte Klammern für
Zeitstempel und eckige Klammern für Modellkonzep-
te. Sie stehen jeweils am Ende der Textspanne, die
sie interpretieren. Die Modellkonzepte werden durch-
nummeriert, für den Anfang möglichst mit einem
Schlagwort belegt, das man später revidieren kann,
und in die eckigen Klammern eingesetzt.
–Im nächsten Durchgang trage ich die Zeitstempel in
die geschweiften Klammern ein. Wenn die Klammern
falsch positioniert sind, werden sie an eine richtigere
Stelle gesetzt.
–Zuletzt korrigiere ich die Detailfehler des Siri-Tran-
skripts. Dabei können sich die Textspannen/Interpre-
tationseinheiten nochmals verschieben.
Das Beispiel in Tabelle 1 zeigt auch, dass Thinkie die wis-
senschaftliche Aufarbeitung von LD-Protokollen nur unter-
stützt, soweit sie individuelle Protokolle betreffen und sich
Tabelle 1: Überarbeitung des Transkripts auf dem iPad-Interface: Anfangsstrukturierung, Einsetzen der Zeitstempel, Korrektur der Transkrip-
tionsfehler.
1. Erste Strukturierung
{ } [move1 start ] Geht es jetzt los [start work]{} ich schaue die Titelseite von easy warum tigen [purpose]{ } da gibt’s ein Bild das sind die
Wähler auf dem Weg zur Ohren [inspection] –[item1 image]{ }und dann steht unter was es alles für schöne Leistungen gibt’s bei Isidro
Think [item2 image comment]{ }]alles prima vorbereiten es wird aufgefächert am Ende kriegt man die Ergebnisse auch gleich per Screen-
shot nach hause [item3 –comment{ }soweit [pause item4] { } wundern hat’s die Titelseiten von Isidro Think oben eine doppelte Funktions-
leiste [item5 button list] { } in der obersten Steckern sehen ich [item6 upper buttom list] { } HowTo das wird die Beschreibung sein auf der
linken Seite [item7 button]{ } auf der rechten Seite stehen bellet da werden dann wollte ich Stimmzettel für den praktischen Bilder auf-
stehen [item8 - button]{ } Und weiter [pause item9] { }die unter Funktionsleiste ist dicht belegt [item10 lower button list] { }sei Abkommen
zuerst da wird man wohl den Wahlvorgang organisieren [item11 button]{ }und Handy Catia da werden die Wähler zugelassen wurde auch
nicht [item12 button] { }dann gibt es members die Mitglieder [item13 button] { }members [item14 button]{ }Eskernweg bereits ab ja meis-
tens werden die Kandidaten wollen auch Mitglieder sein [item15 button]{ }dann gibt es alle kennen die Auer Kindergelds [item16 button]
{ }und Lesesaal oh je[item17 end work] { } [move1 end]
2. Einsetzen der Zeitstempel
{15.252} [move1 start ] Geht es jetzt los [start work]{17.013} ich schaue die Titelseite von easy warum tigen [purpose]{24.413} da gibt’s ein
Bild das sind die Wähler auf dem Weg zur Ohren [inspection] –[item1 image]{30.223}und dann steht unter was es alles für schöne
Leistungen gibt’s bei Isidro Think [item2 image comment]{37.807}]alles prima vorbereiten es wird aufgefächert am Ende kriegt man die
Ergebnisse auch gleich per Screenshot nach hause [item3 –comment{51.474}soweit [pause item4] {60.328} wundern hat’s die Titelseiten
von Isidro Think oben eine doppelte Funktionsleiste [item5 button list] {68.732} in der obersten Steckern sehen ich [item6 upper buttom
list] {72.259} HowTo das wird die Beschreibung sein auf der linken Seite [item7 button]{77.521} auf der rechten Seite stehen bellet da
werden dann wollte ich Stimmzettel für den praktischen Bilder aufstehen [item8 –button]{87.573} Und weiter [pause item9] {97.700}die
unter Funktionsleiste ist dicht belegt [item10 lower button list] {103.387}sei Abkommen zuerst da wird man wohl den Wahlvorgang orga-
nisieren [item11 button]{109.904} und Handy Catia da werden die Wähler zugelassen wurde auch nicht [item12 button] {116.557}dann gibt
es members die Mitglieder [item13 button] {119.646} members Eskernweg bereits ab ja meistens werden die Kandidaten wollen auch
Mitglieder sein [item14 button]{128.374}dann gibt es alle kennen die Auer Kindergelds [item15 button]{132.259} und Lesesaal [item16
button] {134.114} oh je[item17 end work] {135.683} [move1 end]
3. Korrektur der Transkriptionsfehler
Toi-toi-toi, dass jetzt etwas funktioniert. Ich mache einen Testlauf mit Siri. Und dann{15.252} [move1 start ] geht es jetzt los [start work]
{17.013} . Ich schaue die Titelseite von EasyVoting an. [purpose]{24.413} Da gibt’s ein Bild, das sind die Wähler auf dem Weg zur Urne.
[inspection] –[item1 image]{30.223} Und dann steht drunter was es alles für schöne Leistungen gibt bei EasyVoting. [item2 image com-
ment]{37.807}] Alles prima vorbereitet. Es wird aufgefächert, am Ende kriegt man die Ergebnisse auch gleich per Screenshot nach Hause.
[item3 –comment{51.474} Soweit. [pause item4] {60.328} Dann hat die Titelseite von EasyVoting oben eine doppelte Funktionsleiste.
[item5 button list] {68.732} In der obersten steht ganz wenig. [item6 upper button list] {72.259} HowTo, das wird die Beschreibung sein,
auf der linken Seite. [item7 button]{77.521} Auf der rechten Seite steht ballot. Da werden dann wohl die Stimmzettel für den praktischen
Bedarf stehen. [item8 –button]{87.573} Und weiter [pause item9] {97.700} Die untere Funktionsleiste ist dicht belegt. [item10 lower
button list] {103.387} SetUp kommt zuerst. Da wird man wohl den Wahlvorgang organisieren. [item11 button]{109.904} Authentication, da
werden die Wähler zugelassen oder auch nicht. [item12 button] {116.557} Dann gibt es members die Mitglieder, [item13 button] {119.646}
Members as candidates, ach ja, meistens werden die Kandidaten wohl auch Mitglieder sein. [item14 button]{128.374} Dann gibt es alle
all candidates [item15 button]{132.259} und results. [item16 button] {134.114} okay. [item17 end work] {135.683} [move1 end]
B. Endres-Niggemeyer, Thinkie Informationspraxis 319

nahe an den empirischen Daten bewegen. Für andere Leis-
tungen, z. B. die Integration mehrerer individueller Mo-
delle, wird man eine andere Arbeitsumgebung aufsuchen.
Medienmanagement
Die technische Abwicklung einer LD-Studie liegt größten-
teils in den Händen der Forscherin. Bis auf die Siri-Auf-
nahme können diese Arbeiten auf dem iPad erledigt wer-
den. Ein Hauptproblem ist es, Transkripte und Filme
bereitzustellen:
–Der Film zeigt die LD-Sitzung an. Er wird nach der
Aufnahme nur noch abgespielt und nicht mehr ver-
ändert.
–Das Transkript geht vom Siri-Anfangszustand bis zur
fertigen Modellierung durch mehrere Bearbeitungs-
stufen, die eventuell dokumentiert werden müssen.
Unter anderem aus diesem Grund führt die App eine
Arbeitsdatei für die Transkript-Texte. Ketten von Be-
arbeitungszuständen lassen sich in der Cloud-Kollek-
tion zusammenhalten.
Mit der Taste CameraRoll wird der Film von der Camera-
Roll des iPad geholt (s. Abb. 7 links). Auf die CameraRoll
kommt das Video entweder, indem es mit dem iPad auf-
genommen wird oder indem es mit iTunes auf das iPad
synchronisiert wird. Von der CameraRoll aus können Fil-
me von bis zu 5 MB gemailt werden. Umfangreichere Fil-
me schickt man von iTunes auf dem Heimcomputer ab.
Die Taste CameraRoll zeigt die verfügbaren Filme
und Fotos an. Daraus wählt man seinen Film. Er wird
komprimiert. Dann wird er mit der Taste Load Movie in
sein Fenster geladen.
Die Taste iCloud Collection holt die Tabelle mit den
iCloud-Textdateien der App. Normalerweise sind es Pro-
tokolle in unterschiedlichen Bearbeitungszuständen. Sie
werden ebenso dargestellt wie auf dem iPhone (vgl.
Abb. 7 rechts und Abb. 4 links).
Durch einen Klick auf den Dateinamen kann man ei-
ne Datei in die Arbeitsdatei der App kopieren. Wie auf
dem iPhone kann man mit den Service-Tasten Dateien
aus der iCloud abholen, neue Dateien erzeugen und Da-
teien löschen. Die Tasten New bzw. Delete setzen die ent-
sprechenden Zustände der Tabelle. Ein grünes Pluszei-
Abb. 7: Medien-Management. Links: Der Film von der CameraRoll wird komprimiert. Rechts: Die iCloud-Kollektion, darauf unten die Tasten
zur Dateibearbeitung.
320 Informationspraxis B. Endres-Niggemeyer, Thinkie

chen holt eine zusätzliche Datei in die Tabelle, deren Na-
men man im Textfeld oben festgelegt hat. Ein rotes Mi-
nus-Zeichen tilgt die Datei, deren Namen man anklickt.
Abb. 8 illustriert den Umgang mit der iCloud-Tabelle.
8 Ergebnis
Die Thinkie-App auf iPhone und iPad hilft Testpersonen
und einschlägigen Wissenschaftlerinnen beim Lauten
Denken. Aus dieser Perspektive resultieren für LD-Stu-
dien überwiegend Vorteile:
–Ganz pragmatisch gesehen, kann die App das wis-
senschaftliche Gepäck reduzieren, mit dem eine LD-
Forscherin ins Feld geht: ein iPhone und ein iPad,
das ist alles.
–Die Testperson bekommt als Mikrofon-Ersatz ein
iPhone in die Hand. In vielen Fällen ist es ein ver-
trautes Gerät. Der Siri-Einsatz ist oft schon bekannt.
Die Siri-Schwächen bei der LD-Erkennung wurden
bereits geschildert.
–Die Siri-Spracherkennung übernimmt einen Teil der
Transkription. Damit sinkt die Arbeitsleistung der
Forscherin. Sie kann sich stärker auf die wissen-
schaftliche Modellierung konzentrieren.
–Der Film und das Transkript sind gleichzeitig zur
Hand. Damit verbessern sich die Bedingungen bei
der Aufarbeitung eines LD-Protokolls.
–Die Arbeitsergebnisse sind mobil verfügbar. Sie kön-
nen anderswo weiterverwendet werden.
Das Laute Denken ist eine wichtige Methode zur Erkun-
dung kognitiver Arbeit –nicht nur, wenn Benutzerinnen
sich mit Systemschnittstellen auseinandersetzen. Das ist
Grund genug, das Laute Denken auf neue und günstigere
Plattformen zu übertragen. Wenn zudem Studien mit LD
durch neue Technik weniger arbeitsaufwendig werden,
können sie häufiger eingesetzt werden, unter anderem
um Nutzererfahrungen (user experience) dingfest zu ma-
chen. Beiträge dazu sind offensichtlich nützlich.
Thinkie ist eine Machbarkeitsstudie. Für den prakti-
schen Gebrauch ist die App noch nicht gerüstet. Die Pro-
bleme sind leicht zu erkennen. Es ist abzusehen, dass sie
auch zu beheben sind. Dann können Untersuchungen
des Lauten Denkens und vergleichbare Studien auf mobi-
len Plattformen unter verbesserten Voraussetzungen
durchgeführt werden.
Literatur
Bargas-Avila, J. A., Hornbæk, K. (2011): Old Wine in New Bottles or
Novel Challenges? A Critical Analysis of Empirical Studies of
User Experience. Proc CHI 2011, 2689–2698
Bernardini, S. (1999): Using Think-Aloud Protocols to Investigate
the Translation Process: Methodological Aspects. http://
citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.133.7481
Blair, J. & Brick, P. D. (2010): Methods for the Analysis of Cognitive
Interviews. Proc Joint Statistical Meetings 2010, Sect Survey Re-
search Methods, 3739–3748
Boren, M. T. & Ramey, J. (2000): Thinking Aloud: Reconciling Theo-
ry and Practice. IEEE Trans Prof Comm 43(3) 261–278
Charters, E. (2003): The Use of Think-aloud Methods in Qualitative
Research An Introduction to Think-Aloud Methods. Brock Edu-
cation 12(2) 68–82
Clemmensen, T., Hertzum, M., Hornbæk, K., Shi, Q. & Yammiyavar,
P. (2008): Cultural Cognition in the Thinking-Aloud Method for
Usability Evaluation. ICIS 2008 Proceedings 1–15. http://
aisel.aisnet.org/icis2008/189/
Elekes, K. (2000): “Please, keep talking”: The ‘Think-Aloud’Method
in Second Language Reading Research. http://ludens.elte.hu/
~deal/pages/novelty/htm2/volume73.htm
Endres-Niggemeyer, B. (1998): Summarizing Information. Berlin:
Springer.
Endres-Niggemeyer, B. (2008): Agents Doing Ontology-based Sum-
marization in Bone Marrow Transplantation. On https://sites.
google.com/site/brigitteen/home/summit-bmt
Abb. 8: iCloud-Kollektion im Einfügezustand (links), im Grundzustand mit eingefügter neuer Datei Cressida (Mitte); im Löschzustand (rechts)
wird die Datei Medea gelöscht.
B. Endres-Niggemeyer, Thinkie Informationspraxis 321

Ericsson, D. A. & Simon, H. A. (1993): Protocol Analysis: Verbal Re-
port as Data. Rev. ed. Cambridge, MA: MIT Press.
Ericsson, K. A. (2006): Protocol Analysis and Expert Thought: Con-
current Verbalizations of Thinking during Experts’Performance
on Representative Tasks. In Ericsson K. A., Charness N., Felto-
vich P. & Hoffman, R. R. (eds.). Cambridge Handbook of Exper-
tise and Expert Performance, 223–242. Cambridge, UK. Cam-
bridge University Press. http://fab.provost.free.fr/PDF/
Ericsson_protocol-0881495296/Ericsson_protocol.pdf
Frommann, U. (2005): Die Methode „Lautes Denken“. http://
www.e-teaching.org/didaktik/qualitaet/usability/
Lautes%20Denken_e-teaching_org.pdf
Holzinger, A. (2005): Usability Engineering Methods for Software
Developers. Comm ACM 48(1) 71–74
Johnstone, C. J., Bottsford-Miller, N. A. & Thompson, S. J. (2006):
Using the Think Aloud Method (Cognitive Labs) to Evaluate
Test Design for Students with Disabilities and English Lan-
guage Learners (Technical Report 44). Minneapolis, MN: Uni-
versity of Minnesota, National Center on Educational Out-
comes. http://education.umn.edu/NCEO/OnlinePubs/Tech44/
Krahmer, E. & Ummelen, N. (2004): Thinking About Thinking
Aloud: A Comparison of Two Verbal Protocols for Usability
Testing. IEEE Trans Prof Comm 47(2) 105–117
Mercier, J. (2012): From Laboratory to Authentic Contexts:Two Stu-
dies of Pedagogical Reasoning Across Four Levels of Expertise.
World Journal of Education (www.sciedu.ca/wje) Vol. 2(4) 2–19
Nielsen, J. (1994): Estimating the Number of Subjects Needed for a
Thinking Aloud Test. Int J Human-Computer Studies 41(3) 385–
397
Nielsen, J., Clemmensen, T. & Yssing, C. (2002): Getting Access to
What Goes on in People’s Heads? –Reflections on the Think-
Aloud Technique. Proc NordiCHI 2002, 101–110
Oostendorp, H. van & Mul, S. de (1999): Learning by Exploration:
Thinking Aloud while Exploring an Information System. In-
structional Science 27, 269–284.
Seng, G. H. (2007): The Effects of Think-Aloud in a Collaborative En-
vironment to Improve Comprehension of L2 Texts. The Reading
Matrix 7(2) 29–45
Someren, M. V. van, Barnard, Y. F. & Sandberg, J. A. C. (1994): The
Thinking Aloud Method. A Practical Guide to Modeling Cogni-
tive Processes. Academic Press, London. ISBN 0-12-714270-3
Spaulding, A. & Weber, J. S. (2009): Usability Engineering Methods
for Interactive Intelligent Systems. AAAI WINTER 2009, 41–47
Trenor, J. M., Miller, M. K. & Gipson, K. G. (2011): Utilisation of a
Think-Aloud Protocol to Cognitively Validate a Survey Instru-
ment Identifying Social Capital Resources of Engineering Un-
dergraduates. American Ass Engineering Education Conf 2011.
Trickett, S. B. & Trafton, J. G. (2009): A Primer on Verbal Protocol
Analysis. In: Schmorrow, D., Cohn, J. & Nicholson, D. (eds.),
The PSI Handbook of Virtual Environments for Training and
Education, Vol 1, pp. 332–346. Westport, CT: Praeger Security
International. http://ammonwiemers.com/IdetPortfolio/arti-
cles/Assessment/A%20Primer%20on%20verbal%20protocol%
20analysis.pdf
Tsai, C. C. & Chang, I. (2010): Using the Think-Aloud Protocol to
Evaluate Reading Comprehension for Elderly English Language
Learners. J Nan Kai 7(2) 29–36
Vermeeren, A. P. O. S., Law E. L.-C., Roto, V., Obrist, M., Hoonhout,
J. & Väänänen-Vainio-Mattila, K. (2010): User Experience Eva-
luation Methods: Current State and Development Needs. Nordi-
CHI 2010, October 16–20, 2010, pp. 521–530.
Young, K. A. (2005): The Value of ‘Think-Aloud’Data in Under-
standing Learning. Journal of Educational Enquiry 6(1) 19–33
Prof. Dr. Brigitte Endres-Niggemeyer
brigitteen@googlemail.com
https://sites.google.com/site/brigitteen/
Brigitte Endres-Niggemeyer war von 1982 bis 2010 Professorin für
Sprach- und Wissensverarbeitung an der Hochschule Hannover. Da-
nach Entwicklung von IOS-Apps mit Schwerpunkt in der gesproche-
nen Sprache. Projekte: AUTOCAT zur wissensbasierten Katalogisie-
rung (1984–1987), SimSum –Implementierung empirisch
ermittelter Zusammenfassungsagenten (1996–1998), SummIT-BMT
–ontologiebasierte Zusammenfassung in der Knochenmarktrans-
plantation (2000–2006). Bücher: Summarizing Information (Springer
1998), Semantic Mashups (Springer 2013). Apps u. a.: YESspeech,
EasyVoting, Thinkie
322 Informationspraxis B. Endres-Niggemeyer, Thinkie