ArticlePDF Available

Le misure dell’usabilità: Studio sulle caratteristiche psicometriche del QUIS e del SUMI nella versione italiana

Authors:

Abstract

Our study analyse the validity and the reliability of two well-known questionnaires for the usability assessment, the SUMI and the QUIS, in their Italian version. The sample is composed of 250 university students of psychology (University of Rome “La Sapienza”, Faculty of Psychology 1), that used two questionnaires to assess the usability of the faculty website. The principal components analysis of the two questionnaires did not show the attended factors divisions. The reliability and the convergent validity analysis show some psychometric limits. The Pearson’s coefficient analysis show a low correlation between these two tools’ data, indicating that the SUMI and the QUIS assess different aspects of usability. These results, showing the limits of the questionnaires, underline the increasing necessity to use integrate usability evaluation methodologies in order to catch all multi-dimensional aspects of the human computer interaction. RIASSUNTO Nel presente lavoro è stata indagata l’operatività di due tra gli strumenti più diffusi per la misurazione dell’usabilità di interfacce, il SUMI e il QUIS, nella loro versione italiana. Un campione di 250 studenti universitari ha partecipato allo studio valutando, attraverso i due strumenti indagati, il sito web della Facoltà di Psicologia 1 dell’Università di Roma “La Sapienza”. Le analisi delle componenti principali condotte sui due strumenti non hanno restituito i raggruppamenti in fattori come atteso per ciascuno degli strumenti. Allo stesso modo si sono evidenziati limiti psicometrici riguardo l’attendibilità e la validità convergente dei due strumenti. Infine, la bassa correlazione fra i dati di valutazione, forniti da tali strumenti, sembra indicare che il QUIS e il SUMI misurino aspetti diversi dell’usabilità. Tali risultati, delineando i limiti di questi questionari, sottolineano la necessità crescente di utilizzare metodologie di valutazione dell’usabilità che impieghino un insieme di tecniche integrate fra loro in grado di cogliere la complessità multidimensionale dell’interazione utente/tecnologia.
Volume 3, 2009
Numero 2 , giugno
ISSN onpaper: 1971-9558
ISSN online: 1971-9450
Journal of Psychology (Italy) Editor: Felice Perussia
STUDI E RICERCHE
L’effetto combin ato della relazione con la madre e con il
p
adre sul successo sociale dei bambini a scuola
Grazia ATTILI, Patrizia VERMIGLI, Antonio ROAZZI
Lateralizzazione corticale nella comprensione di pattern
DELLA VEDOVA
Subtle, blatant prejudice and attachment: A study in
adolescent age
Lorenza DI PENTIMA, Alessandro TONI
Le misure dell’usabilità: Studio sulle caratteristiche
p
sicometriche del QUIS e del SUMI nella versione italiana
Stefano FEDERICI, Simone BORSCI, Fabio MELONI
La percezione della malattia nei pazienti affetti da
talassemia
A
ldo FILOSA, Susanna TOLOMEO, Giuseppina ALOJ
Psicopatologia della paura di essere deriso: Un’indagine
sulla gelotofob ia in Italia
Organ izzazioni del potere o potere delle organizzazioni? Un
contributo di ricerca per la misurazion e del sen timento del
potere mediante il Leadership Opinion Questionnaire di
Fleishman
Fabrizio SCRIMA, Ivan FORMICA, Franco DI MARIA
Definizione e misurazione del costrutto di computer-
anxiety: Una rassegna di studi
Barbara CACI, Maurizio CARDACI
© PSICOTECNICA edizioni Milano
Giornale di
Psicologia
Giornale di Psicologia
2009, Volume 3, Numero 2 (Giugno)
Editoriale .................................................................................................................................................... 111
L’effetto combinato della relazione con la madre e con il padre sul successo sociale dei bambini a scuola ......... 113
Grazia ATTILI, Patrizia VERMIGLI, Antonio ROAZZI
Lateralizzazione corticale nella comprensione di pattern mimici emotivi: Un confronto tra modulazione della
banda EEG alfa e i sistemi comportamentali BIS/BAS ................................................................................... 125
Michela BALCONI, Guido MAZZA
Il Supporto Sociale in Gravidanza: Validazione italiana e valutazione dello strumento .................................... 141
Francesca DABRASSI, Antonio IMBASCIATI, Anna Maria DELLA VEDOVA
Subtle, blatant prejudice and attachment: A study in adolescent age .............................................................. 153
Lorenza DI PENTIMA, Alessandro TONI
Le misure dell’usabilità: Studio sulle caratteristiche psicometriche del QUIS e del SUMI nella versione
italiana ........................................................................................................................................................ 164
Stefano FEDERICI, Simone BORSCI, Fabio MELONI
La percezione della malattia nei pazienti affetti da talassemia ......................................................................... 175
Aldo FILOSA, Susanna TOLOMEO, Giuseppina ALOJ
Psicopatologia della paura di essere deriso: Un’indagine sulla gelotofobia in Italia .......................................... 183
Giovannantonio FORABOSCO, Margherita DORE, Willibald RUCH, René T. PROYER
L’impatto psicologico con la procreazione medicalmente assistita: Un confronto fra due gruppi di coppie in
momenti diversi del trattamento ................................................................................................................... 191
Franca MARTINELLI, Giovanni Battista LA SALA
Organizzazioni del potere o potere delle organizzazioni? Un contributo di ricerca per la misurazione del
sentimento del potere mediante il Leadership Opinion Questionnaire di Fleishman ....................................... 205
Fabrizio SCRIMA, Ivan FORMICA, Franco DI MARIA
Definizione e misurazione del costrutto di computer-anxiety: Una rassegna di studi ....................................... 215
Barbara CACI, Maurizio CARDACI
PSICOTECNICA
edizioni
109
© PSICOTECNICA --
Ringraziamo sentitamente, per la gentile quanto preziosa disponibilità,
il COMITATO dei CORRISPONDENTI SCIENTIFICI del Giornale di Psicologia
Simonetta ADAMO
Università Bicocca di Milano
Guido AMORETTI
Università di Genova
Tiziano AGOSTINI
Università di Trieste
Luigi ANOLLI
Università Bicocca di Milano
Alessandro ANTONIETTI
Università Cattolica di Milano
Ritagrazia ARDONE
Università La Sapienza di Roma
Grazia ATTILI
Università La Sapienza di Roma
Sebastiano BAGNARA
Università di Siena
Bruno BALDARO
Università di Bologna
Pier Luigi BALDI
Università Cattolica di Milano
Bruno BARA
Università di Torino
Gabriella BARTOLI
Università Roma Tre di Roma
Guglielmo BELLELLI
Università di Bari
Giorgio BELLOTTI
Università dell'Insubria Como
Varese
Massimo BELLOTTO
Università di Verona
Eleonora BILOTTA
Università della Calabria
Marino BONAIUTO
Università La Sapienza di Roma
Nicolao BONINI
Università di Trento
Franco BORGOGNO
Università di Torino
Claudio BOSIO
Università Cattolica di Milano
Maria Antonella
BRANDIMONTE
Università Suor Orsola Benincasa
di Napoli
Giovanni BRIANTE
Università di Torino
Luisa BRUNORI
Università di Bologna
Piera BRUSTIA
Università di Torino
Cristina CACCIARI
Università di Modena e Reggio
Gian Vittorio CAPRARA
Università La Sapienza di Roma
Maurizio CARDACI
Università di Palermo
Clara CASCO
Università di Padova
Vincenzo CARETTI
Università di Palermo
Cristiano CASTELFRANCHI
Università di Siena
Vittorio CIGOLI
Università Cattolica di Milano
Francesco Paolo COLUCCI
Università Bicocca di Milano
Roberto CUBELLI
Università di Trento
Nino DAZZI
Università La Sapienza di Roma
Rossana DE BENI
Università di Padova
Alessandra DE CORO
Università La Sapienza di Roma
Vilfredo DE PASCALIS
Università La Sapienza di Roma
Annamaria DE ROSA
Università La Sapienza di Roma
Carlamaria DEL MIGLIO
Università La Sapienza di Roma
Antonella DELLE FAVE
Università Statale di Milano
Marco DEPOLO
Università di Bologna
Franco DI MARIA
Università di Palermo
Santo DI NUOVO
Università di Catania
Angela Maria DI VITA
Università di Palermo
Giovanni Andrea FAVA
Università di Bologna
Graziella FAVA VIZIELLO
Università di Padova
Ino FLORES D'ARCAIS
Università di Padova
Teresa FOGLIANI
Università di Catania
Mario FORZI
Università di Trieste
Laura FRUGGERI
Università di Parma
Mario FULCHERI
Università di Chieti e Pescara
Dario GALATI
Università di Torino
Giuliano GEMINIANI
Università di Torino
Anna Maria GIANNINI
Università La Sapienza di Roma
Dino GIOVANNINI
Università di Modena e Reggio
Erminio GIUS
Università di Padova
Fiorella GIUSBERTI
Università di Bologna
Antonio GODINO
Università del Salento
Massimo GRASSO
Università La Sapienza di Roma
Alberto GRECO
Università di Genova
Guglielmo GULOTTA
Università di Torino
Antonio IMBASCIATI
Università di Brescia
Paolo INGHILLERI
Università Statale di Milano
Giulio LANCIONI
Università di Bari
Margherita LANG
Università Bicocca di Milano
Alessandro LAUDANNA
Università di Salerno
Gioacchino LAVANCO
Università di Palermo
Orazio LICCIARDELLO
Università di Catania
Vittorio LINGIARDI
Università La Sapienza di Roma
Giovanni Pietro LOMBARDO
Università La Sapienza di Roma
Girolamo LO VERSO
Università di Palermo
Cesare MAFFEI
Università San Raffaele di Milano
Marisa MALAGOLI
TOGLIATTI
Università La Sapienza di Roma
Anna Maria MANGANELLI
Università di Padova
Franco MARINI
Università di Cagliari
Giuseppe MANTOVANI
Università di Padova
Gianni MAROCCI
Università di Firenze
Carlo Alberto MARZI
Università di Verona
Francesco Saverio MARUCCI
Università La Sapienza di Roma
Olimpia MATARAZZO
Seconda Università di Napoli
Jacques MEHLER
Sissa Isad di Trieste
Mauro MELEDDU
Università di Cagliari
Orazio MIGLINO
Università Federico II di Napoli
Giuseppe MININNI
Università di Bari
Marina MIZZAU
Università di Bologna
Paolo MODERATO
Università IULM di Milano
Egidio MOJA
Università Statale di Milano
Enrico MOLINARI
Università Cattolica di Milano
Gianni MONTESARCHIO
Università La Sapienza di Roma
Roberto NICOLETTI
Università di Bologna
Giovanna NIGRO
Seconda Università di Napoli
Adele NUNZIANTE CESARO
Università Federico II di Napoli
Marta OLIVETTI
BELARDINELLI
Università La Sapienza di Roma
Fiorangela ONEROSO di LISA
Università di Salerno
Francesca ORTU
Università La Sapienza di Roma
Patrizia PATRIZI
Università di Sassari
Adolfo PAZZAGLI
Università di Firenze
Eliano PESSA
Università di Pavia
Claudia PICCARDO
Università di Torino
Isabella POGGI
Università Roma Tre di Roma
Barbara POJAGHI
Università di Macerata
Marco POLI
Università Statale di Milano
Maria Luisa POMBENI
Università di Bologna
Gabriele PROFITA
Università di Palermo
Gian Piero QUAGLINO
Università di Torino
Marcella RAVENNA
Università di Ferrara
Alessandra RE
Università di Torino
Mario REDA
Università di Siena
Camillo REGALIA
Università Cattolica di Milano
Paolo RENZI
Università La Sapienza di Roma
Dario ROMANO
Università Bicocca di Milano
Serena ROSSI
Università di Urbino
Francesco ROVETTO
Università di Parma
Sandro RUBICHI
Università di Modena e Reggio
Vittorio RUBINI
Università di Padova
Rino RUMIATI
Università di Padova
Sergio SALVATORE
Università del Salento
Alessandro SALVINI
Università di Padova
Piero SALZARULO
Università di Firenze
Marco SAMBIN
Università di Padova
Lucio SARNO
Università San Raffaele di Milano
Ugo SAVARDI
Università di Verona
Eugenia SCABINI
Università Cattolica di Milano
Carmencita SERINO
Università di Bari
Maria SINATRA
Università di Bari
Giovanni SIRI
Università San Raffaele di Milano
Saulo SIRIGATTI
Università di Firenze
Giovanni SPRINI
Università di Palermo
Cristina STEFANILE
Università di Firenze
Renata TAMBELLI
Università La Sapienza di Roma
Angelo TARTABINI
Università di Parma
Rosanna TRENTIN
Università di Padova
Valeria UGAZIO
Università di Bergamo
Paolo VALERIO
Università Federico II di Napoli
Tomaso VECCHI
Università di Pavia
Serena VEGGETTI
Università La Sapienza di Roma
Fabio VEGLIA
Università di Torino
Giovanni Bruno VICARIO
Università di Udine
Marco VILLAMIRA
Università Iulm di Milano
Cristiano VIOLANI
Università La Sapienza di Roma
Chiara VOLPATO
Università Bicocca di Milano
Vanda ZAMMUNER
Università di Padova
Bruna ZANI
Università di Bologna
Pierluigi ZOCCOLOTTI
Università La Sapienza di Roma
Cristina ZUCCHERMAGLIO
Università La Sapienza di Roma
Andrzej ZUCZKOWSKI
Università di Macer
111
© PSICOTECNICA --
Editoriale
Mi ero chiesto se scrivere o meno un editoriale, considerando che non è affatto obbligatorio presentarne per
forza sempre uno. E infatti, probabilmente: in futuro non ci sarà necessariamente un editoriale in ogni numero.
Tuttavia: ritengo che, a questo punto, sia utile presentare un piccolo bilancio di questa impresa, fornendo un
paio di dati sullo stato dell'arte, anche come attestazione e ringraziamento nei confronti degli Autori così come
dei Lettori del GdP.
Abbiamo infatti raggiunto alcuni traguardi che meritano di essere sottolineati.
Il Giornale di Psicologia si è ulteriormente confermato come pubblicazione internazionale (posto che questa
espressione significhi qualcosa) visto che, sin dall'inizio, viene indicizzato dalla American Psychological Association
nel sistema PsycINFO.
I gentili Autori che hanno firmato un articolo sul GdP sono, a tutt'oggi, ormai 85 (non considerando i 7 per-
sonaggi che compaiono nella Sezione Attualità).
Al momento di andare in stampa, su internet sono state aperte oltre 85.000 mila pagine del GiornaleDiPsico-
logia.it (cui andrebbero aggiunte le aperture di tutti i testi in .pdf, dei quali non siamo in grado di valutare la
quantità di lettori).
Non sappiamo invece esattamente quante copie in .pdf del Giornale di Psicologia siano state scaricate e circoli-
no attualmente nel mondo (per conto proprio), poiché è tecnicamente impossibile saperlo; e comunque non
disponiamo nemmeno di un apposito contatore delle copie scaricate. Ma, secondo la valutazione che ci è stata
espressa da colleghi che sono professionisti esperti di transazioni sul web, è altamente probabile che abbiano cir-
colazione via internet almeno alcune migliaia di copie del GdP, una parte delle quali re-diffuse da invii person-to-
person e da siti mirror (ci sono infatti alcune biblioteche online, specie universitarie, che indicizzano e rilanciano
versioni integrali del Giornale di Psicologia).
Tutto questo ci conforta. Sono infatti risultati di prestigio.
Tali risultati sono stati possibili solo grazie alla collaborazione di molti.
Quindi: ancora grazie a tutti, e continuiamo così.
FP
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
164
© PSICOTECNICA --
Le misure dell’usabilità: Studio sulle caratteristiche
psicometriche del QUIS e del SUMI nella versione
italiana
Stefano FEDERICI1,2, Simone BORSCI2, Fabio MELONI2
1
Dipartimento di Scienze Umane e della Formazione, Università di Perugia
2
ECONA Centro interuniversitario di ricerca Elaborazione Cognitiva in sistemi Naturali e Artificiali, Università La Sapienza, Roma
ABSTRACT – Usability measures: Study on the psychometric characteristics of Quis and Sumi in the Italian version -
Our study analyses the validity and the reliability of two well-known questionnaires for the usability assessment, the
SUMI and the QUIS, in their Italian version. The sample is composed of 250 university students of psychology
(University of Rome "La Sapienza", Faculty of Psychology 1), that used two questionnaires to assess the usability of
the faculty website. The principal components analysis of the two questionnaires did not show the attended factors
divisions. The reliability and the convergent validity analysis show some psychometric limits. The Pearson's coeffi-
cient analysis show a low correlation between these two tools' data, indicating that the SUMI and the QUIS assess
different aspects of usability. These results, showing the limits of the questionnaires, underline the increasing neces-
sity to use integrate usability evaluation methodologies in order to catch all multi-dimensional aspects of the human
computer interaction. - KEYWORDS: Human computer interaction, Psychotechnology, Psychometric tools, Ques-
tionnaire, QUIS , SUMI, Usability.
RIASSUNTO – Nel presente lavoro è stata indagata l’operatività di due tra gli strumenti più diffusi per la misurazio-
ne dell’usabilità di interfacce, il SUMI e il QUIS, nella loro versione italiana. Un campione di 250 studenti
universitari ha partecipato allo studio valutando, attraverso i due strumenti indagati, il sito web della Facoltà di Psico-
logia 1 dell’Università di Roma “La Sapienza”. Le analisi delle componenti principali condotte sui due strumenti non
hanno restituito i raggruppamenti in fattori come atteso per ciascuno degli strumenti. Allo stesso modo si sono evi-
denziati limiti psicometrici riguardo l’attendibilità e la validità convergente dei due strumenti. Infine, la bassa
correlazione fra i dati di valutazione, forniti da tali strumenti, sembra indicare che il QUIS e il SUMI misurino aspet-
ti diversi dell’usabilità. Tali risultati, delineando i limiti di questi questionari, sottolineano la necessità crescente di
utilizzare metodologie di valutazione dell’usabilità che impieghino un insieme di tecniche integrate fra loro in grado
di cogliere la complessità multidimensionale dell’interazione utente/tecnologia. - PAROLE CHIAVE: Interazione u-
tente tecnologia, Psicotecnologia, Usabilità, Questionari, QUIS, Strumenti psicometrici, SUMI, Usabilità.
Introduzione
Le misurazioni soggettive sono considerate uno
strumento essenziale della valutazione, in quanto
raccolgono informazioni e problematiche
dell’esperienza interattiva vissuta dall’utente. Il tema
della valutazione soggettiva è stato ampiamente di-
battuto in letteratura, analizzando a fondo
molteplici aspetti che intervengono sulla natura stes-
sa della valutazione. Uno dei temi principali del
dibattito è la dicotomia fra misure oggettive, intese
come misurazione quantitativa della performance, e
quelle soggettive, intese come esperienza di coscien-
za che risulta essere sempre più marcata nel campo
della valutazione dell’usabilità. Secondo Annett
(2002a) tale dicotomia è considerata spesso in ter-
mini troppo assoluti, poiché le misurazioni
soggettive possono variare in base al “grado di signi-
ficato condiviso” (degree of shared meaning), inteso
come l’insieme degli strumenti e delle condizioni di
analisi che gli osservatori condividono indipenden-
temente l’uno dall’altro. Quando tale grado di
condivisione o intersoggettività è massimo, la valu-
tazione rivela un certo grado di oggettività di analisi,
per cui due soggetti che guardano allo stesso stru-
mento nelle stesse circostanze saranno normalmente
concordi nella lettura, utilizzando i dati come ogget-
tivi (Annett, 2002a p. 968). Tuttavia, tale
convergenza è un’eccezione e non la norma nelle a-
nalisi soggettive. In questo senso la dicotomia fra
oggettivo e soggettivo non si gioca tra due alternati-
ve reciprocamente escludentisi; oggettivo/soggettivo
è piuttosto un continuum e la totale assenza di og-
gettività come di soggettività è un caso limite di
rilevanza solo teorica. Per questo, come sostengono
Federici, Micangeli, Ruspantini, Borgianni, Pasqua-
lotto e Olivetti Belardinelli, (2005), se oggettivo e
soggettivo si riferiscono rispettivamente
all’accessibilità ed all’usabilità di un’interazione si-
stemica utente/tecnologia allora non sono due
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
165
165
diverse entità in interazione, ma momenti in un
processo pluriforme d’osservazione empirica.
Resta pur vero che la soggettività pervade ogni
campo della valutazione, in quanto anche le misura-
zioni considerate oggettive sono influenzate dalla
soggettività del valutatore (Annett, 2002a; Baber,
2002; Drury, 2002; Hancock, Weaver e Parasura-
man, 2002; Kirakwski, 2002; McKenna, 2002;
Stanton e Stammers, 2002), in questo senso la mi-
surazione deve essere intesa come una classe
oggettiva di dati utile per conoscere il comporta-
mento di chi compie la valutazione (Annett, 2002b;
Michell, 2002).
La valutazione soggettiva viene impiegata per in-
dividuare relazioni che non possono essere analizzate
senza l’ausilio dell’utente come: il carico di lavoro, la
fatica, lo stress, la motivazione, la soddisfazione, le
preferenze, la prestazione, l’usabilità e il comfort
(Salvendy, 2002). Gli strumenti psicometrici, in
questo senso, intendono offrire un’analisi multidi-
mensionale dell’usabilità, misurando un insieme
complesso di variabili. Infatti, come sottolinea Kira-
kowski (2002), la valutazione dell’usabilità è una
combinazione del giudizio personale dell’utente,
come per esempio la soddisfazione, e dei dati ogget-
tivi, come la performance. D’altra parte, sebbene
esistano interessanti analisi sulla multidimensionali-
tà dell’usabilità (Chin, Diehl e Norman, 1988;
Glendon, Stanton e Harrison, 1994; Jordan, 1994)
tale tematica: “non è stata ancora affrontata attraver-
so uno studio sistematico in grado di fornire gli
elementi sui quali eventualmente costruire delle me-
triche” (Di Nocera, Ferlazzo e Renzi, 1999, p. 2).
La validità degli strumenti di valutazione soggettiva
è determinata dalla relazione con altre misure di in-
teresse in un dato contesto, intendendo con ciò che
la valutazione soggettiva ha una validità predittiva
rispetto alle variabili di studio e che una data misura
soggettiva è raramente valida da sola, ma può essere
utilizzata come indicatore di un’altra misura (An-
nett, 2002a; 2002b).
La misurazione della soggettività: gli stru-
menti psicometrici
La necessità di rilevare e monitorare la percezio-
ne di usabilità che gli utenti maturano in relazione
all’utilizzo del sistema ha portato allo sviluppo di
diverse tipologie di questionari che differiscono nei
costrutti teorici; i più utilizzati in letteratura sono:
Il QUIS (Questionnaire for User Interaction Sa-
tisfaction), sviluppato nel 1988, muove
dall’assunto che la soddisfazione d’uso dell’utente,
intesa come soddisfazione soggettiva, sia un indi-
catore rilevante dell’usabilità del sistema (Chin et
al. 1988; Wallace, Norman e Plaisant, 1988;
Shneiderman, 1987) poiché, indipendentemente
dalle altre qualità interattive, un’interfaccia non
soddisfacente non permette all’utente la qualità
d’uso necessaria all’interazione. Questo strumento,
arrivato alla versione 7.0 di sviluppo, è composto
da undici sezioni costruite in maniera gerarchica
(Harper, Slaughter e Norman, 1997): un questio-
nario anagrafico, sei scale che misurano
un’impressione generale sul sistema, quattro misu-
re relative a fattori specifici dell’interfaccia e,
infine, una sezione opzionale che valuta l’help on-
line e la manualistica di supporto. La valutazione è
espressa su una scala a 9 punti.
Il SUMI (Software Usability Measurement In-
ventory) sviluppato dallo Human Factors Research
Group dell’Università di Cork (Irlanda) nel 1990,
è composto di 50 items, suddivisi in cinque sotto-
scale: Efficiency, Affect, Helpfulness, Control,
Learnability. È stata, inoltre, individuata una Glo-
bal Scale composta dai due items più significativi
di ciascuna delle 5 sottoscale (Kirakowski, 1998;
Kirakowski e Corbett, 1993). Le scale di misura
dell’usabilità sono state sviluppate tenendo conto
della definizione di usabilità ISO 9241-11 che i-
dentifica come caratteristiche dell’usabilità
l’efficacia, l’efficienza e la soddisfazione di un de-
terminato utente, impegnato in un particolare
compito, in un particolare contesto d’uso. La valu-
tazione è espressa su una scala a 3 punti (accordo,
indeciso e disaccordo). Il SUMI, nato espressa-
mente per valutare la soddisfazione d’uso degli
utenti in interazione con un software, è stato spes-
so utilizzato per la valutazione delle interfacce
internet, sebbene lo stesso centro di ricerca abbia
proposto per le strutture web un questionario spe-
cifico, il WAMMI (Website Analysis and
Measurement Inventory). In letteratura si trovano
giudizi contrastanti sulla validità del SUMI: da al-
cuni è considerato uno dei migliori strumenti
validati (Baber, 2002), mentre altri sottolineano la
mancanza di una validazione comparativa che ne
comprovi la reale capacità di analisi (Annett,
2002a). Il SUMI e il WAMMI sono strumenti che
fanno esplicito riferimento alla multidimensionali-
tà dell’usabilità, e sebbene alcune analisi
comparative ne abbiano dimostrano l’efficacia e
l’efficienza d’analisi, non è del tutto chiaro come
siano state ricavate le metriche multidimensionali
che compongono le sotto scale e la scala globale.
Il CSUQ (Computer System Usability Que-
stionnaire), creato presso la IBM sulla base degli
studi di Lewis del 1995, è un evoluzione del
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
166
PSSUQ (The Post-Study System Usability Que-
stionnaire) sviluppato per misurare la
soddisfazione degli utenti in interazione con un si-
stema in ambienti di laboratorio tramite domande
contestualizzate all’indagine (Lewis,1992). Il
CSUQ si differenzia dal suo predecessore perché
non è contestualizzato, può essere utilizzato fuori
dai laboratori ed è costruito per creare fattori stabi-
li di indagine. L’assunto da cui muove è che
l’usabilità sia correlata a misure standardizzate di
soddisfazione e lo scopo di tale strumento è quello
di fornirle. Il CSUQ si compone di 19 domande
su una scala a sette punti con un range da “Forte-
mente in disaccordo” a “Fortemente d’accordo”.
Seppure creato come un test per valutare l’usabilità
dei software, il suo utilizzo è stato poi esteso a tutti
i tipi di interfacce.
Il SUS (System Usability Scale) è stato sviluppa-
to nel 1986 dal Digital Equipment Corporation
ed è stato implementato nel 1996 come scala glo-
bale dell’usabilità di un sistema in un contesto
(Brooke, 1996). Questo strumento valuta la soddi-
sfazione intesa come risposta soggettiva
nell’interazione con un sistema. Il SUS non utiliz-
za metriche multidimensionali, ma cerca di
cogliere l’usabilità come attitudine dell’utente ad
una specifica interfaccia in un determinato conte-
sto d’uso, rifacendosi alla definizione ISO 9241-
11. Il SUS è composto di dieci domande misurate
su una scala a cinque punti, con un range da “For-
temente in disaccordo” a “Fortemente d’accordo”.
È l’unico questionario adattabile alla valutazione
dell’usabilità sia dei software che delle interfacce
web, poiché valuta la soddisfazione dell’utente nei
confronti del sistema inteso come un’interfaccia.
Tale strumento è già stato impiegato, in una ver-
sione italiana (Mobilio, 2006), per la valutazione
dell’usabilità ed ha il vantaggio di essere considera-
to estremamente leggero, richiedendo all’utente
uno sforzo minimo per la sua compilazione (Gre-
en, Byrne e Everet, 2006). Tuttavia, analisi recenti
hanno individuato alcune lacune linguistiche della
versione inglese, che rendono difficile la compren-
sione delle domande da parte di utenti non
madrelingua (Finstad, 2006).
L’Us.E. (Usability Evaluation), sviluppato nel
1999 presso il laboratorio di ergonomia cognitiva
del Dipartimento di Psicologia dell’Università de-
gli Studi di Roma “La Sapienza”, parte
dall’assunto che l’usabilità è un costrutto multidi-
mensionale (Di Nocera et al., 1999; Di Nocera,
Ferlazzo e Renzi, 2003). Costruito inizialmente,
nella versione 1.0, su quattro dimensioni ricavate
tramite analisi fattoriale è giunto, nell’attuale ver-
sione 1.1, ad una composizione in tre dimensioni:
maneggevolezza, soddisfazione e attrattiva (Teren-
zi, Di Nocera, Ferlazzo e Renzi, In press; Terenzi,
Di Nocera, Ferlazzo, 2006). La dimensione di
maneggevolezza, in cui è confluita anche la dimen-
sione di prevedibilità presente nella versione 1.0, si
riferisce alla facilità di navigazione, tra e
all’interno, delle pagine, all’individuazione dei
contenuti cui l’utente è interessato e, in generale,
all’interazione con le proprietà strutturali del sito
(Terenzi e Di Nocera, 2004). La dimensione di
soddisfazione, invece, fornisce indicazioni relati-
vamente al giudizio di soddisfazione dell’utente,
soprattutto in riferimento all’utilità percepita del
sito. Infine, la dimensione dell’attrattiva si riferisce
principalmente alle impressioni di piacevolezza su-
scitate dai contenuti del sito, dal suo aspetto
estetico, nonché dalla presenza e dalla qualità di
materiale scaricabile. Tale caratteristica si estende a
tutti gli aspetti in grado di sorprendere, piacevol-
mente o meno, l’utente. L’Us.E. 1.1 si compone di
24 domande con una scala a cinque punti con un
range da “Assolutamente Falso” ad “Assolutamen-
te Vero”. Tale strumento, costruito e validato in
italiano, è diretto alla misurazione dell’usabilità
delle interfacce web.
Nel nostro studio abbiamo scelto di analizzare le
caratteristiche psicometriche delle versioni italiane
del QUIS e del SUMI, poiché essi sono, tra tutti gli
strumenti più noti in letteratura, quelli che hanno
goduto di una maggiore popolarità e attenzione nel-
la produzione scientifica di settore.
Metodologia
C
AMPIONE
L’indagine è stata condotta su un campione di
250 studenti universitari, 76 maschi e 174 femmine,
di età compresa fra i 19 e i 51 anni (media=21.89,
stdv=3.86). I due strumenti sono stati utilizzati dai
soggetti del campione per valutare l’interfaccia web
del sito della Facoltà di Psicologia 1 dell’Università
di Roma “La Sapienza” (http://www.psicologia1.
uniroma1.it).
S
TRUMENTI
:
I
QUESTIONARI
Gli strumenti utilizzati per l’indagine sono stati
tradotti presso il Centro interuniversitario di ricerca
sull’Elaborazione Cognitiva in sistemi Naturali e Ar-
tificiali (ECONA), dell’Università di Roma “La
Sapienza” :
- Il QUIS nella sua versione 7.0, è stata tradotto
dalla versione inglese a quella italiana il 20 set-
tembre 2004
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
167
167
- SUMI, è stato tradotto dalla versione inglese a
quella italiana il 15 ottobre 2004.
R
ACCOLTA DEI DATI
La consegna ricevuta da ogni partecipante consi-
steva nella richiesta di navigare il sito in esame e,
successivamente, di valutarlo rispondendo ai due
questionari
Per la raccolta dei dati i soggetti sono stati fatti
accomodare ad una postazione di lavoro costituita
da un PC, con monitor 17’ e sistema operativo
Microsoft
®
Windows Xp. La navigazione è stata ef-
fettuata tramite browser Microsoft Internet Explorer
6.0. Nella fase di navigazione, ai partecipanti è stato
chiesto di navigare il sito target esplorandone le fun-
zioni, per un tempo di venti minuti, e
successivamente di svolgere tre compiti senza limiti
di tempo. Nella fase di valutazione gli studenti sono
stati invitati a valutare il sito tramite i due questio-
nari somministrati in formato cartaceo; per evitare
un effetto di abituazione alle domande, i due que-
stionari sono stati somministrati in ordine
randomizzato: il 50% dei partecipanti ha risposto
prima al SUMI e poi al QUIS, i restanti in ordine
inverso.
A
NALISI DEI DATI
Inizialmente sono state condotte delle analisi de-
scrittive per esplorare le caratteristiche del
campione. Quindi, sono state condotte alcune anali-
si psicometriche sulla validità ed attendibilità degli
strumenti. Le analisi elaborate con il software stati-
stico SPSS 13.0 per Windows sono le seguenti:
Attendibilità: La coerenza interna fra le diver-
se misurazioni delle sotto scale dei due strumenti è
stata misurata attraverso il calcolo del coefficiente
α di Cronbach.
Analisi delle componenti principali: i fattori
di analisi indicati dagli studi effettuati sulle versio-
ni originali sono stati confrontati con quelli otte-
nuti con gli strumenti nella versione italiana.
Correlazione fra gli strumenti: al fine di valu-
tare la correlazione fra i due strumenti è stato
utilizzato il coefficiente di correlazione di Pearson.
Risultati
A
TTENDIBILITÀ
Il valore dell’α di Cronbach per le sottoscale del
QUIS varia da .85 a .95 dimostrando un’alta omo-
geneità interna dello strumento. Per quanto riguarda
il SUMI, il valore dell’α di Cronbach è di .67 e te-
stimonia una coerenza interna appena accettabile
dello strumento (vedi Tabella 1).
Strumento Scala Coefficiente α
SUMI: Scala unica .67
QUIS: Scala 3 .88
Scala 4 .89
Scala 5 .90
Scala 6 .89
Scala 7 .85
Scala 8 .92
Scala 9 .93
Scala 10 .92
Tabella 1. Analisi del coefficiente α di Cronbach per
la scala del SUMI e per le sottoscale del QUIS.
A
NALISI FATTORIALE
L’analisi condotta attraverso l’analisi delle com-
ponenti principali, ha dimostrato che i fattori
principali del SUMI nella sua versione italiana sono
tre rispetto ai cinque individuati dagli studi di valu-
tazione condotti sulla versione originale (vedi
Tabella 2).
ITEM F 1 F 2 F 3
Item 5: Imparare a lavorare con questo prodotto è inizialmente un grosso problema. .77
Item 6: Talvolta non so come continuare ad operare con questo prodotto. .61
Item 10: Ci vuole troppo tempo per apprendere i comandi del p
r
odotto. .68
Item 11: Talvolta mi chiedo se sto usando il comando giusto. .45
Item 16: Mi sembra che il prodotto disturbi il modo in cui normalmente preferisco or-
ganizzare il mio lavoro. .56
Item 21: Penso che questo prodotto sia inconsistente. .57
Item 25: Bisogna leggere troppo prima di usare il prodotto. .54
Item 27: Usare questo prodotto è frustrante. .74
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
168
ITEM F 1 F 2 F 3
Item 30: Continuo ad aver bisogno di consultare il manuale. .59
Item 32: Usando questo prodotto, ci sono stati dei momenti in cui mi sono sentito piut-
tosto teso. .42
Item 35: Imparare ad usare nuove funzionalità è difficile. .56
Item 37: Penso che questo prodotto sia stato la causa del mio mal di testa in alcune oc-
casioni. .64
Item 40: Non imparerò mai ad usare tutto ciò che il prodotto o
f
fre. .53
Item 45: È facile dimenticare come si fanno le cose con questo prodotto. .69
Item 47: Questo prodotto e veramente poco maneggevole. .55
Item 50: Quando uso questo prodotto, il più delle volte devo cercare aiuto. .66
Item 2: Consiglierei questo prodotto ai miei colleghi. .56
Item 3: Le istruzioni e i messaggi sono di aiuto per le ope
r
azioni. .56
Item 7: È stato piacevole lavorare con questo prodotto. .63
Item 8: Trovo che i messaggi di aiuto forniti dal prodotto non siano molto utili. -.36
Item 12: Lavorare con questo prodotto dà soddisfazione. .59
Item 13: Il modo in cui l'informazione di sistema è presentata è chiaro e comprensibile. .57
Item 15: La documentazione del prodotto dà molte informazioni. .53
Item 19: Quando uso il prodotto mi sembra di padroneggia
r
lo. .45
Item 23: Posso capire come agire basandomi sulle informazioni fo
r
nite dal prodotto. .58
Item 26: Utilizzando questo prodotto, posso svolgere le mie mansioni in modo semplice. .57
Item 29: Questo prodotto è sufficientemente veloce. .34
Item 31: È ovvio che i bisogni degli utenti del prodotto sono stati pienamente presi in
considerazione. .48
Item 33: L'organizzazione dei menu o degli insiemi di informazione sembra abbastanza
logica. .56
Item 34: Il prodotto permette all'utente di risparmiare sull'uso della tastiera dei compu-
ter. .36
Item 39: È facile far fare al prodotto quello che si vuole che faccia. .44
Item 42: Il prodotto ha una buon modo di interagire e di presenta
r
si. .61
Item 44: È relativamente facile muoversi da una parte all'altra di un'ope
r
azione. .52
Item 48: Si vedono facilmente, a colpo d'occhio, quali sono le opzioni disponibili ad
ogni passo. .58
Item 1: Questo prodotto risponde troppo lentamente agli input. .49
Item 4: Il prodotto si è talvolta fermato inaspettatamente. .57
Item 9: Se il prodotto si ferma non è facile farlo ripartire. .37
Item 14: Mi sento più sicuro usando solo pochi comandi od ope
r
azioni a me familiari. .47
Item 18: Non ci sono mai abbastanza informazioni sullo schermo quando è necessario. .45
Item 20: Preferisco limitarmi a sfruttare le possibilità del prodotto che meglio conosco. .53
Item 22: Non vorrei usare questo prodotto ogni giorno. .44
Item 24: Il prodotto è poco maneggevole quando voglio fare qualcosa di non standard. .47
Item 28: II prodotto mi ha aiutato a superare qualunque problema che ho avuto usan-
dolo. .30 -.37
Item 36: Ci vogliono troppe operazioni per far funzionare alcune parti. .41
Item 38: I messaggi per la prevenzione degli errori non sono adeguati. .43
Item 41: II prodotto non ha sempre fatto ciò che mi aspetta
v
o. .62
Item 43: La quantità o la qualità delle informazioni di aiuto non è uniforme nelle diver- .48
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
169
169
ITEM F 1 F 2 F 3
se parti dei p
r
odotto.
Item 46: Talvolta questo prodotto si comporta in modo non comprensibile. .42 .44
Item 49: Non è facile importare e esportare dei file di dati dal sistema. .21 .29
Tabella 2. Analisi delle componenti principali con metodo di rotazione Varimax con normalizzazione di Kaiser
del SUMI: Divisione in fattori e saturazioni ambigue. I risultati inferiori a .3 non sono stati riportati.
I fattori originali individuati dagli autori per il
SUMI sono: Efficiency, Affect, Helpfulness, Control,
Learnability, (Kirakowski, 1998; Kirakowski e Cor-
bett, 1993) tuttavia l’analisi delle componenti
principali dimostra una dispersione degli item ed
una percentuale di varianza spiegata maggiore con
una divisione in tre fattori piuttosto che nei cinque
originali. In particolare dall’analisi emerge che l’item
17 del SUMI: “Lavorare con questo prodotto stimo-
la la mente in modo creativo, non raggiunge un
livello di saturazione accettabile e per questo è stato
escluso dall’analisi. Occorre tuttavia sottolineare che
anche con la divisione in tre fattori la varianza spie-
gata, è del tutto insoddisfacente poiché spiega
solamente il 32.23% della varianza (Tabella 3).
Componenti Totale % di Va-
rianza
Varianza Cu-
mulata %
Fattore1 8.28 16.91 16.91
Fattore2 4.65 9.50 26.41
Fattore3 2.85 5.82 32.23
Tabella 3. Analisi della varianza spiegata dei tre
fattori del SUMI
Per ciò che riguarda il QUIS, gli autori hanno
fornito i risultati di due analisi fattoriali da loro ef-
fettuate su una versione precedente dello strumento,
con estrazione rispettivamente di quattro e di otto
fattori (Chin et al. 1988), mentre lo studio di vali-
dazione della versione 7.0 non prende in
considerazione l’analisi delle componenti principali
(Harper et al. 1997). L’analisi delle componenti
principali da noi condotta, sulla versione italiana 7.0
del questionario ha messo in evidenza che fra le so-
luzioni indicate dagli autori con una divisione a 8 o
a 4 fattori, la struttura a 4 fattori risulta quella meno
dispersiva, pur spiegando solamente il 50.19% della
varianza (vedi tabella 5), tuttavia tale soluzione, pur
essendo migliore di quella a 8 fattori, non appare
soddisfacente in quanto molti items mostrano satu-
razioni maggiori di .30 su più fattori, in particolare
risultano di difficile interpretazione gli items: 3.5 “
Impressione generale del sistema”, 6.2.2 « Esplora-
zione di funzioni per tentativi ed errori”, 5.2.2 “La
terminologia è appropriata alle attività che stai svol-
gendo” (vedi Tabella 4).
Sezioni F1 F2 F3 F4
3_1: Impressione generale del sistema: .71
3_2: Impressione generale del sistema: .60
3_3: Impressione generale del sistema: .53
3_6: Impressione generale del sistema: .71
4_1_1: Immagine dei caratteri .45 .34
4_2: Il modo di far risaltare gli elementi sullo schermo .53
4_4: Sequenza delle schermate .69 .44
4_4_2: In una sequenza di schermate il ritorno a quella precedente è .59 .36
5_2 : La terminologia è appropriata alle attività che
stai svolgendo
.16
5_3 : Messaggi che appaiono sullo schermo .58 .41
5_3_1 : Posizione delle istruzioni sullo schermo .64 .56
5_5 : Il computer ti tiene informato/a di ciò che stai facendo .53 .49
5_5_1 : L’animazioni del cursore ti tiene informato/a .61
5_5_2 : Eseguire un’operazione conduce ad un risultato prevedibile .63 .31
5_5_3 : Controllare il modo in cui il sistema ti tiene informato/a delle ope
r
azioni è .49 .31 .32
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
170
Sezioni F1 F2 F3 F4
6_1 : Apprendere ad utilizzare il sistema .57 .32
6_1_2 :
A
pprendere funzioni avanzate .49
6_3_1 : Ricordare regole specifiche su come utilizzare i comandi .55 .41
7_3 : Il sistema tende ad essere .33
7_4 Correggere i tuoi errori è .49 .37
7_4_1 : Correggere errori di digitazione .51
7_5 : La facilità di un’operazione dipende dal tuo livello di esperienza .48
8_1 : I manuali tecnici sono .47
8_2_1 : Trovare una soluzione ad un problema nel manuale è .51 .47
8_3_1 : Collocazione sullo schermo dei messaggi di aiuto .58 .55
10_2_1 : Messa a fuoco delle immagini video .72
10_2_2 : La luminosità delle immagini video è .73
10_2_3 : La grandezza della finestra del video è adeguata .66 .30
10_3 : Suono .72
10_3_1 : Suono .73 .30
10_3_2 : Suono .71
10_4 I colori usati rispecchiano quelli reali .72
10_4_1 : Quantità dei colori usati .66
3_4: Impressione generale del sistema: .65
3_5: Impressione generale del sistema: .33 .59 .38
4_1: Caratteristiche dello schermo del compute
r
.70
4_1_2: Tipo di carattere (
f
ont) .61
4_2_3: Uso del grassetto .41 .32
4_3: I modi di visualizzare la schermata sono di aiuto .45 .33
4_3_1: Il numero di informazioni che possono essere mostrate sullo schermo sono .49 .44
4_3_2: L’ordine delle informazioni sullo schermo è .71
4_4_3: La sequenza delle attività relative ad un determinato compito è .56 .47
5_1 : Uso della terminologia nel sistema .59 .37
5_1_2 : Terminologia relativa alle attività .66
5_1_3 : Terminologia relativa al compute
r
.72
6_1_1 : Apprendere ad utilizzare il sistema .55
6_1_3 Apprendere ad utilizzare il sistema .56
6_2_2 : Esplorazione di funzioni per tentativi ed errori .44 .37 .35
6_3 : Esplorazione di funzioni per tentativi ed errori .57
7_4_2 :
A
nnullare una digitazione (undo) .66
7_5_2 : La facilità di un’operazione dipende dal tuo livello di esperienza .39 .62
9_4 : I compiti possono essere completati .61
9_4_1 : I compiti possono essere completati .33 .55
9_4_2 : I compiti possono essere completati .35
9_5_1 : Apprendere ad utilizzare il sistema utilizzando la guida è .58 .44
10_1 : Qualità delle immagini e fotografie .53
10_1_1 : Qualità delle immagini e fotografie .61
10_1_2 : Qualità delle immagini e fotografie .37 .44
10_2 : Qualità dei video .61
4_2_1: Il modo di far risaltare gli elementi sullo schermo è .46
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
171
171
Sezioni F1 F2 F3 F4
4_2_2: Il modo di far risaltare gli elementi sullo schermo è .31 .32
5_2_1 : La terminologia è appropriata alle attività che stai svolgendo .54
5_2_2 : La terminologia è appropriata alle attività che stai svolgendo .46 .32 .47
6_2 : Esplorazione di funzioni per tentativi ed errori .33 .53
6_2_1 : Esplorazione di funzioni per tentativi ed errori .30 .33
7_2_3 : Il sistema è affidabile .40 .37
7_5_1 : La facilità di un’operazione dipende dal tuo livello di esperienza .39
8_1_1 : I manuali tecnici .40
8_2 : Le informazioni del manuale sono facilmente comprensibili .34 .44
8_3_2 : Numero degli aiuti offerti .48 .49
8_3_3 : Numero degli aiuti offerti .78 .34
8_3_4 : Numero degli aiuti offerti .81
8_3_5 : Numero degli aiuti offerti .81
8_3_6 : Numero degli aiuti offerti .78
8_3_7 : Numero degli aiuti offerti .32 .59 .30
9_1 : La guida .70
9_1_1 : La guida .72
9_2 : Navigare dentro la guida .52 .69
9_2_1 : Navigare dentro la guida .35 .68
9_2_2 : Navigare dentro la guida .43 .59
9_3 : Il contenuto della guida .79
9_3_1 : Il contenuto della guida .35 .79
9_3_2 : Il contenuto della guida .70
9_5 : Apprendere ad utilizzare il sistema utilizzando la guida .40 .65
4_4_1: Sequenza delle schermate .32 .47
5_4 : Messaggi che appaiono sullo schermo .37 .50
5_4_1 : Messaggi che appaiono sullo schermo .46 .65
5_4_2 : Messaggi che appaiono sullo schermo .68
5_5_4 : Il computer ti tiene informato/a
di ciò che stai facendo
.44 .41
5_6 : Messaggi di errore .46 .53
5_6_1 : Messaggi di errore .33 .60
5_6_2 : Messaggi di errore .44 .57
6_4 : I compiti possono essere eseguiti senza complicazioni .44 .53
6_4_1 : I compiti possono essere eseguiti senza complicazioni .38 .47
6_4_2 : I compiti possono essere eseguiti senza complicazioni .42 .52
6_4_3 : I compiti possono essere eseguiti senza complicazioni .50 .56
7_1 : Velocità del sistema .57
7_1_1 : Tempo di risposta per la maggior parte
delle operazioni .68
7_1_2 : Tempo in cui l’informazione è mostrata .72
7_2 : Il sistema è affidabile .42 .57
7_2_1 : Il sistema è affidabile .58 .63
7_2_2 : Il sistema è affidabile .43
7_3_1 : Il sistema tende ad essere .47
7_3_2 : Il sistema tende ad essere .53
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
172
Sezioni F1 F2 F3 F4
8_3 : Numero degli aiuti offerti .32 .56
Saturazioni Ambigue
Tabella 4. Analisi delle componenti principali con metodo di rotazione Varimax con normalizzazione di Kaiser
del QUIS: Divisione in fattori e saturazioni ambigue. I risultati inferiori a .3 non sono stati riportati.
Componenti Totale % di Varianza Varianza Cumulata %
Fattore1 27.39 26.08 26.08
Fattore 2 9.04 8.61 34.69
Fattore 3 8.4 8 42.69
Fattore 4 7.68 7.32 50.19
Tabella 5. Analisi della varianza spiegata dei quattro fattori del QUIS
C
ORRELAZIONE FRA I DUE STRUMENTI
.
L’analisi del coefficente r di Pearson mostra una
modesta correlazione tra le misurazioni del SUMI e
quelle del QUIS (Vedi Tabella 6).
Effi-
ciency
A
f-
fect
Helpful-
ness
Con-
trol
Learna-
bility
SU
MI
.39* .38* .41* .25* .29* .43*
* La correlazione è significativa per p<.01
Tabella 6. Coefficiente di correlazione di Pearson fra
il SUMI e le 5 scale del QUIS: Efficiency, Affect,
Helpfulness, Control, Learnability.
L’analisi dei dati sembra indicare che il QUIS e il
SUMI, oltre ai limiti già evidenziati, tendono a mi-
surare aspetti diversi dell’usabilità.
Discussione
Le caratteristiche psicometriche dei due strumen-
ti nella loro versione italiana non risultano
soddisfacenti:
Il SUMI presenta una discrepanza tra il numero
dei fattori della versione inglese e quella in italia-
no, che da un lato potrebbe essere imputabile
alla traduzione e, dall’altro, potrebbe essere lega-
ta ad una divisione in fattori della versione
originale troppo rigida;
Il QUIS dimostra una buona attendibilità, ma
presenta una dispersione di molti items in diversi
fattori;
L’analisi della correlazione dimostra che i due
strumenti pur misurando l’usabilità offrono ri-
sultati statisticamente differenti, sebbene
correlabili, dovuti alla multidimensionalità
dell’oggetto di analisi.
Sembra possibile affermare che il SUMI e il
QUIS siano in grado di misurare particolari e diversi
aspetti dell’usabilità. Tale risultato pare supportare
l’ipotesi che l’usabilità, in quanto caratteristica mul-
tidimensionale dell’interazione, non possa essere
misurata da un unico strumento senza correre il ri-
schio di trascurare dati, qualitativi e quantitativi,
utili all’analisi dell’interazione utente-tecnologia.
L’usabilità non può essere pienamente stimata attra-
verso l’utilizzo di un unico strumento, ma solamente
attraverso l’integrazione di più tecniche che coinvol-
gano diversi attori, esperti ed utenti (Federici et al.
2005), per cogliere tutte le dimensioni, o gran parte
di esse, coinvolte nell’esperienza interattiva utente-
tecnologia.
Riferimenti bibliografici
Annett, J. (2002). Subjective rating scales in ergonomics:
A reply. Ergonomics, 45(14), 1042-1046.
Annett, J. (2002). Subjective rating scales: Science or art?
Ergonomics, 45(14), 966-987.
Baber, C. (2002). Subjective evaluation of usability.
Ergonomics, 45(14), 1021-1025.
Brooke, J. (1996). SUS: a "quick and dirty" usability
scale. In P. W. Jordan, B. Thomas, B. A.
Weerdmeester A. L. McClelland (eds.) Usability
Evaluation in Industry. London: Taylor and Francis.
Chin, J. P., Diehl, V.A., Norman, K. L. (1988).
Development of an instrument measuring user
satisfaction of the human–computer interface. In
CHI Conference on Human Factors in Computing
Systems New York: ACM.
Di Nocera, F., Ferlazzo, F., Renzi, P. (1999). Us.E. 1.0:
costruzione e validazione di uno strumento in lingua
italiana per valutare l'usabilità dei siti Internet. In
M.F. Costabile, F. Paternò (Eds) HCITALY’99:
Federici, S., Borsci, S., Meloni, F. – Le misure dell’usabilità: Caratteristiche psicometriche del QUIS e del SUMI
Giornale di Psicologia, Vol.
3
, No.
2
, 20
0
ISSN 1971-9558
Giornaledipsicologia.it, Vol.
3
, No.
2
, 20
0
ISSN 1971-9450
173
173
Giornata Italiana su Human-Computer Interaction.
Rapporto CNUCE-B4-1999-003. Pisa: CNUCE-
CNR.
Di Nocera, F., Ferlazzo, F., Renzi, P. (2003). L'usabilità
a quattro dimensioni. Ricerche di Psicologia, 26(4),
83-104.
Drury, C.G. (2002). Measurement and the practising
ergonomist. Ergonomics, 45(14), 988-990.
Federici, S., Micangeli, A., Ruspantini, I., Borgianni, S.,
Pasqualotto, E., Olivetti Belardinelli, M. (2005).
Checking an integrated model of web accessibility
and usability evaluation for disabled people. Disability
& Rehabilitation: An International Multidisciplinary
Journal, (Special issue).
Finstad, K. (2006). The System Usability Scale and Non-
Native English Speakers. Journal of Usability Studies,
1(4), 185-188.
Glendon, A.I., Stanton, N.A., Harrison, D. (1994).
Factor analysing a performance shaping concepts
questionnaire. In S.A. Robertson (Ed.), Contemporary
Ergonomics 1994. London: Taylor & Francis, 340-
345.
Green, K.K., Byrne, M.D., Everet, S.P. (2006).
Comparison of Usability Between Voting Methods.
In Proceedings of the tht USENIX/Accurate Elettronic
Voting Technology Workshop. Vancouver: ACM.
Hancock, P.A., Weaver, J.L., Parasuraman, R. (2002).
Sans subjectivity--ergonomics is engineering.
Ergonomics, 45(14), 991-994.
Harper, B., Slaughter, L., Norman, K.L. (1997).
Questionnaire administration via the WWW: A
validation and reliability study for a user satisfaction
questionnaire. In Proceedings of WebNet 97. Toronto.
Retrived May 1. 2007 from http://lap.umd.edu/
quis/publications/ harper1997.pdf
Kirakowski, J., Corbett, M. (1993). SUMI: The software
usability measurement inventory. British Journal of
Educational Technology, 24,210-212.
Kirakowski, J. (1998). SUMI Manual. University College
Cork, Ireland: Human Factors Research Group,
Retrived May 11, 2007 from http://sumi.ucc.ie.
Kirakowski, J. (2002). Is ergonomics empirical?
Ergonomics, 45(14-15), 995-997.
Lewis, J.R. (1992). Psychometric evaluation of the post-
study system usability questionnaire: The PSSUQ. In
Proceedings of the Human Factors Society 36th Annual
Meeting. Santa Monica, CA: Human Factors Society.
McKenna, F.P. (2002). Subjective measures: not perfect
but what is? Ergonomics, 45(14), 998-1000.
Michell, J. (2002). Do ratings measure latent attributes?
Ergonomics, 45(14), 1008-1010.
Salvendy, G. (2002). Use of subjective rating scores in
ergonomics research and practice. Ergonomics,
45(14), 1005-1007.
Shneiderman, B. (1987). Designing the user interface:
Strategies for Effective Human - Computer Interaction.
Massachusetts: Addison Wesley .
Stanton, N.A., Stammers, R.B. (2002). Creative
(dis)agreement in ergonomics. Ergonomics, 45(14),
963-965.
Terenzi, M., Di Nocera, F. (2004). Sulla validità della
scala "Maneggevolezza" di Us.E. 1.0. X Congresso
Nazionale della Sezione di Psicologia Sperimentale -
Associazione Italiana di Psicologia Sciacca.
Terenzi, M., Di Nocera, F., Ferlazzo, F. (2006) Firmitas,
Utilitas, Venustas: Assessing the Validity of the
Usability Evaluation (Us.E.) Questionnaire. In D. de
Waard, K.A. Brookhuis, A. Toffetti (Eds.),
Developments in Human Factors in Transportation,
Design, and Evaluation. Maastricht, the Netherlands:
Shaker Publishing, 249-253.
Terenzi, M., Di Nocera, F., Ferlazzo, F., Renzi, P. (In
press). Psychometric Properties of the Usability
Evaluation (Us.E.) Questionnaire v. 1.1.
Wallace, D. F. , Norman, K. L., Plaisant, C. (1988). The
American Voice And Robotics "Guardian: System: A
Case Study In User Interface Usability Evaluation.
Technical Report (CAR-TR-392). College Park, MD:
Human-Computer Interaction Laboratory, Center for
Automation Research, University of Maryland.
Ricevuto : 5 ottobre 2008
Revisione ricevuta : 15 maggio 2009
ResearchGate has not been able to resolve any citations for this publication.
Conference Paper
Full-text available
Usability evaluators used an 18-item, post-study questionnaire in three related usability tests. I conducted an exploratory factor analysis to investigate statistical justification to combine items into subscales. The factor analysis indicated that three factors accounted for 87 percent of the total variance. Coefficient alpha analyses showed that the reliability of the overall summative scale was .97, and ranged from .91 to .96 for the three subscales. In the sensitivity analyses, the overall scale and all three subscales detected significant differences among the user groups; and one subscale indicated a significant system effect. Correlation analyses support the validity of the scales. The overall scale correlated highly with the sum of the After-Scenario Questionnaire ratings that participants gave after each scenario. The overall scale also correlated moderately with the percentage of successful scenario completion. These results are consistent with the hypothesis that these alternative measurements tap into a common underlying construct. This construct is probably usability, based on the content of the questionnaire items and the measurement context.
Article
Full-text available
Usability does not exist in any absolute sense; it can only be defined with reference to particular contexts. This, in turn, means that there are no absolute measures of usability, since, if the usability of an artefact is defined by the context in which that artefact is used, measures of usability must of necessity be defined by that context too. Despite this, there is a need for broad general measures which can be used to compare usability across a range of contexts. In addition, there is a need for "quick and dirty" methods to allow low cost assessments of usability in industrial systems evaluation. This chapter describes the System Usability Scale (SUS) a reliable, low-cost usability scale that can be used for global assessments of systems usability.
Article
In order to know if new electronic voting systems truly represent a gain in usability, it is necessary to have information about the usability of more traditional voting methods. The usability of three different voting methods was evaluated using the metrics recommended by the National Institute of Standards and Technology: efficiency, effectiveness, and satisfaction. Participants voted with two different types of paper-based ballots (one open- response ballot and one bubble ballot) and one mechanical lever machine. No significant differences in voting completion times or error rates were found between voting methods. However, large differences in satisfaction ratings indicated that participants were most satisfied with the bubble ballot and least satisfied with the lever machine. These data are an important step in addressing the need for baseline usability measures for existing voting systems.
Article
Comments on the target paper are acknowledged. Whilst there is still some concern that subjective rating scales are scientifically suspect, the general view is that verbal reports, including ratings, constitute objective data, which can be of considerable value in ergonomics research and practice. The main anxiety attached to their use is to ensure acceptable levels of reliability and validity. Quantification in the strict sense can be achieved by some measures but is by no means essential for all scientific and practical purposes. The value of ordinal and qualitative data obtained by subjective judgements should not be underestimated, especially in predicting future performance. Many commonly used constructs such as fatigue, stress, mental workload, usability, etc. are complex and multidimensional, often combining both ‘subjective’ and ‘objective’ measures. The validity of individual dimensions and complex constructs lies principally in their relationships with other variables of interest in the context of the specific investigation. The question of design standards based partly or wholly on such scales should therefore be treated with some caution.
Article
The System Usability Scale (SUS) was administered verbally to native English and non-native English speakers for several internally deployed applications. It was found that a significant proportion of non-native English speakers failed to understand the word "cumbersome" in Item 8 of the SUS (that is, "I found the system to be very cumbersome to use.") This finding has implications for reliability and validity when the questionnaire is distributed electronically in multinational usability efforts.
Conference Paper
aire for User Interaction Satisfaction (QUIS)The QUIS focuses on the user's perception of interface usability by as it is expressed in specific aspectsof the interface (i.e., overall reaction to the system, screen factors, terminology and system feedback,learning factors, system capabilities) .Each of the specific interface factors and optional sections has amain component question followed by related sub-component questions. Each item is rated on a scalefrom 1 to 9 with positive...
Book
From the Publisher: In 1996, recognizing this book, ACM's Special Interest Group on Documentation (SIGDOC) presented Ben Shneiderman with the Joseph Rigo Award. SIGDOC praised the book as one "that took the jargon and mystery out of the field of human-computer interaction" and attributed the book's success to "its readability and emphasis on practice as well as research." In revising this best-seller, Ben Shneiderman again provides a complete, current, and authoritative introduction to user-interface design. The user interface is the part of every computer system that determines how people control and operate that system. When the interface is well designed, it is comprehensible, predictable, and controllable; users feel competent, satisfied, and responsible for their actions. In this book, the author discusses the principles and practices needed to design such effective interaction. Based on 20 years experience, Shneiderman offers readers practical techniques and guidelines for interface design. As a scientist, he also takes great care to discuss underlying issues and to support conclusions with empirical results. Interface designers, software engineers, and product managers will all find here an invaluable resource for creating systems that facilitate rapid learning and performance, yield low error rates, and generate high user satisfaction. Coverage includes the human factors of interactive software (with added discussion of diverse user communities), tested methods to develop and assess interfaces, interaction styles (like direct manipulation for graphical user interfaces), and design considerations (effective messages, consistent screen design, appropriate color).
Book
Adequate treatment of cardiac failure should reflect both clinical rules and quantitative evaluation of hemodynamics. For the latter we assumed an extensive model of heart and vessels: For the left and right ventricles the EMAX models were assumed with ...