No full-text available
To read the full-text of this research,
you can request a copy directly from the authors.
The Influence of Survey Link Placement on the User Rating
Abstract
User studies based on standardized questionnaires are a common tool for determining the user experience of a website and forms an important basis for the user-oriented optimization of the offer. In addition, these user surveys are also used as a benchmark to verify the effectiveness of design changes or to compare own solutions with competitors' offerings. Sampling is often passive, such as using link banners placed at various positions on the website. However, the question arises as to whether the location of the survey link has an impact on the user rating of the website. The present article examines this question by means of a website evaluation with two identical surveys that were simultaneously placed in two different positions on a web page (starting page and order confirmation page). A total of 524 test persons participated in the study. The results show statistically significant differences in user rating. Subjects who joined the order confirmation page were significantly more positive compared to those who came to the survey from the starting page.
ResearchGate has not been able to resolve any citations for this publication.
Questionnaires are a cheap and highly efficient tool for achieving a quantitative measure of a product’s user experience (UX). However, it is not always easy to decide, if a questionnaire result can really show whether a product satisfies this quality aspect. So a benchmark is useful. It allows comparing the results of one product to a large set of other products. In this paper we describe a benchmark for the User Experience Questionnaire (UEQ), a widely used evaluation tool for interactive products. We also describe how the benchmark can be applied to the quality assurance process for concrete projects.
Der Erfolg von Technik hängt vor allem davon ab, wie Nutzer den Umgang mit einem inter-aktiven Produkt wahrnehmen, erleben und bewerten. Verschiedene Aspekte sind hierbei von Bedeutung, unter anderem die Usability, die ästhetische Gestaltung, die soziale Kommunika-tion persönlicher Werte sowie die emotionale Einstellung und die motivationale Bereitschaft, das Produkt auch zukünftig zu verwenden. Zur adäquaten Erfassung dieser Aspekte wurde auf der Basis eines weithin etablierten und empirisch abgesicherten Modells zum Nutzungs-erleben, dem CUE-Modell von Thüring und Mahlke (2007), ein modular aufgebauter Frage-bogen entwickelt. Insgesamt besteht dieser aus drei separat anwendbaren Modulen, die sich auf die "Produktwahrnehmung" (Nützlichkeit, Benutzbarkeit, visuelle Ästhetik, Status und Bindung), auf "Nutzeremotionen" (positive und negative Emotionen) und auf "Konsequen-zen" der Produktinteraktion (Loyalität und Nutzungsintention) beziehen. Die Konstruktion des Fragebogens und die Auswahl von Items erfolgte auf Basis zweier online durchgeführter Datenerhebungen, an denen jeweils n = 238 Probanden teilgenommen haben. Eine erste Validierung fand im Rahmen einer laborexperimentellen Studie statt, bei der n = 67 Personen jeweils drei verschiedene interaktive Produkte bewerteten. Die Ergebnisse stützen sowohl die Reliabilitätsannahme der konstruierten Skalen, als auch deren diskriminative, kriteriums-bezogene und Konstruktvalidität bei der Bewertung interaktiver Technologie.
Der User Experience Questionnaire (UEQ) ist ein etablierter Fragebogen zur Messung des Benutzererlebens interaktiver Produkte. Der Fragebogen misst User Experience auf den Dimensionen Effizienz, Durchschaubarkeit, Steuerbarkeit, Stimulation, Originalität sowie Attraktivität. Eine häufig gestellte Frage ist Wie gut hat das von mir evaluierte Produkt im Vergleich zu anderen Produkten abgeschnitten? Um diese Frage beantworten zu können, wurden 163 Studien mit dem UEQ in einem Benchmark zusammengefasst. Dies erlaubt eine detaillierte Aussage zur Qualität eines Produkts im Vergleich mit anderen Produkten. Zusätzlich werden Erkenntnisse zum Einsatz des UEQ-Benchmarks im Rahmen von größeren UEQ-Datenerhebungen sowie Praxiserfahrungen im Business Umfeld vorgestellt. Dabei gehen wir auf folgende Punkte ein: Unterschiede in der Bewertung durch unterschiedliche Nutzergruppen, Relevanz der UEQ-Faktoren für unterschiedliche Nutzergruppen, Bedeutung der UEQ-Faktoren für die Gesamtzufriedenheit.
Mit dem User Experience Questionnaire wurde ein Fragebogen entwickelt, der eine schnelle Messung verschiedener Kriterien der Softwarequalität erlaubt. Die Relevanz der Kriterien für die Beurteilung wurde durch eine empirische Selektion sichergestellt. Experten sammelten und reduzierten eine große Menge potenziell relevanter Begriffe und Aussagen, die sowohl „harte“ Usability-Kriterien als auch „weichere“ User Experience-Kriterien einschlossen. Der daraus entstandene ursprüngliche Fragebogen mit bipolaren 80 Items wurde in mehreren Untersuchungen eingesetzt und durch eine Faktorenanalyse auf 26 Items reduziert, die sich den sechs Faktoren Attaktivität, Durchschaubarkeit, Effizienz, Vorhersagbarkeit, Stimulation und Originalität zuordnen lassen. Erste Validierungsuntersuchungen deuten auf eine zufriedenstellende Konstruktvalidität hin.
Usability does not exist in any absolute sense; it can only be defined with reference to particular contexts. This, in turn, means that there are no absolute measures of usability, since, if the usability of an artefact is defined by the context in which that artefact is used, measures of usability must of necessity be defined by that context too. Despite this, there is a need for broad general measures which can be used to compare usability across a range of contexts. In addition, there is a need for "quick and dirty" methods to allow low cost assessments of usability in industrial systems evaluation. This chapter describes the System Usability Scale (SUS) a reliable, low-cost usability scale that can be used for global assessments of systems usability.
The article addresses some concerns about how coefficient alpha is reported and used. It also shows that alpha is not a measure of homogeneity or unidimensionality. This fact and the finding that test length is related to reliability may cause significant misinterpretations of measures when alpha is used as evidence that a measure is unidimensional. For multidimensional measures, use of alpha as the basis for corrections for attenuation causes overestimates of true correlation. Satisfactory levels of alpha depend on test use and interpretation. Even relatively low (e.g., .50) levels of criterion reliability do not seriously attenuate validity coefficients. When reporting intercorrelations among measures that should be discriminable, it is important to present observed correlations, appropriate measures of reliability, and correlations corrected for unreliability.
Some of the significant factors that influence earlier memories of people and encourage them to repeat these activities are discussed. It has been observed that people remember earlier events and memories of their lives when they travel away from their homes. It is observed that increasing distance from earlier memories influence people to remember them, encouraging them to repeat them when provided with an opportunity. People remember these events when they achieve a certain distance from them in terms of space and time. It is also observed that several memories fade away after a certain period of time. People tend to forget both positive and negative memories when remembering and making efforts to repeat them. There is considerable evidence to show that positive and negative memories fade away at rates from memory and that affective elements fade differently in comparison with cognitive elements.
Die Evaluation interaktiver Produkte ist eine wichtige Aktivität im Rahmen benutzerzentrierter Gestaltung.
Eine Evaluationstechnik, die sich meist auf die Nutzungsqualität oder â Gebrauchstauglichkeit â eines Pro-
dukts konzentriert, stellen Fragebögen dar. Zur Zeit werden allerdings weitere, sogenannte â hedonische â
Qualitätsaspekte diskutiert. Diese beruhen auf den menschlichen Bedürfnissen nach Stimulation und Identi-
tät, während bei Gebrauchstauglichkeit (bzw. â pragmatischer Qualität â ) der Bedarf zur kontrollierten Mani-
pulation der Umwelt im Vordergrund steht. In diesem Beitrag wird der â AttrakDiff 2 â Fragebogen vorge-
stellt, der sowohl wahrgenommene pragmatische als auch hedonische Qualität zu messen vermag. Ergebnis-
se zur Reliabilität und Validität werden vorgestellt und diskutiert. AttrakDiff 2 stellt einen ersten Beitrag zur
Messung von Qualitätsaspekten dar, die über die reine Gebrauchstauglichkeit hinausgehen.
One possible reason for the continued neglect of statistical power analysis in research in the behavioral sciences is the inaccessibility of or difficulty with the standard material. A convenient, although not comprehensive, presentation of required sample sizes is provided. Effect-size indexes and conventional values for these are given for operationally defined small, medium, and large effects. The sample sizes necessary for .80 power to detect effects at these levels are tabled for 8 standard statistical tests: (1) the difference between independent means, (2) the significance of a product-moment correlation, (3) the difference between independent rs, (4) the sign test, (5) the difference between independent proportions, (6) chi-square tests for goodness of fit and contingency tables, (7) 1-way analysis of variance (ANOVA), and (8) the significance of a multiple or multiple partial correlation.
Online controlled experiments (e.g., A/B tests) are now regularly used to guide product development and accelerate innovation in software. Product ideas are evaluated as scientific hypotheses, and tested in web sites, mobile applications, desktop applications, services, and operating systems. One of the key challenges for organizations that run controlled experiments is to come up with the right set of metrics [1] [2] [3]. Having good metrics, however, is not enough.
In our experience of running thousands of experiments with many teams across Microsoft, we observed again and again how incorrect interpretations of metric movements may lead to wrong conclusions about the experiment's outcome, which if deployed could hurt the business by millions of dollars. Inspired by Steven Goodman's twelve p-value misconceptions [4], in this paper, we share twelve common metric interpretation pitfalls which we observed repeatedly in our experiments. We illustrate each pitfall with a puzzling example from a real experiment, and describe processes, metric design principles, and guidelines that can be used to detect and avoid the pitfall.
With this paper, we aim to increase the experimenters' awareness of metric interpretation issues, leading to improved quality and trustworthiness of experiment results and better data-driven decisions.
Die Online-Befragung hat Eingang in den Methodenkanon der wissenschaftlichen empirischen Forschung gefunden. In diesem Beitrag werden verschiedene Formen der Online Befragung vorgestellt, wobei auch die in der Praxis häufig eingesetzte Online-Panel-Befragung thematisiert wird. Daneben bietet der Beitrag einen ausführlichen Vergleich zu den traditionellen Befragungsmethoden hinsichtlich Kosten, Zeit und möglichen Untersuchungszielen. Schließlich werden wichtige Aspekte der Güte von Online-Befragungs-Daten erörtert.
Die Evaluation interaktiver Produkte ist eine wichtige Aktivität im Rahmen benutzerzentrierter Gestaltung. Eine Evaluationstechnik, die sich meist auf die Nutzungsqualität oder „Gebrauchstauglichkeit“ eines Produkts konzentriert, stellen Fragebögen dar. Zur Zeit werden allerdings weitere, sogenannte „hedonische“ Qualitätsaspekte diskutiert. Diese beruhen auf den menschlichen Bedürfnissen nach Stimulation und Identität, während bei Gebrauchstauglichkeit (bzw. „pragmatischer Qualität“) der Bedarf zur kontrollierten Manipulation der Umwelt im Vordergrund steht. In diesem Beitrag wird der „AttrakDiff 2“ Fragebogen vorgestellt, der sowohl wahrgenommene pragmatische als auch hedonische Qualität zu messen vermag. Ergebnisse zur Reliabilität und Validität werden vorgestellt und diskutiert. AttrakDiff 2 stellt einen ersten Beitrag zur Messung von Qualitätsaspekten dar, die über die reine Gebrauchstauglichkeit hinausgehen.
A general formula (α) of which a special case is the Kuder-Richardson coefficient of equivalence is shown to be the mean of
all split-half coefficients resulting from different splittings of a test. α is therefore an estimate of the correlation between
two random samples of items from a universe of items like those in the test. α is found to be an appropriate index of equivalence
and, except for very short tests, of the first-factor concentration in the test. Tests divisible into distinct subtests should
be so divided before using the formula. The index
[`(r)]ij\bar r_{ij}
, derived from α, is shown to be an index of inter-item homogeneity. Comparison is made to the Guttman and Loevinger approaches.
Parallel split coefficients are shown to be unnecessary for tests of common types. In designing tests, maximum interpretability
of scores is obtained by increasing the first-factor concentration in any separately-scored subtest and avoiding substantial
group-factor clusters within a subtest. Scalability is not a requisite.
Visual aesthetics has been shown to critically affect a variety of constructs such as perceived usability, satisfaction, and pleasure. Given the importance of visual aesthetics in human-computer interaction, it is vital that it is adequately assessed. The present research aimed at providing a precise operational definition and to develop a new measure of perceived visual aesthetics of websites. Construction of the Visual Aesthetics of Website Inventory (VisAWI) was based on a comprehensive and broad definition of visual aesthetics so that the resulting instrument would completely describe the domain of interest. Four interrelated facets of perceived visual aesthetics of websites were identified and validated in a series of seven studies. Simplicity and Diversity have repeatedly been treated as formal parameters of aesthetic objects throughout the history of empirical aesthetics, Colors are a critical property of aesthetic objects, and Craftsmanship addresses the skillful and coherent integration of the relevant design dimensions. These four facets jointly represent perceived visual aesthetics, but are still distinguishable from each other and carry unique meaning. The subscales contained in the VisAWI demonstrate good internal consistencies. Evidence for the convergent, divergent, discriminative, and concurrent validity of the VisAWI is provided. Overall, the present research suggests that the VisAWI appears to be a sound measure of visual aesthetics of websites comprising facets of both practical and theoretical interest.
User Experience Qestionnaire (UEQ) Benchmark: Praxiserfahrungen zur Auswertung und Anwendung von UEQ-Erhebungen im Business-Umfeld [User experience questionnaire (UEQ) benchmark: Practical experiences with the analysis and application of UEQ-Evaluations in the area of business software
- M Schrepp
- S Olschner
- U Schubert
SUS-A quick and dirty usability scale. Usability evaluation in industry 189 S
- J Brooke
Benutzererlebnis bei Unternehmenssoftware: Ein Praxisbericht über die Umsetzung attraktiver Unternehmenssoftware In: Brau, H. (Hrsg.)
- Rauschenberger M.
(1992) A Power primer
- J Cohen
- Cohen J.