Analizando la V de Aiken Usando el Método Score con Hojas de Cálculo.

Abstract

A pesar de la extensión del uso del coeficiente V de Aiken para medir el acuerdo interjueces a la hora de construir y validar cuestionarios, su cálculo no está incluido en paquetes estadisticos como SPSS y se tiende a computar a mano, lo que puede resultar engorroso y enducir a errores. Penfield y Giacobbi (2004) propusieron una mejora en el Método de Aiken utilizando
intervalos de confianza, que pensamos merece la pena seguirse, según las directrices de la APA(Deckers, 2001) y de Wilkinson (1999) sobre la cuantificación de la validez de contenido. El uso
de hojas de cálculo supera las limitaciones de utilizar programas ligados a la plataforma MSWindows como el de Soto & Segovia (2009), en cuanto a modificabilidad y distribución.

Full text

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL 1
Encabezado: V AIKEN USANDO EL MÉTODO SCORE EN EXCEL
Analizando la V de Aiken Usando el Método Score con Hojas de Cálculo.
Analyzing V Aiken's Content Validity using Score Method with Spreadsheets.
José Rodríguez Cordón
Universidad de Cádiz
Keywords: V Aiken; Content Validity; Validity; Score Method; Spreadsheet;excel;calc;psicometry
Palabras clave: Validez de contenido;V de Aiken;intervalos de confianza;psicometría;validez;hoja
de cálculo;excel;calc;score
Dirección de contacto: Para cualquier contacto usar el email josercordon@gmail.com o
joserc@sasemar.es .

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL 2
Encabezado: V AIKEN USANDO EL MÉTODO SCORE EN EXCEL
Resumen
A pesar de la extensión del uso del coeficiente V de Aiken para medir el acuerdo
interjueces a la hora de construir y validar cuestionarios, su cálculo no está incluido en paquetes
estadisticos como SPSS y se tiende a computar a mano, lo que puede resultar engorroso y enducir
a errores. Penfield y Giacobbi (2004) propusieron una mejora en el Método de Aiken utilizando
intervalos de confianza, que pensamos merece la pena seguirse, según las directrices de la APA
(Deckers, 2001) y de Wilkinson (1999) sobre la cuantificación de la validez de contenido. El uso
de hojas de cálculo supera las limitaciones de utilizar programas ligados a la plataforma MS
Windows como el de Soto & Segovia (2009), en cuanto a modificabilidad y distribución.
Abstract
Despite the widespread use of factor V Aiken to measure interrater agreement when
constructing and validating questionnaires, their calculation is not included in statistical packages
such as SPSS and tends to compute by hand, which can be cumbersome and leads to errors.
Giacobbi and Penfield (2004) proposed an improved Aiken based method using confidence
intervals, we thought worth followed, and according to the guidelines of the APA (Deckers,
2001) and Wilkinson (1999) on the quantification of content validity. Using spreadsheets
overcomes the limitations associated with the use of MS Windows based platform programs as
Soto & Segovia, (2009) , in terms of modifiability and distribution.

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL 3
Encabezado: V AIKEN USANDO EL MÉTODO SCORE EN EXCEL
Introducción
Una buena parte de los cuestionarios y escalas que se utilizan en la práctica psicológica se
han construido en una primera fase sometiendo los ítems a prueba de jueces, sin embargo los
grandes paquetes estadísticos no proporcionan una manera rápida de realizar esta prueba, por lo
que en la mayoría de las ocasiones se recurre a realizar su cálculo a mano, lo que puede resultar
engorroso y enducir a errores. Por otra parte, la utilización cada vez más extendida de
cuestionarios on-line, cuyos resultados se obtienen automáticamente en formato de hoja de
cálculo -la plataforma de google (“Google Drive,” n.d.)es un buen ejemplo de ello- lleva a la
conclusión inmediata de desarrollar una hoja de cálculo con las fórmulas necesarias para realizar
esta prueba de manera automática y que además proporcione de un vistazo el criterio de decisión
sobre el mantenimiento o rechazo de cada ítem.
Método
Al afrontar la elaboración de escalas para la medición de constructos psicológicos
normalmente el investigador se encuentra con la disyuntiva de utilizar diversas medidas para
evaluar el acuerdo interjueces, tal como se expone en el trabajo de Escurra (1988). Como
sabemos, realmente lo que estamos tratando de evaluar es la validez de contenido, y según Aiken
(1980) la forma por excelencia de hacerlo es mediante el acuerdo entre jueces entendidos en la
materia.
De acuerdo con Escurra (1988), que analiza el uso de la prueba binomial, el coeficiente V
de Aiken (Aiken, 1980), y el índice simple de acuerdo y comparando sus resultados, concluye que
el más pertinente para su utilización es el V, ya que “ya que tiene la facilidad del cómputo del lA
y la posibilidad de la contrastación estadística de la PB” (Escurra, 1988, p.6), descartando

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL 4
Encabezado: V AIKEN USANDO EL MÉTODO SCORE EN EXCEL
completamente el Índice de Acuerdo, al carecer este índice de significación estadística, lo que
podría significar arbitrariedad (Escurra, 1988).
De cualquier modo, este índice V luego debe ser contrastado con una tabla de valores que
ofrece el criterio de retención o eliminación del ítem en función del número de jueces, en función
de un valor crítico de V=0,5. Para obviar esto, Penfield & Giacobbi Peter R (2004) modificaron
la ecuación de Aikenpara utilizar un método de decisión basado en intervalos de confianza, que
vienen a representar la probabilidad de ocurrencia de un suceso en una población dado un nivel de
confianza determinado por el investigador. Tal como explica Soto en su trabajo, “la justificación
de utilizar intervalos de confianza para la cuantificación de la validez de contenido va de
acuerdo con el actual énfasis de su uso para reportar hallazgos de investigación psicológica”
(APA, 2000; Soto & Segovia, 2009; Wilkinson, 1999).
La fórmula modificada por Penfield y Giacobbi queda de esta manera:
V =
̄
X −l
k
(1) siendo
̄
X
la media de las calificaciones de los jueces, l la mínima calificación
de la escala, y k el rango de la escala utilizada.
Para el cálculo de los intervalos de confianza, los autores recurren al método score de
Wilson (1927) el cual no presenta restricciones en cuanto a normalidad de distribución de la
variable, es asimétrico y altamente exacto (Soto & Segovia, 2009).
El límite inferior del intervalo queda definido por la fórmula:
L=
2nkV+ z
2
−z∗
√
4nkV(1−V )+ z
2
2(nk + z
2
)
(2) y el superior:

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL 5
Encabezado: V AIKEN USANDO EL MÉTODO SCORE EN EXCEL
U =
2nkV+z
2
+z∗
√
4nkV(1−V )+ z
2
2(nk +z
2
)
(3), siendo Z el valor de la distribución normal de
probabilidad, V la de Aiken calculada en la fórmula (1), y n el número de jueces. Mayor
explicación del método se puede encontrar en Soto & Segovia(2009).
Uso de la Hoja de Cálculo
La hoja de cálculo permite simplemente copiar y pegar las celdas obtenidas de los
cuestionarios online o introducidos en ella manualmente, y ofrece estos cálculos de manera
automática, tan sólo se debe elegir el criterio de exclusión de ítems, para ello se ofrecen niveles
liberales V
0
=0,5 (Cicchetti, 1994) o más restrictivos como V
0
=0,70 (Charter, 2003) o más aún
como V
0
=0,80. De igual forma se puede decidir el nivel de confianza del intervalo del desplegable,
existiendo opciones para 90-95-97,5-99 y 99,9%, por simplificación y para evitar que usuarios
inexpertos manipulen esta celda, pero uno con mínima experiencia en hojas de cálculo puede
fácilmente incluir otros niveles.
Se pueden ampliar el número de ítems con tan solo copiar/pegar las celdas necesarias,
completando el proceso con las celdas inferiores donde se realizan los cálculos. El usuario debe
abstenerse de modificar las celdas protegidas o que contengan fórmulas, para no alterar los
cálculos, para ello, las celdas que no deben modificarse se han sombreado en negro. Tampoco se
debe modificar el formato de celdas ya que no aparecerían en rojo los ítems fuera de rango.
Deben completarse también las casillas de mínimo de escala y del rango de valores de la
misma, se ha preferido mantenerlo así en aras de la flexibilidad y dado que en una hoja de cálculo
existe la posibilidad de copiar y pegar, es más sencillo que mediante fórmulas de cálculo
automático.

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL 6
Encabezado: V AIKEN USANDO EL MÉTODO SCORE EN EXCEL
Del mismo modo que en el programa de Soto & Segovia(2009), pero de un modo muy
visual e interactivo se da la posibilidad al investigador de, mediante la modificación de diversos
parámetros, como la significación o el número de jueces, ajustar su prueba para que cumpla con
los requisitos exigidos al planificar la investigación.
Disponibilidad
La hoja de cálculo está disponible en formatos (“LibreOffice,” 2014) y MS Excel, a
elección del usuario y se distribuye bajo licencia Reconocimiento – NoComercial (by-nc): Se
permite la generación de obras derivadas siempre que no se haga un uso comercial. Tampoco se
puede utilizar la obra original con finalidades comerciales (“Licencias - Creative Commons,”
2014). Cualquier comentario y aportaciones es bienvenido al email del autor.
Pueden ser descargadas desde las url:
https://www.dropbox.com/s/2mfdqqxqyazjbl6/prueba_V.xlsx
https://www.dropbox.com/s/ssyma37ttwduoqn/V_Aiken.ods
Referencias
Aiken, L. R. (1980). Content Validity and Reliability of Single Items or Questionnaires.
Educational and Psychological Measurement, 40(4), 955–959.
doi:10.1177/001316448004000419
APA. (2001). APA Format–6, (2000), 1–4.
Cicchetti, D. V. (1994). Guidelines, criteria, and rules of thumb for evaluating normed and
standardized assessment instruments in psychology. Psychological assessment, 6(4), 284.

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL 7
Encabezado: V AIKEN USANDO EL MÉTODO SCORE EN EXCEL
Deckers, L. (2001). Publication manual of the American psychological association. Allyn &
Bacon.
Escurra, L. M. (1988). Cuantificación de la validez de contenido por criterio de jueces. Revista de
Psicología, 6(1-2), 103–111.
Google Drive. (n.d.). Retrieved January 24, 2014, from
http://www.google.com/intl/es/drive/apps.html
LibreOffice. (2014). Retrieved January 25, 2014, from http://es.libreoffice.org/
Licencias - Creative Commons. (2014). Retrieved January 25, 2014, from
http://es.creativecommons.org/blog/licencias/
Penfield, R. D., & Giacobbi Peter R, J. (2004). Applying a score confidence interval to Aiken’s
item content-relevance index. Measurement in Physical Education and Exercise Science,
8(4), 213–225.
Soto, M., & Segovia, L. (2009). Intervalos de confianza asimétricos para el índice la validez de
contenido: Un programa Visual Basic para la V de Aiken, 25(1985), 169–171.
Wilkinson, L. (1999). Statistical methods in psychology journals: guidelines and explanations.
American psychologist, 54(8), 594.
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal
of the American Statistical Association, 22(158), 209–212.