Proctoring: reto para la enseñanza del siglo XXI

Abstract

Este paper muestra los nuevos sistemas de evaluación y certificación de competencias, capacidades y conocimientos realizados sin la presencialidad del alumno en el centro educativo, utilizando las técnicas de Proctoring y monitoreo que aseguran la calidad de la evaluación a pesar de encontrarse estudiantes y examinadores en lugares diferentes.

Full text

Proctoring: reto para la enseñanza del siglo XXI
Martínez López, Francisco José
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
francis@uhu.es
Infante Moro, Alfonso
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
alfonso.infante@uhu.es
Infante Moro, Juan Carlos
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
juancarlos.infante@uhu.es
García Ordaz, Mercedes
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
ordaz@uhu.es
Gallardo Pérez, Julia
Universidad de Huelva
Huelva, Spain
julia.gallardo@uhu.es
Abstract—Este paper muestra los nuevos sistemas de
evaluación y certificación de competencias, capacidades y
conocimientos realizados sin la presencialidad del alumno en el
centro educativo, utilizando las técnicas de Proctoring y
monitoreo que aseguran la calidad de la evaluación a pesar de
encontrarse estudiantes y examinadores en lugares diferentes.
Keywords—Proctoring, e-evaluación, certificación de
competencias.
I. INTRODUCCIÓN
Los métodos docentes están cambiando de forma
copernicana en las últimas décadas. La introducción de la
enseñanza virtual hace que la adquisición de conocimientos,
competencias y capacidades se pueda realizar de forma
deslocalizada. En cambio, la evaluación de estos
conocimientos, competencias y capacidades no han avanzado
en igual forma.
Tradicionalmente los cambios educativos se han centrado
en el proceso enseñanza-aprendizaje y han evolucionado
menos en el de evaluación. Ahora nos encontramos con que la
presencialidad de alumno y profesor u examinador que
certifique los conocimientos es un problema cuando los
procesos formativos se realizan en lugares remotos, diferentes
ciudades, países e incluso continentes.
Por ello, empiezan a surgir herramientas que persiguen
asegurar la calidad del proceso evaluativo sin requerir
necesariamente la presencia física en un lugar concreto ni la
unión en dicho lugar de estudiante y examinador.
De entre estas técnicas el Proctoring es la que más está
avanzando, ya que permite, con la utilización exhaustiva de los
recursos telemáticos, Pathak [1] la realización de las pruebas en
lugar donde el estudiante se encuentre y que se pueden
monitorizar desde sitios diferentes.
Esta metodología ya está siendo experimentada de forma
muy habitual para nuevas formas educativas como los MOOC
(Massive Open Online Courses), que están conformándose
como una herramienta muy eficaz para adquirir conocimientos
de forma remota, pero en los que la certificación de dichos
conocimientos necesita de herramientas de evaluación que
permitan realizar en el mismo lugar y formato el proceso de
aprendizaje y el examen. Una de las principales plataformas,
edX, ya utiliza esta metodología desde junio de 2017 [2].
II. CONCEPTUALIZACIÓN DE PROCTORING
Este término proviene de la palabra “Proctor” que significa
vigilar, supervisar o monitorizar. Si lo unimos a la realización
de pruebas de evaluación, hablamos de una metodología para
hacer exámenes en los que la vigilancia se realiza de forma
remota.
Los exámenes pueden ser informatizados (normalmente on-
line, aunque también puede ser off line) o en papel. Hoy día
cada vez es más habitual que las pruebas sean on-line.
La vigilancia puede ser visual y auditiva, utilizando
cámaras, normalmente las del propio ordenador o las del
teléfono móvil del examinado, también pueden ser en salas

preparadas para este cometido, aunque estamos hablando de
que se persigue que las pruebas se puedan hacer en donde esté
el alumno, por ejemplo, su propia casa.
También se suele monitorizar el ordenador, si la prueba está
informatizada. Hoy día hay herramientas informáticas que
permiten visualizar la pantalla del ordenador donde el estuante
hace la prueba y, además, hay navegadores de internet
especiales para el Proctoring que impiden que se salga de la
pantalla del examen y sólo se puede hacer la prueba sin
consultar en ese ordenador ninguna aplicación o programa.
Sistemas como Remote Proctor NOW (RPNOW), eProctoring
o ProctorExams, utilizan sus propios sistemas para asegurase el
control del ordenador en el que el alumno realiza la prueba.
Los exámenes pueden ser de cualquier tipo, aunque para
dar los resultados de forma inmediata aquellos que permiten la
corrección automatizada, (como los Tipo Test) pueden ser muy
convenientes en este sistema de evaluación.
Ya se han desarrollado modelos matemáticos y algoritmos
para mejorar el comportamiento de los que diseñan los
exámenes y de los que los vigilan, Al-yakoob, Sherali y Al-
jazzaf [3], en aras a la mejora del sistema de Proctoring.
También estudios sobre buenas practicas en materia concretas,
Collins, Weber y Zambrano [4] en temas de ética o en
facultades de ciencias económicas, Navarro [5], o en exámenes
sobre materias marítimas, Jarvis [6].
III. VENTAJAS E INCONVENIENTES DEL PROCTORING
Las ventajas son claras, ya que facilita los procesos
evaluadores, tanto en la forma de realizarlos, ya no es necesario
que se hagan los exámenes a la vez en un aula, como en el
fondo, pues el alumno puede estar más tranquilo en su lugar de
trabajo habitual y no tiene la influencia de otros estudiantes que
pueden molestarlo en la realización del examen.
Para las nuevas formas de enseñanza este método facilita
enormemente la actividad al poder realizarse los exámenes
prácticamente de forma global.
También en la enseñanza dentro de instituciones o
empresas en las que esta metodología puede hacer que los
departamentos de formación tengan más facilidades y
posibilidades de desarrollar su función.
También permite la adaptabilidad de los exámenes, para
definir el nivel del estudiante sobre una escala, como la del
Marco Europeo de Referencia de las Lenguas o en los Test
Adaptativos, Kantrowitz y Dawson [7].
Los inconvenientes también pueden ser importantes, ya que
no siempre el examen está bien preparado para realizarse bajo
la modalidad de Proctoring, ni los vigilantes o los
examinadores saben siempre cómo actuar, sobre todo cuando
se presentan problemas de reacción del estudiante o de
problemas en la comunicación telemática.
Puede haber también problemas en la fundamentación
psicométrica de las pruebas, Kantrowitz y Dainis [8], que
deben ser analizadas con detenimiento. También en los
exámenes que requieren una parte más práctica, como por
ejemplo de estudios de administración de empresas, Wright [9],
o en los MBA, Roe, Toma, y Yallapragada [10].
Además, hay estudiantes que están más acostumbrados a la
realización de exámenes con lápiz y papel, cosa que también se
puede hacen en Proctoring, pero lo normal es que sean
informatizados on-line. El estudiante debe ser formado para
saber cómo actuar ante exámenes con vigilancia remota y
preguntas on-line, Maguire, Smith, Brallier y Palm [11].
Hay un aspecto que puede ser un problema o una ventaja, la
seguridad y la integridad de todo el proceso, incluido la del
profesor, Borcan, Lindahl y Mitrut, [12]). En este aspecto hoy
día se está avanzando bastante, Moclaire, Middleton, Cox,
Foster y Prettyman [13], ya que las telecomunicaciones son
más robustas, los sistemas de cifrado de las transmisiones son
más consistentes y existe una cultura de la seguridad, y unos
protocolos informáticos que permiten casi asegurar la no
alteración de los resultados de las pruebas.
Algo parecido ocurre con la privacidad de los datos, puede
ser este tema un inconveniente, aunque a la larga quizás sea
una ventaja, por el avance en los protocolos de seguridad de las
pruebas realizadas mediante Proctoring.
IV. APLICACIONES DEL PROCTORING
Obviamente las aplicaciones son muy numerosas, ya existe
una literatura que va analizando las diferentes posibilidades en
campos muy dispares.
En el reclutamiento de personal on-line, Behrend [14], ya
se está realizando cada vez on más asiduidad. También para los
campus virtuales, en los que ya esta metodología se está
desarrollando de forma casi exponencial, Dew [15].
Para la formación en territorios con dispersión geográfica
es una buena alternativa, cada vez hay más universidades a
distancia, pero también para todo tipo de formación profesional
o a lo largo de toda la vida y la de los propios trabajadores y
funcionarios, Blimpo [16]. En países emergentes, Mujtaba y
Afza [17], el Proctoring es especialmente importante.
Es también muy usado para nuevas formas de enseñanza,
como la utilización de la realidad aumentada y otros
procedimientos, Shanbari, Blinn e Issa [18], sobre todo en
estudios de ingeniería o incluso de arte o historia.
Los procesos de enseñanza-aprendizaje, se realizan cada
vez más en entornos asíncronos, Hilgers, Flachsbart y Elrod
[19] y en clases con horarios y estructuras diferentes. Por ello,
la evaluación también puede ser asíncrona a través del
Proctoring. Es más, a veces hay clases síncronas, pero
completamente basadas en sistemas por videoconferencias on-

line que requieren posteriormente exámenes tipo Proctoring,
Wagner, Enders, Pirie y Thomas [20].
En los exámenes que permiten la certificación para ejercer
una profesión, cada vez se está orientando más hacia este tipo
de exámenes, como el International Accrediting Body [21] y
otros centros como universidades, por ejemplo, la Indiana
University [22] y para evaluar todo tipo de competencias,
Arbués [23].
Como se ha indicado, en las nuevas formas de educación
como los MOOC o los Microdegrees, este sistema es muy útil,
sobre todo cuando los cursos son muy masivos y se desea una
acreditación que sea más real y eficaz que la tradicional del que
hace el curso on-line sin identificarse correctamente o mediante
la revisión por otros alumnos para evaluar a sus propios
compañeros. El Proctoring en estos casos se revela como una
metodología imprescindible para dotar de calidad y
credibilidad a las certificaciones.
V. CONCLUSIONES
El Proctoring es una forma de realizar pruebas y exámenes
que se irá imponiendo como la habitual en la enseñanza virtual,
incluso también en la presencial.
Ya es una realidad, como lo demuestra que uno de los
sistemas de Proctoring más habituales en la actualidad,
ProctorU, anunció en septiembre de 2017 [24] que ya había
realizado por este procedimiento más de 4 millones de
exámenes.
La inteligencia artificial va a contribuir en los próximos
años a desarrollarla de forma más eficaz y segura, lo que hará
que este sistema termine imponiéndose como el más utilizado
para la realización de acreditaciones, certificaciones y
exámenes.
Ahora es el momento de realizar mejoras a este sistema, en
el que se van incorporando metodologías para la acreditación
de las personas que realizan el examen, normalmente mediante
el escaneo de documentos oficiales de identificación que se
complementan con sistemas de biopresencia, así como otros
como la identificación por forma de uso del teclado, voz,
examen del rostro, iris o huellas dactilares por citar algunos
ejemplos.
Numerosas instituciones están ya investigando y realizando
pruebas reales de Proctoring y algunas, como la Fundación
Certiuni [25], ya están realizando protocolos para la realización
de pruebas de Proctoring e incluso la creación de un sello de
acreditación para los diferentes sistemas que hay para hacer
pruebas mediante Proctoring en la actualidad en le mercado.
Ahora el Proctoring se puede entender como algo extraño al
sistema educativo tradicional, pero estamos seguros que en el
futuro será más habitual realizar exámenes y pruebas de
certificación de competencias mediante este sistema que con
otros tradicionales.
REFERENCES
[1] Pathak, B. K. (2016). Emerging online educational models and the
transformation of traditional universities. Electronic Markets, 26(4),
315-321.
[2] EdX. Online proctoring pioneer joins open edX platform to ensure
integrity of online testing.. PR Newswire. 2017, Jul 20.
[3] Al-yakoob, S., Sherali, H. D., & Al-jazzaf, M. (2010). A mixed-integer
mathematical modeling approach to exa m timetabling. Computational
Management Science, 7(1), 19-46.
[4] Collins, D., Weber, J., & Zambrano, R. (2014). Teaching business ethics
online: Perspectives on course design, delivery, student engagement, and
assessment. Journal of Business Ethics, 125(3), 513-529.
[5] Navarro, P. (2015). How economics faculty can survive (and perhaps
thrive) in a brave new online world. The Journal of Economic
Perspectives, 29(4), 155-176.
[6] Jarvis, R. M. (2014). The law school admiralty exam. Journal of
Maritime Law and Commerce, 45(1), 97-117.
[7] Kantrowitz, T. M., Dawson, C. R., & Fetzer, M. S. (2011). Computer
adaptive testing (CAT): A faster, smarter, and more secure approach to
pre-employment testing. Journal of Business and Psychology, 26(2),
227-232.
[8] Kantrowitz, T. M., & Dainis, A. M. (2014). How secure are unproctored
pre-employment tests? analysis of inconsistent test scores. Journal of
Business and Psychology, 29(4), 605-616.
[9] Wright, M. K. (2014). The trouble with online undergraduate business
degrees in traditional regional universities. Journal of College Teaching
& Learning (Online), 11(1), 13.
[10] Roe, C. W., Toma, A. G., & Yallapragada, R. R. (2015). Innovation in
business education: Developing A high quality online MBA. American
Journal of Business Education (Online), 8(2), 169.
[11] Maguire, K. A., Smith, D. A., Brallier, S. A., & Palm, L. J. (2010).
Computer-based testing: a comparison of computer-based and paper-
and-pencil assessment. Academy of Educational Leadership
Journal, 14(4), 117-125.
[12] Borcan, O., Lindahl, M., & Mitrut, A. (2017). Fighting corruption in
education: What works and who benefits? American Economic
Journal.Economic Policy, 9(1), 180-209.
[13] Moclaire, C., Middleton, E., Cox, B. D., Foster, C., & Prettyman, T.
(2013). Balancing security and efficiency in limited-size computer
adaptive test libraries. Journal of Organizational Psychology, 13(1), 96-
104.
[14] Behrend, T. S. (2010). Online recruiting and selection: Innovations in
talent acquisition. Personnel Psychology, 63(3), 804-806.
[15] Dew, J. (2010). Global, mobile, virtual, and social: The college campus
of tomorrow. The Futurist, 44(2), 46-50.
[16] Blimpo, M. P. (2014). Team incentives for education in developing
countries: A randomized field experiment in benin. American Economic
Journal.Applied Economics, 6(4), 90-109.
[17] Mujtaba, B. G., & Afza, T. (2013). Virtual leaps in distance education:
A conversation with dr. naveed A. malik, founding rector of the virtual
university of pakistan. Journal of Applied Management and
Entrepreneurship, 18(3), 113-122.
[18] Shanbari, H., Blinn, N., & Issa, R. R. A. (2016). Using augmented
reality video in enhancing masonry and roof component comprehension
for construction management students. Engineering, Construction and
Architectural Management, 23(6), 765-781.
[19] Hilgers, M. G., Flachsbart, B. B., & Elrod, C. C. (2012). Collaborative
international education: Reaching across borders. Multicultural
Education & Technology Journal, 6(1), 45-56.
[20] Wagner, E., Enders, J., Pirie, M., & Thomas, D. (2016). Supporting
academic integrity in a fully-online degree completion progra m through
the use of synchronous video conferences. Journal of Information
Systems Education, 27(3), 159-173.
[21] International Accrediting Body (2017). International Accrediting Body
for first time, approves online proctoring of critical examinations. PR
Newswire. 2017, Dec 07.

[22] Indiana University (2017). Indiana University selects proctoring
platform to ensure integrity of online assessments. PR Newswire. 2017,
Dec, 06
[23] Arbués, E. (2016). El desarrollo de competencias en el alumnado
universitario. Nuevos retos metodológicos. Certiuni Journal, (2), 10-18.
[24] ProctorU (2017). ProctorU celebrates delivering 4 million online
proctored exams. PR Newswire. 2017, Sep 25.
[25] Martínez, F. J. (2015). Certiuni. Certiuni Journal, 1, 7-9.