Conference PaperPDF Available

Abstract

Este paper muestra los nuevos sistemas de evaluación y certificación de competencias, capacidades y conocimientos realizados sin la presencialidad del alumno en el centro educativo, utilizando las técnicas de Proctoring y monitoreo que aseguran la calidad de la evaluación a pesar de encontrarse estudiantes y examinadores en lugares diferentes.
Proctoring: reto para la enseñanza del siglo XXI
Martínez López, Francisco José
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
francis@uhu.es
Infante Moro, Alfonso
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
alfonso.infante@uhu.es
Infante Moro, Juan Carlos
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
juancarlos.infante@uhu.es
García Ordaz, Mercedes
Universidad de Huelva, Grupo de Investigación GITICE
Huelva, Spain
ordaz@uhu.es
Gallardo Pérez, Julia
Universidad de Huelva
Huelva, Spain
julia.gallardo@uhu.es
Abstract—Este paper muestra los nuevos sistemas de
evaluación y certificación de competencias, capacidades y
conocimientos realizados sin la presencialidad del alumno en el
centro educativo, utilizando las técnicas de Proctoring y
monitoreo que aseguran la calidad de la evaluación a pesar de
encontrarse estudiantes y examinadores en lugares diferentes.
Keywords—Proctoring, e-evaluación, certificación de
competencias.
I. INTRODUCCIÓN
Los métodos docentes están cambiando de forma
copernicana en las últimas décadas. La introducción de la
enseñanza virtual hace que la adquisición de conocimientos,
competencias y capacidades se pueda realizar de forma
deslocalizada. En cambio, la evaluación de estos
conocimientos, competencias y capacidades no han avanzado
en igual forma.
Tradicionalmente los cambios educativos se han centrado
en el proceso enseñanza-aprendizaje y han evolucionado
menos en el de evaluación. Ahora nos encontramos con que la
presencialidad de alumno y profesor u examinador que
certifique los conocimientos es un problema cuando los
procesos formativos se realizan en lugares remotos, diferentes
ciudades, países e incluso continentes.
Por ello, empiezan a surgir herramientas que persiguen
asegurar la calidad del proceso evaluativo sin requerir
necesariamente la presencia física en un lugar concreto ni la
unión en dicho lugar de estudiante y examinador.
De entre estas técnicas el Proctoring es la que más está
avanzando, ya que permite, con la utilización exhaustiva de los
recursos telemáticos, Pathak [1] la realización de las pruebas en
lugar donde el estudiante se encuentre y que se pueden
monitorizar desde sitios diferentes.
Esta metodología ya está siendo experimentada de forma
muy habitual para nuevas formas educativas como los MOOC
(Massive Open Online Courses), que están conformándose
como una herramienta muy eficaz para adquirir conocimientos
de forma remota, pero en los que la certificación de dichos
conocimientos necesita de herramientas de evaluación que
permitan realizar en el mismo lugar y formato el proceso de
aprendizaje y el examen. Una de las principales plataformas,
edX, ya utiliza esta metodología desde junio de 2017 [2].
II. CONCEPTUALIZACIÓN DE PROCTORING
Este término proviene de la palabra “Proctor” que significa
vigilar, supervisar o monitorizar. Si lo unimos a la realización
de pruebas de evaluación, hablamos de una metodología para
hacer exámenes en los que la vigilancia se realiza de forma
remota.
Los exámenes pueden ser informatizados (normalmente on-
line, aunque también puede ser off line) o en papel. Hoy día
cada vez es más habitual que las pruebas sean on-line.
La vigilancia puede ser visual y auditiva, utilizando
cámaras, normalmente las del propio ordenador o las del
teléfono móvil del examinado, también pueden ser en salas
preparadas para este cometido, aunque estamos hablando de
que se persigue que las pruebas se puedan hacer en donde esté
el alumno, por ejemplo, su propia casa.
También se suele monitorizar el ordenador, si la prueba es
informatizada. Hoy día hay herramientas informáticas que
permiten visualizar la pantalla del ordenador donde el estuante
hace la prueba y, además, hay navegadores de internet
especiales para el Proctoring que impiden que se salga de la
pantalla del examen y sólo se puede hacer la prueba sin
consultar en ese ordenador ninguna aplicación o programa.
Sistemas como Remote Proctor NOW (RPNOW), eProctoring
o ProctorExams, utilizan sus propios sistemas para asegurase el
control del ordenador en el que el alumno realiza la prueba.
Los exámenes pueden ser de cualquier tipo, aunque para
dar los resultados de forma inmediata aquellos que permiten la
corrección automatizada, (como los Tipo Test) pueden ser muy
convenientes en este sistema de evaluación.
Ya se han desarrollado modelos matemáticos y algoritmos
para mejorar el comportamiento de los que diseñan los
exámenes y de los que los vigilan, Al-yakoob, Sherali y Al-
jazzaf [3], en aras a la mejora del sistema de Proctoring.
También estudios sobre buenas practicas en materia concretas,
Collins, Weber y Zambrano [4] en temas de ética o en
facultades de ciencias económicas, Navarro [5], o en exámenes
sobre materias marítimas, Jarvis [6].
III. VENTAJAS E INCONVENIENTES DEL PROCTORING
Las ventajas son claras, ya que facilita los procesos
evaluadores, tanto en la forma de realizarlos, ya no es necesario
que se hagan los exámenes a la vez en un aula, como en el
fondo, pues el alumno puede estar s tranquilo en su lugar de
trabajo habitual y no tiene la influencia de otros estudiantes que
pueden molestarlo en la realización del examen.
Para las nuevas formas de enseñanza este método facilita
enormemente la actividad al poder realizarse los exámenes
prácticamente de forma global.
También en la enseñanza dentro de instituciones o
empresas en las que esta metodología puede hacer que los
departamentos de formación tengan más facilidades y
posibilidades de desarrollar su función.
También permite la adaptabilidad de los exámenes, para
definir el nivel del estudiante sobre una escala, como la del
Marco Europeo de Referencia de las Lenguas o en los Test
Adaptativos, Kantrowitz y Dawson [7].
Los inconvenientes también pueden ser importantes, ya que
no siempre el examen está bien preparado para realizarse bajo
la modalidad de Proctoring, ni los vigilantes o los
examinadores saben siempre cómo actuar, sobre todo cuando
se presentan problemas de reacción del estudiante o de
problemas en la comunicación telemática.
Puede haber también problemas en la fundamentación
psicométrica de las pruebas, Kantrowitz y Dainis [8], que
deben ser analizadas con detenimiento. También en los
exámenes que requieren una parte más práctica, como por
ejemplo de estudios de administración de empresas, Wright [9],
o en los MBA, Roe, Toma, y Yallapragada [10].
Además, hay estudiantes que están más acostumbrados a la
realización de exámenes con lápiz y papel, cosa que también se
puede hacen en Proctoring, pero lo normal es que sean
informatizados on-line. El estudiante debe ser formado para
saber cómo actuar ante exámenes con vigilancia remota y
preguntas on-line, Maguire, Smith, Brallier y Palm [11].
Hay un aspecto que puede ser un problema o una ventaja, la
seguridad y la integridad de todo el proceso, incluido la del
profesor, Borcan, Lindahl y Mitrut, [12]). En este aspecto hoy
día se está avanzando bastante, Moclaire, Middleton, Cox,
Foster y Prettyman [13], ya que las telecomunicaciones son
más robustas, los sistemas de cifrado de las transmisiones son
más consistentes y existe una cultura de la seguridad, y unos
protocolos informáticos que permiten casi asegurar la no
alteración de los resultados de las pruebas.
Algo parecido ocurre con la privacidad de los datos, puede
ser este tema un inconveniente, aunque a la larga quizás sea
una ventaja, por el avance en los protocolos de seguridad de las
pruebas realizadas mediante Proctoring.
IV. APLICACIONES DEL PROCTORING
Obviamente las aplicaciones son muy numerosas, ya existe
una literatura que va analizando las diferentes posibilidades en
campos muy dispares.
En el reclutamiento de personal on-line, Behrend [14], ya
se está realizando cada vez on más asiduidad. También para los
campus virtuales, en los que ya esta metodología se está
desarrollando de forma casi exponencial, Dew [15].
Para la formación en territorios con dispersión geográfica
es una buena alternativa, cada vez hay más universidades a
distancia, pero también para todo tipo de formación profesional
o a lo largo de toda la vida y la de los propios trabajadores y
funcionarios, Blimpo [16]. En países emergentes, Mujtaba y
Afza [17], el Proctoring es especialmente importante.
Es también muy usado para nuevas formas de enseñanza,
como la utilización de la realidad aumentada y otros
procedimientos, Shanbari, Blinn e Issa [18], sobre todo en
estudios de ingeniería o incluso de arte o historia.
Los procesos de enseñanza-aprendizaje, se realizan cada
vez más en entornos asíncronos, Hilgers, Flachsbart y Elrod
[19] y en clases con horarios y estructuras diferentes. Por ello,
la evaluación también puede ser asíncrona a través del
Proctoring. Es más, a veces hay clases síncronas, pero
completamente basadas en sistemas por videoconferencias on-
line que requieren posteriormente exámenes tipo Proctoring,
Wagner, Enders, Pirie y Thomas [20].
En los exámenes que permiten la certificación para ejercer
una profesión, cada vez se está orientando más hacia este tipo
de exámenes, como el International Accrediting Body [21] y
otros centros como universidades, por ejemplo, la Indiana
University [22] y para evaluar todo tipo de competencias,
Arbués [23].
Como se ha indicado, en las nuevas formas de educación
como los MOOC o los Microdegrees, este sistema es muy útil,
sobre todo cuando los cursos son muy masivos y se desea una
acreditación que sea más real y eficaz que la tradicional del que
hace el curso on-line sin identificarse correctamente o mediante
la revisión por otros alumnos para evaluar a sus propios
compañeros. El Proctoring en estos casos se revela como una
metodología imprescindible para dotar de calidad y
credibilidad a las certificaciones.
V. CONCLUSIONES
El Proctoring es una forma de realizar pruebas y exámenes
que se irá imponiendo como la habitual en la enseñanza virtual,
incluso también en la presencial.
Ya es una realidad, como lo demuestra que uno de los
sistemas de Proctoring más habituales en la actualidad,
ProctorU, anunció en septiembre de 2017 [24] que ya había
realizado por este procedimiento más de 4 millones de
exámenes.
La inteligencia artificial va a contribuir en los próximos
años a desarrollarla de forma más eficaz y segura, lo que ha
que este sistema termine imponiéndose como el más utilizado
para la realización de acreditaciones, certificaciones y
exámenes.
Ahora es el momento de realizar mejoras a este sistema, en
el que se van incorporando metodologías para la acreditación
de las personas que realizan el examen, normalmente mediante
el escaneo de documentos oficiales de identificación que se
complementan con sistemas de biopresencia, así como otros
como la identificación por forma de uso del teclado, voz,
examen del rostro, iris o huellas dactilares por citar algunos
ejemplos.
Numerosas instituciones están ya investigando y realizando
pruebas reales de Proctoring y algunas, como la Fundación
Certiuni [25], ya están realizando protocolos para la realización
de pruebas de Proctoring e incluso la creación de un sello de
acreditación para los diferentes sistemas que hay para hacer
pruebas mediante Proctoring en la actualidad en le mercado.
Ahora el Proctoring se puede entender como algo extraño al
sistema educativo tradicional, pero estamos seguros que en el
futuro será más habitual realizar exámenes y pruebas de
certificación de competencias mediante este sistema que con
otros tradicionales.
REFERENCES
[1] Pathak, B. K. (2016). Emerging online educational models and the
transformation of traditional universities. Electronic Markets, 26(4),
315-321.
[2] EdX. Online proctoring pioneer joins open edX platform to ensure
integrity of online testing.. PR Newswire. 2017, Jul 20.
[3] Al-yakoob, S., Sherali, H. D., & Al-jazzaf, M. (2010). A mixed-integer
mathematical modeling approach to exa m timetabling. Computational
Management Science, 7(1), 19-46.
[4] Collins, D., Weber, J., & Zambrano, R. (2014). Teaching business ethics
online: Perspectives on course design, delivery, student engagement, and
assessment. Journal of Business Ethics, 125(3), 513-529.
[5] Navarro, P. (2015). How economics faculty can survive (and perhaps
thrive) in a brave new online world. The Journal of Economic
Perspectives, 29(4), 155-176.
[6] Jarvis, R. M. (2014). The law school admiralty exam. Journal of
Maritime Law and Commerce, 45(1), 97-117.
[7] Kantrowitz, T. M., Dawson, C. R., & Fetzer, M. S. (2011). Computer
adaptive testing (CAT): A faster, smarter, and more secure approach to
pre-employment testing. Journal of Business and Psychology, 26(2),
227-232.
[8] Kantrowitz, T. M., & Dainis, A. M. (2014). How secure are unproctored
pre-employment tests? analysis of inconsistent test scores. Journal of
Business and Psychology, 29(4), 605-616.
[9] Wright, M. K. (2014). The trouble with online undergraduate business
degrees in traditional regional universities. Journal of College Teaching
& Learning (Online), 11(1), 13.
[10] Roe, C. W., Toma, A. G., & Yallapragada, R. R. (2015). Innovation in
business education: Developing A high quality online MBA. American
Journal of Business Education (Online), 8(2), 169.
[11] Maguire, K. A., Smith, D. A., Brallier, S. A., & Palm, L. J. (2010).
Computer-based testing: a comparison of computer-based and paper-
and-pencil assessment. Academy of Educational Leadership
Journal, 14(4), 117-125.
[12] Borcan, O., Lindahl, M., & Mitrut, A. (2017). Fighting corruption in
education: What works and who benefits? American Economic
Journal.Economic Policy, 9(1), 180-209.
[13] Moclaire, C., Middleton, E., Cox, B. D., Foster, C., & Prettyman, T.
(2013). Balancing security and efficiency in limited-size computer
adaptive test libraries. Journal of Organizational Psychology, 13(1), 96-
104.
[14] Behrend, T. S. (2010). Online recruiting and selection: Innovations in
talent acquisition. Personnel Psychology, 63(3), 804-806.
[15] Dew, J. (2010). Global, mobile, virtual, and social: The college campus
of tomorrow. The Futurist, 44(2), 46-50.
[16] Blimpo, M. P. (2014). Team incentives for education in developing
countries: A randomized field experiment in benin. American Economic
Journal.Applied Economics, 6(4), 90-109.
[17] Mujtaba, B. G., & Afza, T. (2013). Virtual leaps in distance education:
A conversation with dr. naveed A. malik, founding rector of the virtual
university of pakistan. Journal of Applied Management and
Entrepreneurship, 18(3), 113-122.
[18] Shanbari, H., Blinn, N., & Issa, R. R. A. (2016). Using augmented
reality video in enhancing masonry and roof component comprehension
for construction management students. Engineering, Construction and
Architectural Management, 23(6), 765-781.
[19] Hilgers, M. G., Flachsbart, B. B., & Elrod, C. C. (2012). Collaborative
international education: Reaching across borders. Multicultural
Education & Technology Journal, 6(1), 45-56.
[20] Wagner, E., Enders, J., Pirie, M., & Thomas, D. (2016). Supporting
academic integrity in a fully-online degree completion progra m through
the use of synchronous video conferences. Journal of Information
Systems Education, 27(3), 159-173.
[21] International Accrediting Body (2017). International Accrediting Body
for first time, approves online proctoring of critical examinations. PR
Newswire. 2017, Dec 07.
[22] Indiana University (2017). Indiana University selects proctoring
platform to ensure integrity of online assessments. PR Newswire. 2017,
Dec, 06
[23] Arbués, E. (2016). El desarrollo de competencias en el alumnado
universitario. Nuevos retos metodológicos. Certiuni Journal, (2), 10-18.
[24] ProctorU (2017). ProctorU celebrates delivering 4 million online
proctored exams. PR Newswire. 2017, Sep 25.
[25] Martínez, F. J. (2015). Certiuni. Certiuni Journal, 1, 7-9.
ResearchGate has not been able to resolve any citations for this publication.
Article
Full-text available
Since 2012, we have used synchronous, web-based video conferences in our fully-online degree completion program. Students are required to participate in four live video conferences with their professor and a small group of peers in all upper division online courses as a minimum requirement for passing the class. While these synchronous video conferences create some challenges in implementation, they address concerns about academic integrity in three important ways. First, they provide a structured space for faculty to be present with students in a face-to-face manner. Second, they provide important checks to avoid impersonation schemes which are a common concern with online coursework. Third, they assist students in keeping up on the course material, which may mitigate the temptation to cheat. As distance learning courses and online programs have exploded in number, the issue of academic integrity has taken center stage for program design. In this paper, we share a case of a program built to address academic integrity issues through the regular and highly structured use of small group video conferencing as a requirement for all courses. We describe the video conferencing protocol of our online program and suggest best practices for using video conferencing to address concerns about online coursework/programs. We examine this protocol from a theoretical perspective of the Social Shaping of Technology in order to highlight the importance of viewing video conferencing as a social and technical practice.
Article
Full-text available
Employment tests have long been scrutinized for psychometric considerations such as validity and reliability, but the extent to which cheating may occur on pre-employment tests has generally been overlooked. With the rise of unproctored, on-demand, online testing, the need has never been greater to focus on design and process considerations that can help mitigate the potential for cheating on employment tests. This paper builds on the limited existing research on the detection of inconsistent test scores on unproctored Internet testing. Job candidates (n = 4,026) completed a computer adaptive cognitive ability test under two conditions: an unproctored screening test followed by a proctored confirmation test. Analyses focused on detecting instances of inconsistent test scores based on comparison of standard errors of measure for the unproctored and proctored test scores (Guo and Drasgow, Int J Sel Assess 18:351–364, 2010). Results revealed a relatively low number of inconsistent scores and are discussed in the context of future research, application, and theory building on the nature of cheating on pre-employment tests.
Article
We investigate the distributional consequences of a corruptionfighting initiative in Romania targeting the endemic fraud in a highstakes high school exit exam, which introduced CCTV monitoring of the exam and credible punishment threats for teachers and students. We find that the campaign was effective in reducing corruption and, in particular, that monitoring increased the effectiveness of the punishment threats. Estimating the heterogeneous impact for students of different poverty status we show that curbing corruption led to a worrisome score gap increase between poor and nonpoor students. Consequently, the poor students have reduced chances to enter an elite university.
Article
Purpose New methods to introduce topics in classrooms are needed to enhance the construction management educational experience. One of these new methods is showing real time videos that highlight the various elements of concern in the classroom lecture. The purpose of this paper is to use augmented reality technology (ART) and a layer of artificial visualizations to simulate the environmental context and spatio-temporal constraints of various construction processes. The superimposition of images serves as an instructional mechanism to virtually incorporate jobsite experiences into classrooms. This enhancement of spatio-temporal constraints enables learners to visualize context and hidden processes otherwise unattainable through traditional classroom lectures. Design/methodology/approach A significantly improved perception of reality is created through the combination of the learners’ ability to understand the complexity of construction products (e.g. assemblies) and associated jobsite processes by viewing the real environment augmented with computer-generated information layers. Findings Testing the ART video in a classroom with undergraduate construction management students showed that students who were exposed to the ART video were able to remember and identify the highlighted elements in the corresponding assembly more effectively than those who were not. Originality/value ART is a valuable tool in enhancing classroom learning and gives educators a teaching advantage when they combine traditional classroom lectures with ART enabled media.
Article
The information and communications technology (ICT) led revolution in the last two decades has transformed a large number of traditional businesses. The impact has been more significant in industries dominated by information goods such as music, software, and newspapers. Higher education sector is information-centric and its digitization is inevitable. The new generation of the Internet-based educational business models have emerged and they have already started evolving to make electronic learning (eLeraning) as effective and efficient as electronic commerce (eCommerce) has become in retailing. Drawing on information goods theory in economics, online retailers and marketplaces literature in information systems, and contemporary research on eLearning, this paper classifies and analyses the emerging educational business models into online education marketplaces (OEM), online education providers (OEP), and online education services (OES) and also provides a roadmap for the transformation of traditional universities. © 2016 Institute of Applied Informatics at University of Leipzig
Article
Because of the surging demand for undergraduate business degrees and the increasing availability of effective online educational content, many traditional regional universities have added, or are now considering adding, online undergraduate business degree programs to their classroom programs. Through a review of the literature bearing on that decision, this paper enumerates many of the heretofore-unreported risks unique to such programs and suggests methods to mitigate these risks. The paper argues that online undergraduate business degree programs in traditional regional universities, if not carefully promoted and managed, can be so troublesome that they are unlikely to add long-term economic value to either the community or the university. The arguments presented in this paper suggest many future areas for empirical work.
Article
Online degree programs were probably pioneered by for-profit universities such as University of Phoenix. Many online degree programs were initially considered low quality academic programs compared to traditional programs. Therefore, many public and private universities were slow to adopt the online programs. However, gradually more and more "non-traditional" students began to enter schools. Employees already holding jobs began to seek to better their qualifications by coming back to school while still working. For both these groups, online degree programs offered an opportunity to go to school while still employed. Consequently, many schools offering traditional MBA programs are forced to offer online MBA programs to meet the demand and to beat the competing schools. In keeping up with the trend, Arkansas State University launched a high quality online MBA program that parallels the best of the ongoing online MBA programs. This MBA program has been ranked number 1 in faculty credentials and training and in the top 15 in all categories among all online MBA programs by U. S. News and World Report for three consecutive years. This paper presents how the Graduate Faculty of Arkansas State's College of Business developed its high quality online MBA and how the program operates with revenue sharing for the College of Business.
Article
The academy in which we toil is moving rapidly towards a greater role for online delivery of higher education, and both fans and skeptics offer strong reasons to believe this technological shock will have substantial disruptive effects on faculty. How can we as economic educators continue to provide sufficient value-added to justify our role in a world where much of what we now do is effectively being automated and commoditized? In this brave new online world, many successful and resilient faculty will add value (and differentiate their product) not by producing costly and elaborate multimedia lectures in which they become a superstar professor-celebrity, but rather through careful, clever, and innovative choices regarding both the adoption of the online content of other providers and the forms of online interactions they integrate into their course designs. Possible forms of faculty-to-student and student-to-student interactions run the digital gamut from discussion boards and electronic testing to peer assessments, games and simulations, and virtual office hours. This article explores basic descriptive and prescriptive questions economic educators and their administrators are likely to face as the online education tide rises. For example, how much does it cost to develop online content and how much time does it take? What are the key "ingredients" for a pedagogically sound online course? Throughout, I will draw on both the extant literature as well as my own experience at the University of California, Irvine, where the online evolution is advancing rapidly. [This article is available for download in audio (MP3) format from the journal website.]