Content uploaded by Anita Ferreira
Author content
All content in this area was uploaded by Anita Ferreira on Aug 13, 2014
Content may be subject to copyright.
Available via license: CC BY-NC 4.0
Content may be subject to copyright.
73
Hacia una prueba de nivel en español
como lengua extranjera*
Towards a placement test in Spanish as a foreign
language
ANITA FERREIRA CABRERA
Universidad de Concepción. Concepción, Chile
aferreir@udec.cl
ANA VINE JARA
Universidad de Concepción. Concepción, Chile
avine@udec.cl
JESSICA ELEJALDE GÓMEZ
Universidad de Concepción. Concepción, Chile
jelejalde@udec.cl
RESUMEN
El Programa de Español como LE de la Universidad de Concepción (ELE-UdeC) dicta
cursos trimestrales a estudiantes de intercambio que realizan estudios en esta universidad.
El nivel esperado por la institución corresponde a un nivel B1 acorde con el MCER. En
este contexto, se hace necesario evaluar el nivel de proficiencia de los alumnos con el obje-
to de poder distribuirlos en el curso que les corresponda y así formar grupos equilibrados
en cuanto a su nivel de lengua. En este trabajo se presenta una investigación cuyo objetivo
general es generar una prueba de nivel con dos formas equivalentes: Forma A y Forma B
para evaluar el nivel de proficiencia B1 en el Español como LE. Para ello se describen las
distintas fases consideradas en la confección de una Prueba de Nivel según lo planteado
por Bordón (2006) y luego se presentan los resultados de la fase experimental, en la cual se
evaluó el desempeño del instrumento en sus dos versiones. El estudio se llevó a cabo entre
los años 2011 y 2013, y participaron 50 estudiantes de diferentes L1 y nacionalidades.
Dos fueron los objetivos específicos de esta investigación: 1) diseñar una prueba de nivel
B1 para ELE con dos formas equivalentes y 2) evaluar el comportamiento de la prueba en
sus formas A y B para medir el nivel de proficiencia B1. Con este propósito se aplicaron
RLA. Revista de Lingüística Teórica y Aplicada
Concepción (Chile), 51 (2), II Sem. 2013, pp. 73-103. CL ISSN 0033 - 698X
* Este artículo se sustenta en los desarrollos investigativos del proyecto Fondecyt Nº 1110812
“Un sistema tutorial inteligente para la focalización en la forma en la enseñanza del español como
lengua extranjera”.
74
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
las dos versiones de la prueba a dos grupos muestrales por cada forma. Los resultados
permiten visualizar que las dos versiones del instrumento han sido adecuadas para medir
el nivel de proficiencia B1.
Palabras clave: Prueba de proficiencia, nivel de proficiencia, aprendizaje de ELE, certifica-
ción en ELE, logro de aprendizaje.
ABSTRACT
The Program of Spanish as a Foreign Language at Universidad de Concepción (ELE-
UdeC ) quarterly teaches courses to exchange students studying in this university. The
level expected by the institution corresponds to a B1 level as per the Common European
Framework of Reference for Languages. In this context, it is necessary to assess the level
of proficiency of students in order to place them in appropriate courses, and thus organize
balanced groups in terms of their language level. In this paper, we present research aimed
to generate a Level Test with two equivalent forms: Form A and Form B to evaluate the
B1 level of proficiency in Spanish as a FL. The different phases considered in making a
placement test as proposed by Bordón (2006) are described and then the results of the
pilot phase are presented, in which we evaluated the performance of the instrument in
two versions. The study was conducted between 2011 and 2013 and involved 50 students
from different L1 and nationalities. There were two specific objectives of this research: 1)
to design a B1 placement test for SFL with two equivalent forms, and 2) to evaluate the
performance of the test forms A and B to measure the proficiency level corresponding to
B1. For this purpose, the two versions were applied to two sample groups. The results al-
low us to visualize that the two versions of the instrument have been adequate to measure
the B1 proficiency level.
Keywords: Proficiency test, proficiency level, SFL learning, SFL certification, learning
achievement.
Recibido: 03/05/2013. Aceptado: 21/10/2013.
1. INTRODUCCIÓN
Desde la década de los sesenta se ha prestado mayor importancia al desarrollo
posterior del enfoque comunicativo, insistiéndose más en “el diseño de ob-
jetivos y contenidos, así como en la metodología para alcanzar los primeros, que
en la necesidad de arbitrar un modelo de evaluación acorde con la pedagogía co-
municativa del lenguaje” (Pastor, 2003: 504). De esta manera, la evaluación se ha
constituido en un asunto muchas veces secundario. Específicamente, en el español
como lengua extranjera aún no se establece ni se sientan las bases de lo que sería
una evaluación estandarizada para medir el nivel de proficiencia de los aprendices
75
de esta lengua.
En este sentido, “la evaluación ha sido tradicionalmente la parte del proceso
de aprendizaje menos atendida y la que a menudo se ha visto lastrada por concep-
ciones y métodos ya superados en la práctica cotidiana del aula, una vez aceptada
la competencia comunicativa […] como principal objetivo de la enseñanza de
segundas lenguas” (Pastor, 2003: 504). Ahora bien, debido al cambio constante de
los objetivos de enseñanza y aprendizaje, el papel de la evaluación en el proceso de
aprendizaje ha cobrado importancia en las últimas décadas, donde la investigación
empírica ha comenzado a arrojar algunas conclusiones y aportes en el campo del
español como LE o L2.
En este contexto, y en relación con la problemática sobre la necesidad de poder
contar con un instrumento que evalúe el nivel de proficiencia B1 de los alumnos
del programa ELE-UdeC se confeccionó una prueba con dos versiones equiva-
lentes: Forma A y Forma B para poder determinar con mayor precisión el nivel
de lengua que tienen los alumnos que ingresan al programa. De esta manera, se
podría distribuir adecuadamente a los alumnos en los cursos que les corresponda
y formar grupos equilibrados en cuanto a su nivel de lengua. En consecuencia,
en este artículo se presenta la descripción de las distintas fases consideradas en la
confección de la prueba según lo planteado por Bordón (2006) y luego se analizan
los resultados de la fase experimental en la cual se evaluó el desempeño del instru-
mento en sus dos versiones.
El artículo se organiza en tres secciones: en la sección 2 se presenta los funda-
mentos teóricos que sustentan el estudio. En la sección 3 se describe la metodolo-
gía de investigación y la fase experimental en la cual se evalúo las dos formas del
instrumento. Finalmente, en la sección 4 se explicitan las conclusiones y proyec-
ciones de este trabajo.
2. MARCO TEÓRICO
A continuación se presenta la fundamentación teórica de los aspectos más rele-
vantes de la temática sobre evaluación en segundas lenguas de acuerdo con los
objetivos planteados en este estudio.
2.1. El concepto de evaluación
El concepto de evaluación, visto desde una perspectiva general, comprende “una
operación indisociable de todo proceso de enseñanza y aprendizaje” (Pastor, 2003:
502) para medir la materialización o no del conocimiento lingüístico según el tipo
de prueba que se aplique. Ahora bien, este concepto se constituye en un asunto
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
76
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
complejo y fundamental en la medida que se aplica en el ámbito de adquisición de
segundas lenguas. En palabras de Bordón, la evaluación “de una segunda lengua o
lengua extranjera es un asunto complejo que se puede llevar a cabo por medio de
una variedad de procedimientos” (Bordón, 2006: 17). La complejidad se debe en
parte a los siguientes factores: la precisión de la lengua de estudio, la definición,
diseño y administración del instrumento de evaluación y, por último, los efectos y
repercusiones en los diferentes ámbitos tanto personales como sociales, los cuales
no pueden dejarse de lado.
Pero, ¿qué significa entonces evaluar y qué consideraciones sobre la concep-
tualización deben tenerse en cuenta para su diseño? Si bien la evaluación es un
procedimiento que con frecuencia se realiza en múltiples ámbitos, para la ASL el
concepto se delimita en función de la lengua y los propósitos del aprendizaje o en-
señanza. En este contexto, basándonos en la definición del diccionario de Lingüís-
tica Aplicada de Richards, Platt y Platt (1992), podemos entender por evaluación
la recogida sistemática de información con el propósito de tomar decisiones en el
ámbito de la enseñanza-aprendizaje de la lengua. La evaluación utiliza tanto mé-
todos cuantitativos (por ejemplo, pruebas) como cualitativos (observaciones, cla-
sificaciones según opinión y juicios de valor). En lo que respecta a la problemática
de estudio, la prueba, como instrumento de clasificación y medición del nivel de
dominio de la lengua, es el procedimiento por el cual se miden las habilidades, el
conocimiento lingüístico y/ o la actuación del aprendiz de lenguas (Pastor, 2003).
En otras palabras, es necesario delimitar las especificaciones que trae consigo la se-
lección de un tipo de prueba para medir el nivel de proficiencia de los estudiantes.
2.2. La evaluación y las segundas lenguas
La evaluación en el aula de segundas lenguas representa un asunto con un sin-
número de cuestiones inherentes, y aún sin resolver, en relación con la pregunta
sobre cómo evaluar efectivamente una segunda lengua. Si bien la mayoría de los
procesos evaluativos están enfocados en diversos aspectos de la lengua, convie-
ne resaltar la importancia que tienen dichos aspectos según la perspectiva de los
enfoques metodológicos que hoy en día se utilizan para la enseñanza de lenguas.
La evaluación, al igual que los enfoques metodológicos, ha ido transformándose
simultáneamente presentando una serie de objetivos que incluyen consideraciones
relativas a la comunicación y al uso de la lengua.
Debido a la evolución del enfoque comunicativo, la evaluación comienza a ser
considerada no sólo como un medio eficaz para comprobar si el conocimiento
lingüístico está internalizado en el estudiante, sino también como un aporte al me-
joramiento del proceso de aprendizaje. En este sentido, el análisis de los resultados
de la aplicación de una evaluación a un grupo de estudiantes permite reflexionar
77
acerca de la toma de decisiones que pudiera influir en el proceso de enseñanza y
aprendizaje de una lengua determinada. Por consiguiente, el enfoque comunicativo
concibe a la lengua como un instrumento de comunicación donde se potencia el
uso de la misma en diversos contextos, y por esta razón, no se trata de medir deli-
beradamente los contenidos lingüísticos vistos en el aula, sino más bien de propor-
cionar una evaluación enfocada en la actuación lingüística y la competencia comu-
nicativa. En dicha evaluación, entonces, se deben considerar tanto las habilidades y
destrezas lingüísticas adquiridas durante el aprendizaje de la segunda lengua como
la actuación que surge del estudiante cuando usa la lengua que aprende.
2.3. La lengua y la competencia comunicativa en la evaluación de SL
Hymes (1971) propone una visión sociocultural en su descripción de la compe-
tencia comunicativa. Además, sostiene que para lograr concebir la lengua desde
la perspectiva comunicativa es necesario fundamentar y establecer teorías que ase-
guren los análisis de las unidades del discurso que intervienen “como un factor de
control para la forma lingüística en su totalidad” (Bordón, 2006: 30). Y para ello,
la clave es la propia noción de competencia comunicativa. De la teoría de Hymes
se extrae esta importante conclusión referida al uso de la lengua.
Aquí la competencia de una persona no se identifica con un registro de actua-
ción o con la realización imperfecta o parcial de la competencia individual, sino
que toma en cuenta la interacción entre competencia (conocimiento, capacidad
para la actuación), la competencia de otros y las propiedades emergentes y ciber-
néticas de los propios acontecimientos. En resumidas cuentas, la meta de una
teoría amplia de la competencia consistiría en mostrar cómo lo sistemáticamente
posible, lo factible y lo apropiado se entrelazan para producir e interpretar el com-
portamiento cultural que se produzca efectivamente (Hymes, 1971: 286).
Por consiguiente, la competencia comunicativa dependerá de factores como el
comportamiento lingüístico regulado por la adecuación contextual y situacional
de la comunicación. Estas razones llevan a la conclusión de que quienes aprenden
una lengua no sólo la usen de manera sistemática, sino que deben cumplir con
ciertas condiciones que permitirán una comunicación efectiva y adecuada al con-
texto (Vine y Ferreira, 2012).
La concepción de la lengua como competencia comunicativa hace referencia
sobre la determinación eficaz que conlleva la realización de una tarea de evalua-
ción. En este sentido, para llevar a cabo con éxito dicha tarea se hace necesario la
intervención en las distintas competencias (lingüística, sociolingüística, pragmáti-
ca) que conforman la lengua. Esta intervención se verá manifestada en los procesos
que competen a las actividades de tipo interpretativas (comprensión oral y escrita)
y de desempeño, donde a través del canal del que se sirva, se producirá una mues-
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
78
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
tra de la lengua oral o escrita. Dicho en otras palabras, “lo coherente es que para
evaluar la competencia comunicativa del alumno en una L2 se tengan en cuenta
aspectos discursivos, estratégicos, socioculturales y, entre los lingüísticos, los que
tienen que ver con el desarrollo de las cuatro destrezas” (Pastor, 2003: 507).
2.4. Fases en la confección de una prueba
Es evidente que cuando se desea obtener información sobre lo que las personas
saben sobre algún contenido, la forma más efectiva (por economía, rapidez, equi-
dad) de hacerlo es mediante una prueba. Una prueba es efectiva cuando se con-
sidera los criterios adecuados para su elaboración y utilización. A partir de estas
exigencias, y basados en las propuestas que recoge Bordón (1991; 2006) se define
las distintas fases consideradas en la confección de una prueba.
Figura 1. Fases en la confección de un examen (Bordón, 2006).
Según el esquema cuatro son las fases que se deben considerar en la confección
de una prueba. En la fase previa lo primero que se debe determinar es el objetivo,
ya que a partir de éste se seleccionará el tipo de instrumento que corresponda.
La evaluación de una lengua extranjera se puede llevar a cabo a través de distin-
tos tipos de pruebas, las más comunes se confeccionan e implementan para medir
tanto el progreso en el desarrollo del uso de la lengua meta como el nivel de domi-
nio de ésta (Pastor, 2003). Con respecto a las pruebas de proficiencia, éstas per-
miten medir los conocimientos que tiene el aprendiz de una segunda lengua, de
79
modo general, sin un requerimiento sistemático de inscripción a un programa de
enseñanza determinado. Por otra parte, las pruebas de nivel permiten distribuir a
los estudiantes en el curso que les corresponda y así formar grupos equilibrados en
cuanto al nivel de lengua. En cambio, las pruebas de rendimiento evalúan los co-
nocimientos y destrezas lingüísticas aprendidas tras el desarrollo de un curso. Este
tipo de pruebas suele realizarse al final del curso y, a su vez, “permiten comprobar
el nivel real de adquisición de los alumnos, así como el consiguiente éxito o fracaso
de la práctica docente” (Pastor, 2003: 510). Además, en la fase previa se define
el perfil de los estudiantes a quienes va dirigida la prueba, se selecciona las tareas
a utilizar y se estima los recursos que se emplearán en el diseño del instrumento
(recursos humanos, materiales, aulas, etc.).
En la fase de diseño se delimita los contenidos temáticos y lingüísticos acordes
con el nivel de proficiencia al cual se orienta la prueba, se distribuye sus secciones,
la duración de ellas, además de redactar los distintos ítemes y las instrucciones
correspondientes. Dependiendo del tipo de prueba elegida se seleccionarán los
contenidos que corresponda, si es una prueba de aprovechamiento entonces el ins-
trumento tendrá que responder a los contenidos revisados en el curso. Si se trata
de una prueba que evalúe proficiencia, entonces se debe definir todos los conteni-
dos correspondientes al nivel hacia el cual se dirige la prueba. En una prueba de
nivel se busca corroborar los conocimientos que tiene el estudiante, por lo que los
contenidos que abarca no son tan exhaustivos como en una prueba de proficien-
cia, ya que el objetivo es proporcionar una muestra de lo que el estudiante puede
hacer con la lengua para poder asignarlo al curso adecuado.
La fase de experimentación corresponde a la aplicación de la prueba a un grupo
similar al grupo meta para el cual se construyó. Los resultados obtenidos en esta
etapa permiten avanzar a la fase de recapitulación donde se comprueba la validez y
fiabilidad del instrumento, aportando datos que permitan mejorar la prueba. Un
instrumento de evaluación será eficaz mientras proporcione los datos que permi-
tan responder a los requisitos esenciales que toda buena prueba debe tener, que
es la validez, fiabilidad y viabilidad (Bordón, 2006; Ministerio de ECyD, 2002).
El esquema presentado por Bordón (2006) constituye una herramienta útil
para delimitar cada uno de los pasos a considerar en la elaboración de instrumen-
tos de evaluación de lenguas, por lo que será un referente para definir cada una de
las etapas consideradas en el diseño de la prueba propuesta en esta investigación.
2.5. Instrumentos de evaluación en ELE
En la evaluación de segundas lenguas ha habido un notable desarrollo desde sus
comienzos hasta ahora. Específicamente, en el caso de ELE se ha desarrollado nu-
merosas pruebas y exámenes para evaluar el dominio de la lengua. Algunas de las
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
80
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
pruebas que tienen mayor reconocimiento a nivel internacional son los Diplomas
de Español como Lengua Extranjera (DELE) del Instituto Cervantes y el Certi-
ficado de Español Lengua y Uso (CELU) del Consorcio Interuniversitario ELSE
(Argentina). Se trata de exámenes de dominio que evalúan lo que los estudiantes
pueden hacer con la lengua, independiente del proceso de aprendizaje que han
realizado.
Los DELE son títulos oficiales que acreditan el grado de competencia y do-
minio del español. Tienen una validez indefinida. En la obtención del DELE se
consideran válidas todas las variantes del español. En la actualidad, el Instituto
Cervantes organiza los DELE atendiendo a los seis niveles descritos en el MCER
(2002).
El CELU es un examen de dominio elaborado por un grupo de universidades
argentinas, quienes crearon un consorcio interuniversitario orientado a la ense-
ñanza, evaluación y certificación del Español como Lengua Segunda y Extranjera
(ELSE). Es un certificado avalado por el Ministerio de Educación y la Cancille-
ría Argentina. En este instrumento no se presentan preguntas específicas sobre la
lengua y su gramática, sino que con tareas de escritura, comprensión auditiva y
producción oral se evalúa en qué grado el individuo puede cumplir las tareas lin-
güísticas propuestas. De acuerdo a su desempeño, el candidato alcanza los niveles:
Básico, Intermedio o Avanzado. Sólo se certifican estos dos últimos.
Además de los instrumentos mencionados, existen otras propuestas, tanto en
el contexto latinoamericano como en el hispano que intentan responder a las exi-
gencias y demandas de la actualidad. Hay pruebas que están centradas en evaluar
competencias específicas, mientras otras intentan abarcar las distintas habilidades
lingüísticas de los candidatos con un enfoque comunicativo (Bordón, 1991)1.Sin
embargo, los instrumentos disponibles, en la mayoría de los casos, responden a
necesidades específicas, por lo que resulta complejo aplicarlas fuera del contexto
para el cual fueron diseñadas (Natalías, 2008). En este contexto, es necesario dise-
ñar una prueba que se adapte a la realidad lingüística y comunicativa en la que está
inmerso el estudiante, ya que los instrumentos de los que se dispone no incluyen
variables contextuales y variedades lingüísticas que den cuenta de los diversos usos
del español.
3. METODOLOGÍA DE LA INVESTIGACIÓN
De acuerdo con la problemática planteada en lo referido a la necesidad de contar
con un instrumento que evalúe el nivel de proficiencia B1 de los alumnos del
1 Examen TELE (Test de Español Lengua Extranjera) elaborado exprofeso para la tesis doctoral
de Teresa Bordón (1991) titulado “El enfoque comunicativo aplicado a las técnicas de evaluación”.
81
programa ELE-UdeC y poder distribuirlos en los cursos que les corresponda acor-
de con su nivel de lengua, se construyó una prueba de nivel B1 con dos formas:
Forma A y Forma B. Se desarrolló una segunda versión equivalente de la prueba
con el objeto de disponer de una forma alternativa cuando se requiera evaluar a
un estudiante por segunda vez. Por ejemplo, en el caso de aquellos alumnos que
según los resultados obtenidos en la prueba en su Forma A les haya correspondi-
do tomar el curso de nivel A2, y que luego de concluido dicho curso quisieran
continuar en el programa con otro curso. De esta manera el alumno podría ser
evaluado nuevamente con otra prueba de características similares para determinar
si su desempeño se acercaba o no al nivel B1.
La elaboración de la prueba en su Forma B se realizó bajo los criterios propues-
tos por Bordón (2006), del mismo modo como se hizo en la Forma A. Se cauteló
que el nivel de dificultad de los textos orales y escritos, estructuras gramaticales,
uso del léxico, e instrucciones fuera equivalente al presentado en la Forma A.
En consecuencia, dos son los objetivos de esta investigación: 1) diseñar una
prueba de nivel B1 para ELE con dos formas equivalentes y 2) evaluar el compor-
tamiento de la prueba en sus formas A y B para medir el nivel de proficiencia B1
de estudiantes de ELE.
3.1. Diseño del instrumento
Para responder al primer objetivo específico de la investigación se llevó a cabo el
diseño de una prueba de nivel de proficiencia B1 siguiendo las fases propuestas
por Bordón (1991, 2006). El objetivo de la prueba es evaluar el nivel de proficien-
cia B1 de los estudiantes.
Fases de diseño y elaboración de la prueba en sus formas a y b
a. Fase previa: En esta fase se conformó el equipo de especialistas en español como
LE para participar de la elaboración de la prueba. Los especialistas eran profesores
con una amplia trayectoria en el ámbito de la enseñanza de ELE en la Universi-
dad de Concepción y en otras universidades extranjeras. Cuatro de ellos tenían el
grado de magíster en lingüística aplicada y dos el grado de doctor en lingüística.
Luego de la selección de los participantes del equipo, se determinó el objetivo
del instrumento, se precisó el perfil de los estudiantes y se delimitaron las seccio-
nes que tendría la prueba: comprensión auditiva, comprensión lectora, produc-
ción oral, producción escrita, gramática y léxico. Cada miembro del equipo se
hizo responsable de una de estas secciones. Debido a la complejidad que presenta
la elección adecuada de los textos para las habilidades interpretativas oral y escrita,
el equipo trabajó en conjunto. Por otra parte, también se hizo una revisión de las
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
82
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
pruebas disponibles para la evaluación de ELE, donde finalmente se tomó como
referente principal la prueba DELE de nivel B1.
b. Fase de diseño: En esta fase se precisaron los contenidos, los temas y el número
de ítemes de la prueba. La prueba se estructuró atendiendo a las distintas destrezas
lingüísticas, ya que permite a los evaluadores la comprobación exacta del dominio
de cada una en particular (Bordón 2006). El criterio para el diseño de la prueba se
fundamentó en el modelo de distribución propuesto por Bordón (2006). En este
modelo, las secciones de la prueba se distribuyen en función del perfil del candi-
dato y las habilidades lingüísticas de la siguiente manera:
Resumen de la distribución posible de las partes o secciones de un examen
1° Comprensión lectora Alternativa A: empezar por destrezas de
2° Comprensión auditiva comprensión
1° Comprensión auditiva Alternativa B: empezar por destrezas que adoptan
2° Expresión escrita en código escrito
3° Expresión escrita (en A) o comprensión auditiva (en B)
4° Uso de la lengua: gramática y vocabulario (en A y B, pero no se incluyen siempre)
5° Expresión oral e interacción
Figura 2. Distribución de las secciones de una prueba (Bordón, 2006).
Para la elaboración de la prueba se seleccionó la alternativa A seguida en el
orden consecutivo Nº 4°, 3° y 5°como se ilustra en la Figura 2. De igual forma,
esta selección se corresponde con la referencia del examen DELE, dando como
resultado final una distribución de seis secciones correspondientes a las distintas
habilidades lingüísticas del estudiante.
Se consideró la propuesta de Bordón (2006) respecto a la división de las seccio-
nes de la prueba por la ventaja que representa para el estudiante comenzar con la
interpretación de textos escritos y orales. Iniciar una prueba de esta forma, según
lo señalado en la Figura 2, es un facilitador, puesto que permite al alumno com-
prender la dinámica de la prueba, permitiéndole entrar en contacto con la lengua
meta y las tareas que le plantea el examen. Dejar las secciones de la producción
oral y escrita al final es una decisión pertinente debido a que el estudiante ya ha ex-
perimentado la dinámica de la prueba, lo que provoca un efecto positivo al reducir
los niveles de estrés y de ansiedad (Bordón, 2006; Pastor 2003).
En esta etapa también se tomaron las decisiones correspondientes a la variedad
}
}
83
lingüística, las fuentes disponibles para la extracción de los diferentes tipos de tex-
tos y el número de preguntas en cada sección y habilidad tratada. Además, se hizo
la revisión de la bibliografía especializada en relación con el diseño y naturaleza de
cada pregunta y la respuesta esperada.
• Distribución de las secciones y número de preguntas
Para mantener el equilibrio entre la complejidad de la habilidad y el tiempo de-
dicado por el estudiante en todas las secciones, se cauteló el número de preguntas
de modo que no se prestara mayor o menor atención a una sección por sobre otra.
En este sentido, se determinó la elaboración de 63 ítemes de calificación objetiva
(respuestas cerradas, selección múltiple, verdadero/falso y técnica de cloze) y 9 íte-
mes de calificación subjetiva (producción oral y escrita), los que se distribuyeron
de la siguiente manera:
Tabla I. Secciones, número de preguntas, puntajes y porcentajes de la prueba.
Como se observa en la Tabla I, el total de las preguntas es de 72, las cuales se
distribuyen en puntos para la calificación correspondiente al total de la prueba,
esto es 100 puntos. Por ejemplo, en el caso de la comprensión auditiva, si un es-
tudiante completa correctamente las doce preguntas, obtiene 20 puntos para su
calificación; por cada pregunta incorrecta, el puntaje disminuye. De igual forma,
estos puntajes están relacionados con el porcentaje asignado a cada una de las sec-
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
84
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
ciones de la prueba, por ejemplo, la comprensión auditiva representa un 20% de
la calificación total de la prueba. En estos valores se basa el criterio de puntaje de
corte para evaluar el nivel de proficiencia de los estudiantes.
• Secciones de la prueba en su Forma A:
Comprensión auditiva: Esta sección mide la capacidad que tiene el estudiante
para comprender textos orales en distintos ámbitos. Las preguntas, la selección
de textos orales y la interpretación de éstos están diseñados de tal modo que es-
cucharlos exige una interacción entre el texto y el estudiante evaluado. Los cuatro
audios se refieren a los siguientes temas: 1) económico-cultural, la presentación
del grupo “Los Jaivas” y los valores de las entradas para dicho concierto, 2) cultu-
ral, la vida del poeta Gonzalo Rojas, 3) científico, la adjudicación de un proyecto
para instalar el telescopio más grande del mundo en el norte chileno y 4) político,
una entrevista realizada a un político chileno referido a los planes de acción para
superar la pobreza y la inclusión de la mujer. Cada uno de los audios tenía una
duración de 2 minutos.
Comprensión lectora: Se evalúa la comprensión de lectura representada como un
proceso activo. De este modo, se entiende la lectura no como una simple decodi-
ficación y codificación de la información sino que el estudiante se convierte en un
lector activo porque hace predicciones y procesa la información tanto en la LM
como en la L2 (Bordón, 2006; Pacheco, 2008). Los tipos de textos seleccionados
fueron: 1) expositivo, un artículo sobre los productos de exportación chilenos, 2)
narrativo, una biografía sobre Isabel Allende (escritora chilena), 3) informativo,
turismo en el norte de Chile y 4) noticia, referida a los costos de la reconstrucción
del terremoto del 27 de febrero de 2010 en Chile. Todos los textos fueron toma-
dos de fuentes de internet y adaptados al requerimiento del nivel de proficiencia
B1 exigido por la prueba. Se definió que cada texto debía tener entre 200 a 250
palabras.
Gramática y léxico: La sección de gramática y léxico busca medir los conocimien-
tos correspondientes al vocabulario en general y al uso de estructuras gramaticales,
siendo seleccionados y revisados cuidadosamente (Pacheco, 2008). El texto utili-
zado en la sección de gramática fue tomado de internet y adaptado igualmente a
la exigencia del nivel B1 que evalúa la prueba. Con respecto al léxico, los diálogos
se elaboraron pensando en la realidad comunicativa a la que se enfrentaría el estu-
diante cuando hace su estadía y estudios en Chile.
Producción escrita: En lo que respecta a esta sección, la tarea de escritura que
desarrollará el estudiante debe proporcionar una muestra representativa de la len-
85
gua. Por lo tanto, se definió dos opciones para la tarea de escritura: 1) redactar una
propuesta de viaje en la que se debe precisar información de actividades turísticas
que podrían realizar o 2) dar una opinión con respecto a la prohibición de fumar
en lugares públicos y exponer los argumentos a favor o en contra de fumar en
dichos lugares.
Producción oral: Es la última sección de la prueba. Se considera que la manifesta-
ción más espontánea de la expresión oral es la interacción que se da a través de la
conversación (Bordón, 2006). La producción oral se evalúa mediante una entre-
vista compuesta por siete preguntas referidas a la información personal, intereses,
motivaciones de estudio y una pregunta de opinión acerca del país de estadía, en
este caso Chile.
• Secciones de la prueba en su Forma B:
El total de las preguntas, el número de textos, las secciones y el puntaje de la
prueba se distribuyeron de igual forma que el instrumento en su primera versión
(Forma A). Esto con la finalidad de mantener el equilibrio entre las dos versiones y
la equivalencia en los puntajes de corte para la evaluación del nivel de proficiencia
de los estudiantes. A continuación se describe brevemente las secciones de la prue-
ba en su forma B, teniendo en cuenta el esquema propuesto por Bordón (2006).
Comprensión auditiva: Para la Forma B (segunda versión del instrumento) se
eligieron temáticas para los audios acorde con la primera selección en la Forma A
de la prueba. Los temas que se abordaron fueron: 1) informativo-cultural, el pa-
trimonio cultural del norte de Chile, su cultura y tradición, 2) biografía del grupo
musical chileno “Los prisioneros”, 3) opinión-argumentativo, polémica sobre la
demanda de Bolivia en la Corte de la Haya por soberanía del mar en el norte de
Chile y, 4) biografía del poeta chileno Pablo Neruda. Al igual que la Forma A de la
prueba, la duración de los audios fue de 2 minutos aproximadamente.
Comprensión lectora: De igual modo que la Forma A de la prueba, los textos se
seleccionaron en función de mantener la equivalencia entre las dos formas. Los
tipos de textos seleccionados fueron: 1) noticia, un artículo sobre la problemática
con respecto a los desastres, ONU: Chile es el noveno país del mundo en gastos
por desastres naturales en los últimos 20 años, 2) informativo turístico, La Reserva
Biológica Huilo Huilo gana concurso mundial como mejor destino de turismo
sustentable, 3) noticia informativa, referida a la reunión más grande del mundo
de Hackers realizada en Chile para trabajar en el desarrollo de soluciones infor-
máticas y 4) narrativo, extracto de un cuento de Isabel Allende, “Cuentos de Eva
Luna”.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
86
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
Gramática y léxico: El texto que se utilizó para la sección de gramática fue toma-
do de internet y adaptado al nivel B1 que evalúa la prueba. El tipo de texto fue
una noticia referida al aumento de la exportación de fruta fresca chilena. El léxico
usado se diseñó igualmente a través de diálogos en función de la realidad comuni-
cativa a la que se enfrentaría el estudiante durante su estadía en Chile.
Producción escrita: Al igual que la Forma A de la prueba, se delimitó la escritura
de un texto a partir de la selección de una de las dos opciones presentadas. Estas
fueron: 1) redactar una propuesta de recomendación de actividades para realizar
en Chile: ver películas, ir a recitales música chilena, o leer libros chilenos. Para ello
debe indicar su localización, justificar la elección y cómo podría acceder a ellas y
2) dar una opinión y los argumentos correspondientes respecto a la exigencia de
gratuidad de la educación superior en Chile.
Producción oral: Las preguntas para la entrevista que se lleva a cabo en la evalua-
ción de la prueba oral están desarrolladas en función de la información personal,
los intereses, las motivaciones de estudio y el porqué de su estadía en Chile. Se
consideró un número de siete preguntas referidas a la información personal, in-
tereses, motivaciones de estudio y una pregunta de opinión acerca del país de
estadía, en este caso Chile.
Luego de organizar la prueba en estas secciones se procedió a la redacción de
los ítemes y sus correspondientes instrucciones. En el siguiente apartado se explica
con detalle la elaboración de éstos.
• Diseño de las preguntas por sección:
Rigor en las instrucciones
Las instrucciones para la prueba se confeccionaron de forma clara, concreta y con-
cisa. El lenguaje utilizado fue sencillo, donde predominaron las estructuras de tiem-
pos verbales simples y vocabulario no especializado para facilitar la ejecución de la
tarea en la prueba (Alderson, Clapham y Wall, 1998; Pacheco, 2008). Obsérvese el
ejemplo de una instrucción de la sección de comprensión auditiva en la Figura 3:
La siguiente prueba está conformada por cuatro secciones:
-Comprensión auditiva:
En los ejercicios 1 al 4 escucharás cuatro audios con tres preguntas cada uno. Las res-
puestas pueden ser de dos modalidades: verdadero/ falso y selección múltiple.
Figura 3. Ejemplo de una instrucción.
87
Como se observa en la Figura 3, la instrucción proporciona la información que
encontrará el estudiante sobre las preguntas y la modalidad de respuesta durante
el desarrollo de las secciones. Esto ayuda al alumno a que distribuya el tiempo del
que dispone en relación con el número de preguntas por sección.
• Criterios de selección y diseño
Los criterios que rigieron el diseño de las preguntas se fundamentan en la propues-
ta de Bordón (2006), Alderson et al., (1998) y Pacheco (2008), donde se describe
detalladamente cómo se debe evaluar cada habilidad y destreza lingüística. De este
modo, se eligió para este instrumento las preguntas de tipo selección múltiple con
ítemes objetivos, preguntas de tipos cerradas y abiertas, las cuales se ajustan a los
descriptores establecidos en función del MCER.
• Tipo de preguntas: respuestas cerradas
En palabras de Bordón (2006), la elección de preguntas con selección múltiple o
técnica de cloze supone la interacción con el texto, ya sea de tipo oral o escrito,
lo que requiere por parte del estudiante adoptar estrategias de interpretación que
implican un procesamiento “auténtico” de la información. Esto se refiere a que la
situación del examen exige al estudiante la posición frente a una situación real del
uso de la lengua. A esto se podría argumentar además que, si bien en situaciones
de la vida real este tipo de preguntas no responde a una manera de actuar con la
lengua, el mismo examen se constituye en una situación real que lo justifica. En
este contexto, las preguntas seleccionadas para la prueba fueron de tipo selección
múltiple, técnica de cloze y preguntas dicotómicas (verdadero/falso).
A continuación se presenta algunos ejemplos que ilustran los distintos ítemes
de las secciones del instrumento.
En la Figura 4 se presenta una pregunta de selección múltiple con tres alter-
nativas:
Figura 4. Ejemplo pregunta de tipo cerrada con selección múltiple.
El texto presentado en la Figura 5 se completa a través de la técnica de cloze.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
88
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
Cada espacio en blanco presenta tres opciones de respuesta al estudiante, quien
deberá seleccionar la que se ajuste a las estructuras gramaticales que corresponda,
esto es, modo, tiempo verbal, uso de preposiciones, marcadores discursivos, etc.
Figura 5. Ejemplo pregunta de tipo cloze.
En la Figura 6 se muestra un ejemplo de repuesta dicotómica. En este tipo de
ítem se espera que el estudiante responda en función de la aceptación o rechazo
de la aseveración seleccionando una de las opciones dicotómicas como se ilustra
en la imagen.
Figura 6. Ejemplo de pregunta con respuesta dicotómica.
• Tipo de preguntas: respuesta abierta
Para las secciones correspondientes a la producción oral y escrita, las preguntas que
se seleccionaron fueron de tipo abierta, donde se pretende obtener una muestra
representativa de la lengua en uso por parte del estudiante. De esta manera, las ins-
trucciones se enfocaron a la producción de un texto escrito y oral sobre situaciones
reales donde se debe usar la lengua.
En la Figura 7 se presenta al estudiante dos opciones para desarrollar la tarea
de escritura: 1) redactar una propuesta de viaje o 2) dar una opinión con respecto
89
a la prohibición de fumar en lugares públicos. Una vez que el estudiante elige la
opción debe escribir dentro del recuadro su respuesta.
Figura 7. Ejemplo pregunta de tipo abierta con doble opción.
• Criterios de calificación de las pruebas
El equipo de especialistas, basados en el sistema de calificación del DELE y en
el MCER, definió para la Prueba de Nivel una exigencia del 60% (de una escala
del 100%) como porcentaje de corte para el nivel B1. Por lo tanto, los estudian-
tes que obtengan en la prueba un resultado igual o superior al 60% se clasifican
como nivel B1, mientras que aquellos que obtengan un promedio inferior al 60%
corresponden a un nivel A2. La exigencia del 60% se refiere al rendimiento global
obtenido por el alumno, por lo que no hace distinción por el resultado obtenido
en las distintas secciones de la prueba. Esta decisión obedece a que el instrumento
utilizado corresponde a una prueba de nivel y no a una prueba de dominio, como
es el caso del DELE que exige un mínimo de puntaje por cada grupo de pruebas
para certificar si el candidato tiene el dominio suficiente para otorgarle el certifica-
do correspondiente. A continuación se presenta una tabla que describe el sistema
de calificación utilizado en los DELE.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
90
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
Tabla II. Criterios de Calificación de los Exámenes DELE.
GRUPOS GRUPO 1 GRUPO 2
Comprensión
de lectura
Expresión e
interacción escritas
Comprensión
auditiva
Expresión e
interacción orales
Puntuación
máxima 25 puntos 25 puntos 25 puntos 25 puntos
Puntuación
mínima
exigida 30 puntos 30 puntos
Puntuación
obtenida
Calificación Promedio de puntos del candidato Promedio de puntos del candidato
Apto/No apto Apto/No apto
Calificación
global APTO/NO APTO
De acuerdo con la información de la Tabla II, el puntaje máximo que puede
lograr un candidato en los exámenes DELE es de 100 puntos. Para la obtención
final de la calificación realizan el siguiente procedimiento:
Distribuyen las cuatro pruebas que componen el examen en dos grupos:
Grupo 1: Comprensión de lectura (25 puntos)
Expresión e interacción escritas (25 puntos)
Grupo 2: Comprensión auditiva (25 puntos).
Expresión e interacción orales (25 puntos).
El candidato debe lograr una puntuación mínima de 30 puntos por cada grupo
para obtener la calificación de “Apto”, de lo contrario no se le otorga el certificado
correspondiente. Sólo se obtiene la calificación global de “Apto” si se logra una
puntuación igual o superior a la mínima exigida (30 puntos) para cada uno de los
grupos.
• Soporte y aplicación de la prueba
La prueba se desarrolló en la plataforma de interacción Moodle2 y se alojó en
2 Moodle del inglés Modular Object-Oriented Dynamic Learning Environment es una plataforma
de aprendizaje a distancia (e-learning) basada en software de distribución libre, la cual cuenta con
91
el AULA VIRTUAL desarrollada por Ferreira (2010) en el contexto del proyecto
Fondecyt 1080165 e implementada por el Centro de Formación y Recursos Di-
dácticos (CFRD) de la Universidad de Concepción. En esta aula virtual se alojan
los diferentes cursos de español como LE, desarrollados por el programa ELE-
UdeC. Esta prueba se puede realizar en dos modalidades de enseñanza: 1) en una
modalidad presencial en un laboratorio computacional de la universidad o bien 2)
en la modalidad “no presencial” (e-learning) en los casos de estudiantes, quienes
optan por ser evaluados antes de viajar a Chile. En la modalidad no presencial,
la sección de producción oral se realiza a través de la herramienta Skype en una
hora acordada entre el entrevistador del programa y el estudiante. En lo que res-
pecta a la habilidad escrita, la plataforma Moodle proporciona seguridad porque
no permite accesar procesadores de textos, los cuales pueden marcar y/o corregir
los errores gramaticales y ortográficos. Esto garantiza una muestra auténtica de la
lengua escrita por el alumno.
En la Figura 8 puede apreciarse el entorno de la plataforma de acceso y registro
de los miembros y estudiantes del programa.
Figura 8. Entorno de acceso al Aula Virtual del Programa ELE-UdeC.
En la Figura 9 se ilustra el módulo N° 2 del curso de español general para B1
sobre tradiciones chilenas. Cada módulo contiene tres lecciones donde se abarca
los aspectos gramaticales, léxicos, comunicativos, culturales y textuales del español.
una creciente base de usuarios como estudiantes y profesores, quienes crean y administran cursos
para el aprendizaje colaborativo y en línea.
Hacia una prueba de nivel en español como lengua extranjera /
A. FERREIRA, A. VINE, J. ELEJALDE
92
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
Figura 9. Interfaz de un módulo del curso B1.
La Figura 10 presenta la imagen de la interfaz de la prueba. La plataforma
dispone de una sección de registro donde los estudiantes se inscriben creando una
cuenta de usuario como estudiante y una contraseña generada por el programa
ELE-UdeC. Esto con la finalidad de supervisar el acceso del estudiante a los cursos
disponibles. Para el registro, los alumnos deben contar con una cuenta de correo,
independiente del servidor que utilicen (Hotmail, Gmail u otros), ya que al activar
el registro e ingresar la información personal del estudiante se envía un enlace a su
cuenta de correo para la confirmación del registro del usuario.
Figura 10. Interfaz de acceso a la prueba.
93
También esta plataforma Moodle brinda la posibilidad de restringir el acceso
de los alumnos, registrarlos y habilitar la prueba o cerrarla una vez finalizada la
sesión de evaluación. Por lo tanto, la prueba sólo está disponible para los estu-
diantes que se encuentren matriculados y habilitados en los cursos de español
que el programa ofrece. Con respecto al tiempo para el desarrollo de la prueba
se calculó un máximo de dos horas cronometradas, las cuales se programan en
las opciones avanzadas de la plataforma Moodle para que se cierre de forma
automática3.
La presentación de las secciones de la prueba en la interfaz (comprensión
auditiva, lectora, producción escrita, gramática y léxico) están separadas por
número. En cada número de la sección se encuentra los textos y las preguntas
a desarrollar. Cuando el estudiante finaliza la prueba se envía las respuestas y se
cierra la sesión.
Otra de las ventajas de que la prueba esté implementada sobre una plata-
forma computacional dice razón con la posibilidad de revisar los resultados in-
mediatamente después de haber concluido la prueba. Los resultados pueden
verificarse con el detalle de las preguntas y las respuestas correctas e incorrectas.
Esta opción sólo puede ser operada por el profesor responsable (con una cuen-
ta de profesor), quien puede mostrar a los alumnos los resultados obtenidos
en las secciones de las habilidades interpretativas (comprensión oral y escrita,
gramática y léxico). Con respecto a la entrega de los resultados de las secciones
de la prueba en la parte escrita y oral, éstos se entregan una semana después,
ya que la revisión la debe realizar un especialista del programa acorde con las
pautas de evaluación. Los indicadores de dichas pautas están fundamentados
en los descriptores del nivel B1 del MCER y en los planteamientos propuestos
por Bordón (2006)4. La siguiente imagen muestra los resultados de una de las
secciones de un estudiante.
3 En esta opción, la plataforma Moodle permite mostrar un reloj digital que indica al estudiante
el tiempo restante una vez comenzada la prueba. Esto permite al estudiante ordenar y distribuir su
tiempo.
4 En la propuesta de Bordón detallada en el libro La evaluación de la lengua en el marco de E/
L2: Bases y procedimientos (2006), en el apartado N° 9 (expresión escrita) y N° 10 (expresión oral) la
autora presenta algunas formas y técnicas de evaluación de estas dos habilidades, delimita las pautas,
los descriptores y otros elementos importantes. Estas se tuvieron en cuenta para la realización de las
pautas de evaluación de estas secciones.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
94
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
Figura 11. Ejemplo visualización de los resultados por pregunta
de la prueba en su Forma A.
Como se ilustra en la Figura 11, el estudiante tiene la posibilidad de revisar
cuáles fueron las respuestas correctas o incorrectas, ya que la plataforma arroja los
resultados señalando con un símbolo de visto bueno para las correctas y una X
para las incorrectas. En este ejemplo el estudiante obtuvo dos respuestas buenas de
tres sobre el audio N° 1.
3.2. Fase de experimentación: evaluación del instrumento
Una vez finalizado el diseño del instrumento en sus formas A y B se llevó a cabo
una etapa de revisión de cada uno de los ítemes de las secciones por parte del equi-
po de especialistas. Esto con el objeto de hacer los ajustes necesarios a la prueba
antes de pilotearla. Para evaluar de manera objetiva cada una de las secciones con
sus correspondientes preguntas se definió el siguiente procedimiento:
• Intercambio de las secciones entre los profesores participantes en el diseño del
instrumento: El docente que trabajó con la sección de comprensión de lec-
tura intercambió su sección con el responsable de la sección de compren-
sión auditiva. De la misma manera, el que diseñó las tareas de gramática
95
intercambió su sección con el colega que realizó la sección del léxico.
• Observaciones del par evaluador: Cada revisor debía hacer los comentarios
pertinentes respecto a la sección que le correspondió evaluar. Esto con la
finalidad de mejorar la calidad de los ítemes, tanto en la claridad de la pre-
gunta como en la redacción de las respuestas.
• Evaluación del grado de dificultad de los ítemes: Dada la complejidad de los
ítemes de las habilidades interpretativas, el equipo decidió desarrollar en
conjunto estas preguntas de la prueba. De esta forma se cauteló el grado de
dificultad y la comprensión de los ítemes.
A partir de las observaciones que cada par evaluador hizo se inició una etapa
de depuración del instrumento. En esta etapa se realizaron algunos ajustes en lo
concerniente a:
• La extensión de los textos escritos y orales utilizados. Los textos se ajustaron
al formato preestablecido, entre 200-250 palabras. Lo mismo se hizo con
los audios, en este caso hubo que realizar un proceso de edición de uno de
ellos para dar cumplimiento a la duración definida (2 minutos).
• La calidad de los audios: Los cuatro audios definitivos fueron elegidos en
función de su calidad, volumen adecuado, sin mayor interferencia de ruido
y pronunciación clara.
• La ambigüedad en las preguntas y respuestas: Se presentaron algunas situa-
ciones de ambigüedad en algunas preguntas de comprensión lectora y de
léxico. En este caso se procedió a redactar nuevamente dichas preguntas.
Finalizadas las fases de revisión y depuración, el instrumento quedó habilitado
para ser aplicado.
ESTUDIO PILOTO FORMA A
Según lo expresado en el segundo objetivo específico de este estudio, “evaluar el
comportamiento de la prueba en sus Formas A y B para medir el nivel de profi-
ciencia B1”, se procedió a pilotear la Forma A en dos instancias: el 26 de octubre
del año 2011 y el 5 de septiembre del año 2012. La prueba se aplicó una semana
antes de iniciar el curso trimestral de ELE con el objeto de poder distribuir ade-
cuadamente a los alumnos extranjeros acordes con su nivel de lengua.
Se decidió aplicar las pruebas en su Forma A en dos oportunidades para tener
mayor evidencia empírica sobre su desempeño y corroborar que el instrumento
tenía un comportamiento semejante en ambas aplicaciones en cuanto a la discri-
minación del nivel de lengua B1 con el criterio de corte asignado del 60%.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
96
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
MUESTRA: Se constituyó por 2 grupos.
• Grupo de Estudiantes del año 2011
Participaron 16 estudiantes provenientes de distintas nacionalidades, quienes se
encontraban realizando estudios de intercambio en la Universidad de Concepción
en el segundo período semestral del año 2011. Estos estudiantes fueron evaluados
con la prueba en su Forma A el día 26 de octubre de 2011.
Del total de los estudiantes 10 eran hombres y 6 mujeres. Provenían: 8 de los
Estados Unidos, 7 de Alemania y uno de Haití.
• Grupo de Estudiantes del año 2012
En el grupo de la cohorte del año 2012 participaron 25 estudiantes, de los cuales
12 eran hombres y 13 mujeres. Los estudiantes provenían: 12 de Alemania, 7 de
los Estados Unidos, 2 de Bélgica, 2 de Brasil y 2 de Francia. Se les aplicó la prueba
en su Forma A el día 5 de septiembre de 2012.
RESULTADOS DE LA APLICACIÓN DE LA PRUEBA EN SU FORMA A
• Resultados del Grupo de Estudiantes del año 2011
En la Tabla III se detalla la información sobre los porcentajes obtenidos por los
estudiantes del Grupo del año 2011. Los resultados se organizan de acuerdo a las
distintas secciones de la prueba, expresados en porcentajes. La última columna
especifica el nivel de proficiencia correspondiente al estudiante.
Tabla III. Resultados prueba piloto Forma A- Muestra 2011.
97
Nótese, por ejemplo, que el sujeto N° 10 obtuvo un 57% de logro en la prue-
ba (de un 100%). De acuerdo con el criterio de corte, este alumno estaría bajo el
60% de suficiencia exigido para el nivel B1 por lo que se sugiere asignarlo a un
curso de nivel A2. Por otra parte, el sujeto N° 16 obtuvo un 73%, lo cual indica
que a este alumno le corresponde el nivel de proficiencia B1, acorde con el criterio
de corte, ya que está sobre el porcentaje exigido. En consecuencia, los resultados
reflejan que el instrumento permite discernir y determinar con precisión el nivel
de lengua antes de comenzar un curso de español en el Programa ELE-UdeC.
De esta manera, se logró distribuir adecuadamente a los alumnos en los cursos
correspondientes.
• Resultados del Grupo de Estudiantes del año 2012
En la Tabla IV se puede observar que la mayoría de los estudiantes obtuvo resul-
tados que reflejan un nivel intermedio (B1). Es decir, 20 estudiantes obtuvieron
el porcentaje requerido. Específicamente, 19 de ellos superaron la exigencia del
60% en cuanto al uso de sus competencias lingüísticas y comunicativas, según lo
acordado para este nivel de lengua basados en el MCER y el DELE. Sin embargo,
algunos estudiantes obtuvieron resultados por debajo del 60% (5 estudiantes, del
estudiante 21 al 25), lo que determinó que se distribuyeran en el curso de nivel
principiante A2.
Tabla IV. Resultados prueba piloto Forma A- Muestra 2012.
Continuación Tabla III.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
98
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
De acuerdo con los datos presentados en la Tablas III y IV, las habilidades
lingüísticas que presentaron un mayor porcentaje de rendimiento fueron las ha-
bilidades productivas, escrita y oral con un rendimiento sobre el 15%. Esto está
acorde, en general, con los resultados que se observan en la aplicación de otros
instrumentos en ELE, como el DELE o el CELU.
ESTUDIO PILOTO FORMA B
La Forma B se aplicó también en dos instancias, el día 28 de noviembre de 2012
y el 20 de marzo de 2013.
MUESTRA: se constituyó por 2 grupos de estudiantes extranjeros.
• Grupo de la cohorte del año 2012
Participaron los mismos 25 estudiantes que fueron evaluados al inicio del trimes-
tre con la Forma A (el día 5 de septiembre). La prueba en su Forma B se aplicó el
día 28 de noviembre de 2012.
El propósito de someter a los mismos estudiantes a una segunda evaluación al
término del trimestre se debió a dos motivaciones:
Continuación Tabla IV.
99
1. Como el desarrollo de la Prueba en su Forma B había concluido en el mes
de octubre, se estimó favorable proceder a pilotearla inmediatamente con
los estudiantes que estaban terminando el trimestre de clases en sus cursos
A2 y B1. De esta forma se podría tener claridad sobre el comportamiento
de la Prueba en su Forma B y hacer las depuraciones pertinentes antes de
someterla a evaluación con los nuevos estudiantes de la generación del año
2013.
2. Se consideró pertinente la aplicación a los mismos estudiantes con el obje-
tivo de observar y verificar que el nivel de lengua determinado en la Forma
A era consistente con los resultados obtenidos en la Forma B. De este modo
se podría tener alguna información sobre el grado de equivalencia entre las
pruebas (Forma A y B) para medir el nivel de lengua de los estudiantes en
cuestión.
• Grupo de la cohorte del año 2013
En el grupo del año 2013 participaron 9 estudiantes, de los cuales 2 eran mujeres
y 7 hombres. Los alumnos tenían distintas nacionalidades, el 22% de los Estados
Unidos, el 22% de Francia, el 11% de Polonia, el 11% de Escocia, el 11% de
Canadá, el 11% de Corea del Sur y el 11% de Alemania.
RESULTADOS DE LA PRUEBA EN SU FORMA B
• Resultados del Grupo de Estudiantes del año 2012
Como se puede observar en la Tabla V se especifica la información sobre los por-
centajes obtenidos por los estudiantes del Grupo del año 2012. Los resultados
permiten visualizar claramente que los estudiantes asignados al Nivel B1, después
de la aplicación de la prueba en su Forma A, mantuvieron el mismo nivel acorde
con el porcentaje final obtenido en la aplicación de la Forma B. Esto significa que
ambas formas del instrumento están midiendo apropiadamente el nivel B1. De la
misma manera se puede constatar que los estudiantes que fueron evaluados con
un porcentaje correspondiente al nivel de lengua A2 con la prueba en su Forma
A mantuvieron también dicho nivel en la aplicación de la prueba en su Forma B.
Con excepción del alumno N° 21, quien subió un punto, quedando justo en el
nivel de suficiencia del 60 %, lo que sugeriría que está próximo al nivel B1.
Hacia una prueba de nivel en español como lengua extranjera /
A. FERREIRA, A. VINE, J. ELEJALDE
100
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
Tabla V. Resultados prueba piloto Forma B- Muestra 2012.
Es interesante señalar, además, que el grupo muestral del año 2012 en la apli-
cación de la Forma B muestra un aumento en su rendimiento, en algunos casos,
de manera significativa, los alumnos aumentaron en promedio entre 1 y 24 por
ciento respecto a los resultados obtenidos en la aplicación de la Forma A. Esto
puede explicarse por el grado de exposición al español durante el tiempo transcu-
rrido entre las dos tomas del instrumento (Forma A, 4 septiembre y Forma B, 28
de noviembre). Aun cuando no se trata de una prueba de dominio, sino de nivel
de lengua (como se expuso en los fundamentos teóricos de esta investigación),
igualmente el estar en un ambiente de total inmersión favorece el aprendizaje de la
lengua y esto se observa en los resultados logrados por los alumnos. No obstante,
lo relevante es que mantienen el nivel B1 y A2 con excepción del alumno N° 21,
quien estaba muy próximo al porcentaje de corte del nivel B1.
Además del contexto de inmersión, la comparación de los resultados entre las
dos formas de la prueba evidencia que los cursos que ofrece el programa estarían
favoreciendo el aprendizaje de la lengua, y al mismo tiempo es una demostración
101
de que el instrumento evaluativo que estamos construyendo está midiendo de
manera acertada el nivel de lengua acorde con las competencias lingüísticas y co-
municativas que presentan los estudiantes.
• Resultados del Grupo de Estudiantes del año 2013
En la Tabla VI se presentan los resultados de la aplicación de la Forma B al grupo
muestral del año 2013, antes de comenzar los cursos de español como LE. La
prueba se aplicó el día 20 de marzo.
Como se puede ver en la Tabla VI, de los nueve estudiantes evaluados siete pre-
sentaron como resultado un porcentaje total de rendimiento superior al criterio
de corte del 60 %, por lo cual fueron distribuidos en un curso de ELE de nivel de
proficiencia B1. En cambio, sólo dos de los nueve presentaron un porcentaje final
de rendimiento inferior al 60% de corte, lo cual sugirió que se deberían distribuir
en un curso de Nivel A2.
En este sentido, puede decirse que el instrumento permitió discernir con ma-
yor precisión, en ambos casos, el nivel de competencia de español de los estudian-
tes al ingresar a los cursos del programa ELE-UdeC.
Tabla VI. Resultados prueba piloto Forma B- Muestra 2013.
Finalmente, los resultados logrados hasta ahora en esta investigación en cuan-
to a las dos formas del instrumento (Forma A y B) que se está construyendo y
evaluando empíricamente permiten discernir el nivel de lengua B1, acorde con el
MCER. Además, dichos resultados han sido consistentes con el desempeño obser-
vado en los estudiantes en los cursos y actividades trimestrales que contempla el
Programa ELE-UdeC. Esto refleja que la distribución de los grupos fue acertada
de acuerdo con el instrumento aplicado.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE
102
RLA. Revista de Lingüística Teórica y Aplicada, 51 (2), II Sem. 2013
4. CONCLUSIONES Y PROYECCIONES
En este estudio se propone el diseño, construcción y evaluación de un instrumen-
to para medir nivel de proficiencia B1 en español como lengua extranjera, acorde
con el MCER. A partir de los resultados de los dos estudios pilotos, se puede
señalar que el diseño y estructuración de la prueba en sus dos versiones, Forma A
y B, arrojan resultados satisfactorios que responden a los objetivos planteados para
la definición del nivel de lengua de los estudiantes y su distribución en los grupos
y cursos de lengua correspondientes. No obstante, la complejidad de la naturaleza
de la lengua y del proceso de evaluación indica que se debe continuar evaluando y
depurando el instrumento con el objeto de irlo adaptando a la realidad lingüística
del español en todas sus variantes.
Ahora bien, en función de lo señalado, cabe destacar que la importancia de este
trabajo radica en el acercamiento que se logra hacia la evaluación del español en su
variante chilena, sumándose así a los demás esfuerzos de otras instituciones y pro-
gramas, que de igual manera se dedican a la evaluación, enseñanza, investigación y
difusión del español como lengua extranjera, específicamente en las variantes lati-
noamericanas. Por esta razón, como resultado de este estudio, se puede vislumbrar
futuras proyecciones para el mejoramiento de las pruebas aquí descritas.
Proyecciones
Hasta el momento se ha evaluado las dos versiones de la prueba en respuesta a los
objetivos planteados para esta investigación, esto es: 1) diseñar una prueba de ni-
vel B1 para ELE con dos formas equivalentes y 2) evaluar el comportamiento de la
prueba en sus formas A y B para medir el nivel de proficiencia B1. Aun cuando en
un primer acercamiento la fase experimental de la evaluación de este instrumento
en sus dos formas permite determinar con certeza su validez interna, es necesario
corroborar en una futura revisión su validez externa, a través de las medidas es-
tadísticas que permitan evaluar tanto la fiabilidad como la equivalencia entre los
dos instrumentos y los ítemes desarrollados para los mismos. Esto significa aplicar
estadísticos de correlación con las condicionantes de precisión de ítem y respuesta,
tiempo de estudio, reacción en la respuesta y otras variables a considerar.
REFERENCIAS
Alderson, J. Charles, Clapham, Caroline y Wall, Dianne. (1998). Exámenes de
idiomas: Elaboración y evaluación. Madrid: Edit. Cambridge.
Bordón, Teresa. (1991). El enfoque comunicativo en la enseñanza de lenguas se-
gundas, aplicado a las técnicas de evaluación. Disertación de tesis de Doctora-
103
do. Madrid, España: Universidad Autónoma de Madrid.
Bordón, Teresa. (2006). La evaluación de la lengua en el marco de E/L2: Bases y
procedimientos. Madrid: Edit. Arcolibros.
Bordón, Teresa. (2007). La evaluación de la actuación oral en aprendices de EL2
mediante cuadros o escalas de niveles, en el XVII Congreso Internacional de
la Asociación del Español como Lengua Extranjera (ASELE), Universidad de
La Rioja, España.
Ferreira, Anita. (2010). Aula Virtual para la Enseñanza del Español como Lengua
Extranjera. Plataforma E-learning. Universidad de Concepción.
Hymes, Dell. (1971). On communicative competence. Vol. XXXV. Philadelphia:
Edit. University of Pennsylvania Press.
Ministerio de Educación, Cultura y Deporte. (2002). Marco común europeo de
referencia para las lenguas: Aprendizaje, enseñanza, evaluación. Madrid: Secreta-
ría General Técnica del MECD y Grupo Anaya. Traducido y adaptado por el
Instituto Cervantes.
Natalías, Verónica Edeso. (2008). ¿Qué es una prueba de nivel?: Definición, ob-
jetivos y factores que hay que tener en cuenta en su elaboración en el XVIII
Congreso Internacional de la Asociación para la Enseñanza del Español como
lengua Extranjera (ASELE) Alicante, España.
Pacheco, Juan Eguiluz. (2008). Evaluación de la competencia: creación y cons-
trucción de un modelo de prueba en el XVIII Congreso Internacional de la
Asociación para la Enseñanza del Español como lengua Extranjera (ASELE),
Alicante, España.
Pastor, Susana. (2003). La evaluación del proceso de aprendizaje de segundas len-
guas. En Perspectivas teóricas y metodológicas: lengua de acogida, educación inter-
cultural y contextos inclusivos (pp. 503-513). Madrid: Comunidad de Madrid,
Consejería de Educación.
Richards, J. C., Platt, J., y Platt, H. (1992). Diccionario de lingüística aplicada y
enseñanza de lenguas. Barcelona: Edit. Ariel. Versión española y adaptación de
Carmen Muñoz Lahoz y Carmen Pérez Vidal.
Vine, Ana, y Ferreira, Anita. (2012). Mejoramiento de la competencia comunica-
tiva en español como lengua extranjera a través de la videocomunicación. RLA,
50 (1), 139-160.
Hacia una prueba de nivel en español como lengua extranjera / A. FERREIRA, A. VINE, J. ELEJALDE