Content uploaded by Joan Borràs-Comes
Author content
All content in this area was uploaded by Joan Borràs-Comes on May 31, 2017
Content may be subject to copyright.
El desarrollo de la competencia discursiva en lengua extranjera en
un entorno ICLES: La efectividad de la estrategia GUIDEWAY
Joan Borràs-Comes (Universitat Autònoma de Barcelona – Universidad Pompeu Fabra)
Cristina Escobar Urmeneta (Universitat Autònoma de Barcelona)
Resumen
El artículo analiza el efecto del dispositivo didáctico Guideway en el “Grado en Edu-
cación Primaria – Docencia en Inglés” (GEP-DUI). El dispositivo, diseñado según los
principios pedagógicos ICLES, tiene como meta el desarrollo del discurso académico es-
crito en inglés de los estudiantes. En este trabajo se examinan las mejoras observadas en
coherencia y cohesión en el redactado de textos argumentativos por parte de alumnos de
primer y segundo cursos del GEP-DUI, clasificados también dependiendo de si recibían
o no clases extracurriculares de inglés. Los resultados constatan (1) que los informantes
obtienen mejores resultados en el post-test que en el pre-test, (2) que los alumnos de se-
gundo curso obtienen mejores resultados que los de primero, (3) que la mejora es superior
en la coherencia que en la cohesión, y (4) que los informantes que no reciben instrucción
extracurricular de inglés obtienen mejores resultados que los que sí la reciben. En defini-
tiva, el estudio indica que la competencia discursiva en la argumentación académica es-
crita puede mejorar en un contexto ICLES mediante el uso de un dispositivo pedagógico
con tareas guiadas para la escritura.
Palabras clave
Atención al discurso, Escritura académica, Competencia discursiva, Coherencia,
Cohesión, Formación del profesorado.
1. Introducción
1.1. La incidencia de los programas ICLES en la formación lingüística del estudiante
La Docencia Universitaria en Inglés o DUI (EMI según las siglas en inglés de English
Medium Instruction) es una práctica habitual en numerosas universidades de todo el
mundo. Los programas de Integración de Contenidos y Lengua en la Educación Superior
(ICLES) constituyen una variedad concreta de estos programas y representan la extensión
del aprendizaje integrado de contenidos y lengua en la educación primaria y secundaria,
conocido como AICLE (o CLIL según sus siglas en inglés) (v. Escobar Urmeneta, en este
volumen a). Los programas ICLES tienen el objetivo de desarrollar de forma simultánea
la competencia profesional específica de un grado y la competencia comunicativa de la
lengua extranjera en el propio contexto profesional (en el caso del GEP-DUI y de la co-
munidad educativa catalana en general, el inglés).
Generalmente, los estudios sobre DUI/ICLES se han centrado en tres áreas principales:
(a) las actitudes de los estudiantes y los profesores hacia estos programas, (b) las prácticas
de interacción en el aula y (c) la actuación académica del aprendiz en una lengua adicional
(Dafouz, 2014).
En cuanto a las actitudes de profesores y estudiantes, mientras que distintos estudios nór-
dicos no encuentran ventajas en el aprendizaje de contenidos mediante una lengua extran-
jera (v. Dalton-Puffer, 2011) —sino que más bien sugieren problemas de comprensión
lectora, pronuncia y un posible efecto adverso sobre la plena competencia en la lengua
materna (Airey & Linder, 2007; Hellekjær, 2010)—, otros estudios del centro y sur de
Europa indican distintas actitudes positivas por parte de aprendices y docentes (Ackerl,
2007; Aguilar & Rodríguez, 2012; Dafouz, Núñez, Sancho, & Foran, 2007, Doiz, Lasa-
gabaster, & Sierra, 2011). De todos modos, estos otros estudios también señalan que, en
general, la competencia lingüística y las metodologías pueden no ser tan relevantes como
el contenido para un docente en un contexto estrictamente DUI (Aguilar & Rodríguez,
2012), o que el docente puede considerar que los aspectos lingüísticos no son responsa-
bilidad suya y que, por lo tanto, no debe corregir los errores lingüísticos de los alumnos
(Airey, 2012; Dafouz, Camacho, & Urquia, 2014; Doiz et al., 2011).
En cuanto a las prácticas de interacción en el aula, los estudios realizados en el contexto
de la educación universitaria no han sido tan numerosos como los que se han desarrollado
en el ámbito de la educación secundaria. Estos estudios se han centrado principalmente
en tres aspectos: (a) la instrucción de los profesores universitarios (Dafouz & Núñez,
2010; Dafouz et al., 2007; Fortanet, 2010), (b) el uso de preguntas por parte de los profe-
sores, en todas las disciplinas (Dafouz & Sánchez García, 2013; Sánchez García, 2010),
y (c) la noción del inglés como lingua franca dentro del aula (Borràs, Moore, Nussbaum,
& Patiño, 2012; Moore, Nussbaum, & Borràs, 2013; Hynninen, 2012; Moore, 2016). Los
principales hallazgos de estos estudios han establecido dos conclusiones generales: (i)
que los profesores se beneficien de la instrucción pedagógica y lingüística con el objetivo
de maximizar sus habilidades educativas en otra lengua (Dafouz, 2011), y (ii) que hace
falta reconsiderar el hecho de tomar el hablante nativo como paradigma de las prácticas
internacionales en el aula.
Finalmente, el estudio de las mejoras lingüísticas de los aprendices de un programa
ICLES —aspecto central de este artículo— no ha recibido una atención mucho mayor.
En general, los estudios AICLE realizados en la educación primaria y secundaria (v. Ruiz
de Zarobe, 2011) muestran mejoras en la lectura, el vocabulario receptivo, la expresión
oral (en relación con la fluidez y la disposición a hablar), la escritura (en cuanto a la
fluidez y las dificultades sintácticas y léxicas), algún fenómeno morfológico y con aspec-
tos emocionales y afectivos, pero no en el vocabulario productivo, la sintaxis, el lenguaje
informal o no técnico y la escritura (en cuanto a las actividades discursivas y a la adecua-
ción).
Con respeto a los contextos DUI/ICLES, Aguilar & Muñoz (2013) evidenciaron que,
después de un semestre de programa, los estudiantes mejoraban la comprensión oral, pero
no mostraban resultados relevantes en la competencia estrictamente gramatical. No obs-
tante, mostraron que los estudiantes menos competentes lingüísticamente eran los que
mostraban más mejora. Chostelidou & Griva (2014) compararon los resultados que obtu-
vieron (para las mismas asignaturas) un grupo de estudiantes de un programa ICLES y
otro que no participaba de este enfoque. Los autores concluyeron que los primeros obte-
nían resultados más buenos en habilidades lingüísticas (comprensión de la lengua) y de
contenido (aprendizaje de contenidos), además de desarrollar globalmente actitudes po-
sitivas hacia las asignaturas. Con la finalidad de medir el impacto del ICLES, Jiménez-
Muñoz (2014) creó un modelo propio basado en el Marco europeo común de referencia
para las lenguas (MECR) para concretar las mejoras lingüísticas que los estudiantes po-
dían obtener con un cuestionario de autoevaluación. Los resultados indicaron una mejora
significativa en todas las habilidades lingüísticas, pero también una falta de objetividad
derivada del uso de la autoevaluación. Finalmente, Ament & Pérez Vidal (2015) explo-
raron las mejoras lingüísticas que se producían al cabo de un curso en dos grupos de
estudiantes catalanes de distintos niveles de programas DUI en contextos de inmersión y
semi-inmersión. La investigación indicó (a) una mejor competencia oral y lexicograma-
tical en todos los aprendices, (b) una mejora no significativa en la competencia escrita,
pese a una tendencia positiva en complejidad y fluidez, y (c) la preferencia, por parte de
los autores, de un enfoque claramente ICLES si lo que se desea es también una mejora de
los aspectos lingüísticos.
1.2. El estudio de la competencia discursiva: coherencia y cohesión
Hymes (1972) ideó el concepto de competencia comunicativa como contrapunto a la
noción de competencia lingüística de Chomsky (1965), que establecía una diferencia en-
tre competencia y que servía de base para interesarse fundamentalmente por la primera
(es decir, por el dominio de la lengua y las reglas gramaticales del oyente/hablante, pero
no por el uso real de la lengua en situaciones concretas, el uso del lenguaje o la adquisi-
ción y la enseñanza de lenguas). Más tarde, Canale & Swain (1980) desglosaron el mo-
delo de competencia comunicativa de Hymes en tres partes: la competencia gramatical,
la sociolingüística y la estratégica, y, poco después, Canale (1983: 9) redefinía la compe-
tencia sociolingüística para hacer escindir de ella la competencia discursiva, definida
como «la forma en la que se combinan formas gramaticales y significados para conseguir
un texto oral o escrito unitario, en diferentes géneros. [...] La unidad de un texto se con-
sigue mediante la cohesión en la forma y la coherencia en el significado».
Así pues, desde la primera definición de competencia discursiva se pudieron extraer dos
elementos clave para conseguir la unidad dentro de un texto: la cohesión, ligada a la
forma, y la coherencia, ligada al significado. Por lo tanto, la cohesión repercutiría en la
estructura y la globalidad del texto mientras que la coherencia haría referencia a un nivel
más profundo e interno. Más tarde, distintos autores como Bachman (1990) y Bachman
& Palmer (1996), Celce-Murcia, Dörnyei, & Thurrell (1995), Connor & Mbaye (2002),
Camps, Guasch, Milian, & Ribas (2005), y Barkaoui & Knouzi (2012), han revisado la
definición de la competencia discursiva para incluir otros elementos como la organización
del texto o la deixis, pero cohesión y coherencia han sido elementos presentes en la prác-
tica totalidad de los modelos teóricos.
La definición de coherencia ha ido cambiando según los autores: mientras algunos de
ellos le han atribuido diferentes subcomponentes discursivos (cohesión, unidad, registro,
etc.), otros la han entendido como una unidad capaz de relacionar significados y las ora-
ciones entre sí y de modelar la competencia discursiva de los textos. Grabe (1984) la
definió como un «constructo teórico en la estructura del texto que hace referencia a las
relaciones subyacentes que se establecían entre diferentes aserciones (o proposiciones) y
como contribuyen a la temática discursiva general» (1984: 110) (v. Canale, 1983; Bander,
1983; Dastjerdi & Talebinezhad, 2006), y distintos autores han aludido al concepto de
coherencia basada en el lector, según el que es necesario que el texto y el lector interac-
túen adecuadamente para que el texto sea procesado correctamente (Carrel, 1982; Ru-
melhart, 1977).
El concepto de cohesión tampoco ha estado exento de múltiples definiciones. Van Dijk
(1972, 1977, 1980; también en Van Dijk & Kintsch, 1983) entiende la cohesión como un
elemento dentro de la coherencia, e indica —tal como Tani (1983)— que es necesario
estructurar las frases en un sistema textual o macroestructura que ejerce de mecanismo
de coherencia textual. Así pues, si a una secuencia de oraciones le falta un tema global—
o de macroestructura—, los enunciados son incoherentes, y en consecuencia no se cons-
tituye el texto. Por su parte, Halliday & Hasan (1976) entienden que las relaciones de
cohesión determinan la textura del texto, y que el hecho de poseer textura es la propiedad
esencial que define cualquier texto. En base a este sistema, Sanders & Maat (2006) dis-
tinguen cinco tipo de cohesión: (1) referencia: dos elementos lingüísticos están relacio-
nados con respeto a lo que se refieren, (2) substitución: un elemento lingüístico no se
repite sino que se remplaza por un elemento substitutorio, (3), elipsis: entre elementos
lingüísticos idénticos se omite uno, (4) conjunción: una relación semántica se marca ex-
plícitamente, y (5) cohesión léxica: dos elementos comparten un campo léxico (coloca-
ción). Más tarde, Celce-Murcia et al. (1995) rehacían la clasificación anterior colocando
bajo una misma categoría los conceptos de substitución y elipsis.
Chiang (1999), consciente de los cambios ocurridos en la teoría del análisis del dis-
curso —en los que se enfatizaba la frase y se profundizaba en la gramática inter-oracional
y en las estructuras intermedias del discurso—, expuso distintos intentos de investigar la
relación entre coherencia y cohesión, y también entre estos dos constructos y la calidad
de un texto. Finalmente, determinó que coherencia y cohesión eran elementos discursivos
claramente diferenciados e identificó los dos parámetros como ejes centrales de la com-
petencia discursiva. En este sentido, Chiang diseño una primera escala de evaluación Li-
kert para evaluar distintos rasgos gramaticales y discursivos (1999: 221): «la escala de
medida, por lo tanto, consiste en dos subescalas intra-oracionales (morfología y sintaxis)
y en dos subescalas inter-oracionales (coherencia y cohesión), además de una escala in-
dependiente de cinco puntos sobre la calidad general de la escritura». El año 2003, Chiang
adaptó las escalas de evaluación presentadas hacía años para ofrecer otras de más opera-
tivas, en las que todos los constructos se presentaba con una cantidad igual de 5 ítems, en
los que cada evaluador debe puntuar el grado con el que está de acuerdo con las cinco
afirmaciones que se dan (cinco para la coherencia y cinco para la cohesión; v. más ade-
lante la Figura 1).
1.3. Objetivos de estudio e hipótesis
Los objetivos de esta investigación se inscriben en el campo de la investigación de la
didáctica de la lengua, concretamente en el ámbito de la evaluación del discurso escrito y
en el ámbito de la educación multilingüe en programas DUI. Según Escobar Urmeneta
(Coord., 2014), el estudio parte del diseño de la titulación GEP-DUI de la UAB y consti-
tuye un componente central del proyecto GUIDEWAY: «el hecho de que el inglés se
utilice como lengua vehicular para llevar a cabo tareas académicas de alta demanda cog-
nitiva y discursiva incrementará notablemente las competencias comunicativo-discursi-
vas en inglés de los estudiantes, siempre que los estudiantes reciban apoyo y guía sufi-
cientes en las actividades de lectura y en las tareas de escritura requeridas en las distintas
asignaturas.» (Escobar Urmeneta, Coord., 2014: 7).
Así pues, el objetivo de este estudio es evaluar la eficacia del dispositivo didáctico
diseñado por el profesorado de GUIDEWAY, consistente en despertar la consciencia de
los estudiantes sobre problemas linguistico-discursivos que transcienden la frase y la ora-
ción como objeto de atención pedagógica, y ofrecerles apoyo en las tareas de escritura
académica a través de estrategias de guía y microactividades de atención a la relación
entre contenido y discurso escrito (Bolitho et al., 2003; Escobar Urmeneta, 2016; Muñoz
Luna, 2014; Thornbury, 2005). La recogida de datos se llevó a cabo en dos niveles dis-
tintos del GEP-DUI: alumnos de primer y alumnos de segundo curso. De este objetivo
general establecido por GUIDEWAY, se concretó una pregunta de investigación general:
“¿Muestran los estudiantes GEP-DUI una mejora estadísticamente significativa de la
competencia discursiva académica medida mediante un conjunto de indicadores de com-
petencia discursiva?", de la que derivaron las cuatro preguntas de investigación siguien-
tes:
P1. ¿Hay un progreso significativo en la competencia discursiva académica escrita
entre el pre-test y el post-test después de haber aplicado el tratamiento del dispo-
sitivo pedagógico GUIDEWAY en un contexto ICLES?
P2. ¿Hay una diferencia significativa en la competencia discursiva académica escrita
entre el primer grupo GEP-DUI (cohorte 2014/15) y el grupo de segundo GEP-
DUI (cohorte 2013/14)?
P3. ¿Hay una diferencia significativa en la competencia discursiva académica escrita
entre los alumnos que solo han recibido el dispositivo pedagógico GUIDEWAY
y los alumnos que han recibido clases extracurriculares de inglés en el dispositivo
pedagógico GUIDEWAY?
P4. ¿Hay una diferencia significativa entre los dos constructos de la competencia dis-
cursiva académica escrita: la coherencia y la cohesión?
Las hipótesis resultantes son las siguientes:
H1. Habiendo aplicado el dispositivo GUIDEWAY, habrá un progreso significativo
entre el pre-test y el post-test.
H2. Comparando los grupos de primero (cohorte 2014-15) y los de segundo (cohorte
2013-14), los de segundo obtendrán mejores resultados globales, pero el progreso
entre el pre-test y el post-test será más grande para los alumnos de primero.
H3. Comparando los alumnos según si han recibido, adicionalmente, clases extracu-
rriculares de inglés o no, los alumnos que sí que hayan recibido mejoraran más
significativamente y obtendrán, en general, mejores resultados.
H4. Entre los dos constructos de competencia discursiva, los alumnos obtendrán más
buenos resultados globales en coherencia que en cohesión.
La sección 2 de este artículo describe más a fondo la población de estudio y la meto-
dología utilizada para realizar el trabajo de investigación. La sección 3 presentará los
resultados del estudio y, a continuación, en la sección 4, se discutirán los resultados en
base a las hipótesis que se acaban de plantear. Finalmente, en la sección 5 se expondrán
las principales conclusiones del estudio junto con la utilidad que se desprende de ellas y
las posibles limitaciones y ampliaciones futuras.
2. Metodología experimental y de análisis
2.1. Contexto e informantes
La recogida de datos tuvo lugar en la Universidad Autónoma de Barcelona (UAB), en
la que desde el curso 2012-13 se ofrece la posibilidad de cursar un itinerario del Grado
en Educación Primaria (4 años académicos y 240 ECTS de carga lectiva) con la docencia
en inglés (GEP-DUI). El itinerario GEP-DUI adopta un enfoque de Integración de Con-
tenidos y Lengua en la Educación Superior (ICLES) concretado en el dispositivo peda-
gógico GUIDEWAY, que es el objeto de evaluación de este estudio.
Los participantes del estudio surgen de dos cohortes de estudiantes GEP-DUI: alumnos
de primer curso (cohorte 2014-15) y de segundo curso (cohorte 2013-14), que a la vez
fueron clasificados según si recibían (o no) clases extracurriculares de inglés (a partir de
ahora, CEI): alumnos que no recibían (CEI0) y alumnos que sí (CEI1). La Tabla 1 muestra
el número de alumnos con el que contaba cada subgrupo (en la tabla se omiten 23 parti-
cipantes adicionales que realizaron solo una de las dos tareas y que, por lo tanto, no se
incluyeron en las análisis subsiguientes).
Tabla 1. Número de alumnos dentro de cada subgrupo de estudio, resultante de las dos cohortes
analizadas y de si recibían o no inglés extracurricularmente.
CEI0
CEI1
Total
Cohorte 2013-14
32
33
65
Cohorte 2014-15
36
31
67
Total
68
64
132
Los 132 informantes de la muestra participaron en un programa de inmersión lingüís-
tica en inglés con un enfoque ICLES, que a partir del curso 2013-14 se concretó en el
dispositivo GUIDEWAY. En líneas generales, este dispositivo consiste en proporcionar
al alumnado un guiaje y soporte en las actividades de comprensión y expresión en las
distintas asignaturas (v. Escobar Urmeneta, 2016, y Escobar Urmeneta, Ed., en prepara-
ción), el cual , entre septiembre de 2013 y febrero de 2014 —objeto de evaluación del
presente estudio—, se desarrolló en tres asignaturas de 6 ECTS de carga lectiva de primer
y segundo curso: Educación y contextos educativos (1o), Sociedad, ciencia y cultura (1
o), y Didáctica y desarrollo curricular (2o). Las actividades de escritura guiada están for-
madas por guiones de trabajo con un formato establecido, en las que se propone abordar
un tema o problema relacionado con la asignatura. Para su desarrollo, los estudiantes tie-
nen pautas o guías de escritura que acompañan las consignas. El material de soporte per-
mite que los aprendices tomen consciencia de los aspectos relevantes de la competencia
discursiva como por ejemplo el uso de la terminología adecuada, la estructura del texto,
la fundamentación argumentativa y otros elementos (v. Escobar Urmeneta, Ed., en pre-
paración). Así pues, todos los informantes mantienen unas características similares: tie-
nen un dominio de la lengua inglesa que oscila entre los niveles A2 y B2, se encuentran
mayoritariamente entre 18 y 20 años de edad, su lengua familiar (L1) es el catalán y/o el
castellano y han recibido una instrucción en inglés con un guiaje pedagógico con enfoque
ICLES implantado en el GEP-DUI.
2.2. Metodología
Este estudio cuantitativo adopta un diseño pre-experimental, es decir, aspira a medir
el cambio que se ha producido con el tratamiento, desde el pre-test (prueba previa al es-
tímulo) hasta el post-test (prueba posterior al estímulo) (v. Sans Martín, 2014). Se optó
por este diseño porque el estudio se lleva a cabo en un grupo natural de la Facultad de
Ciencias de la Educación (FCE), en la que no se encuentra ningún grupo similar al que se
le haya administrado un tratamiento paralelo (y, por lo tanto, susceptible a ser compara-
ble). En este sentido, no se puede comparar el grupo GEP-DUI con el grupo GEP en
catalán (no-DUI), dado que difieren de forma extrema con el volumen de horas de con-
tacto con el inglés.
El instrumento que se aplicó para recoger los datos en el pre-test y en el post-test es el
“Test on Academic Skills in English”, diseñado ad hoc. El test completo consta de tres
tareas de comprensión lectora y dos de escritura. Para medir la competencia discursiva
académica escrita se usan únicamente los datos aportados por una tarea que consistía en
escribir un ensayo comunicativo —de un máximo de 200 palabras— de temática educa-
tiva a partir de dos citaciones “estímulo” correspondientes a pedagogos de prestigio. Más
concretamente, se utilizó una cita de Bellack en el pre-test y una de Montessori en el post-
test.
Para que los informantes respondieran las dos versiones del test, se estableció un pro-
tocolo de administración pactado por el equipo de investigación GUIDEWAY y por el
profesorado GEP-DUI. Así pues, todos los grupos de estudiantes tuvieron igualdad de
condiciones al responder cada prueba. Cada grupo-clase fue convocado un día distinto en
una de las aulas de informática de la FCE de la UAB. A la hora establecida por protocolo,
todos los informantes recibieron las instrucciones a seguir con soporte visual (PPT). El
pre-test se administró en septiembre de 2014, antes de iniciar las clases. El post-test se
administró en enero de 2015, cuando ya se habían terminado las clases del primer semes-
tre.
2.3. Selección y tratamiento de los datos
Los datos del pre-test y del post-test se descargaron, clasificaron y se organizaron con
el programa Microsoft Excel. Seguidamente, se descartaron los textos producidos por es-
tudiantes ausentes en el pre-test o en el post-test, así como esos que habían tenido algún
tipo de incidencia informática o de algún otro tipo durante la administración de la prueba.
Finalmente, los textos se anonimizaron y se organizaron de forma aleatoria para evitar
cualquier sesgo al realizar la codificación y para garantizar la fiabilidad de todo el pro-
ceso.
Antes de iniciar las tareas de puntuación de textos, los evaluadores (los dos últimos
coautores del estudio) se sometieron a un entrenamiento conjunto puntuando ensayos si-
milares a los de la muestra hasta que se obtuvo un nivel de coincidencia de aplicación de
los criterios de Chiang (2003) superior al 80%. Finalmente, los ensayos se puntuaron por
los evaluadores mediante un procedimiento de doble corrección independiente.
Para valorar la competencia discursiva académica escrita de los informantes se optó
por el modelo de Chiang (2013), que desglosa esta competencia en dos componentes —
cohesión y coherencia— y que constituye un instrumento ya validado y ampliamente uti-
lizado para abordar la cuestión de forma empírica (v., p. ej., Barkaoui & Knouzi, 2012)
(v. Figura 1).
5 = Muy de acuerdo 4 = De acuerdo 3 = Indeciso 2 = En desacorde 1 = Muy en desacorde
Coherencia
5 4 3 2 1 NA (a) Las ideas del ensayo están bien relacionadas las uñas con las otras.
5 4 3 2 1 NA (b) El punto de vista general del escritor es claro.
5 4 3 2 1 NA (c) La transición entre párrafos es suave.
5 4 3 2 1 NA (d) Las ideas que menciona están elaboradas.
5 4 3 2 1 NA (e) La división en párrafos es justificable por la relevancia del contenido.
Cohesión
5 4 3 2 1 NA (a) Los conectores se utilizan adecuadamente y con criterio.
5 4 3 2 1 NA (b) Cuando no hay conectores, la transición entre oraciones es suave.
5 4 3 2 1 NA (c) Cuando se da el caso, las palabras y expresiones equivalentes se usan correc-
tamente.
5 4 3 2 1 NA (d) La información nueva se introduce en un sitio y forma adecuados.
5 4 3 2 1 NA (e) La puntuación se utiliza adecuadamente para separar ideas y oraciones.
Figura 1. Traducción de la escala para medir rasgos discursivos de Chiang (2003).
Después de que cada ensayo fuera puntuado según los 10 criterios de Chiang (2003),
se calculó el índex de fiabilidad entre evaluadores mediante el coeficiente Kappa de
Cohen aplicado mediante la aplicación IBM SPSS Statistics versión 23.0. El resultado
total entre evaluadores fue de 0,849, calificable como “casi perfecto” según la escala de
Landis & Koch (1977).
Acto seguido, se calculó el promedio de la puntuación dada por los evaluadores, con
lo que se obtenía un valor entre el 1 y el 5. Los valores, después, fueron convertidos a una
escala del 0 al 1, y, finalmente, la base de datos final se trasladó a la aplicación IBM SPSS
Statistics para su posterior análisis estadístico. La base de datos constaba de 20 registros
por participante (2 pruebas × 2 medidas de competencia discursiva × 5 criterios de análi-
sis), con un total de 132 participantes clasificados en cuatro grupos distintos (v. más arriba
la Tabla 1).
Para analizar las diferencias entre el pre-test y el post-test se utilizó un Modelo Lineal
Generalizado Mixto (GLMM: Generalized Linear Mixed Model), descrito con detalle en
la siguiente sección.
3. Resultados
Mediante los resultados del análisis estadístico se quiere comprobar si la aplicación de
un programa ICLES hace variar la competencia discursiva académica escrita de los estu-
diantes, por lo que se comprobará la relevancia de cuatro factores distintos y sus posibles
interacciones. Dos de estos factores son intergrupales (es decir, conforman grupos de par-
ticipantes distintos): COHORTE (2013-14, 2014-15) y la realización del inglés extracurri-
cularmente o CEI (CEI0, CEI1), y los otros dos factores intragrupales: la prueba que pa-
samos a llamar TEST (pre-test, post-test), y el CONSTRUCTO específico de la competencia
discursiva (coherencia, cohesión).
La Figura 2 muestra las puntuaciones promedio dadas en cada constructo, en las dos
pruebas y en los cuatro grupos de participantes. En el grafico se puede observar una ten-
dencia general para obtener una puntuación superior en el post-test que en el pre-test, así
como una puntuación superior en la coherencia que en la cohesión.
Figura 2. Puntuaciones promedio obtenidas en los ensayos en cuanto a los dos constructos que
permiten el análisis de la competencia discursiva.
Se aplicó un GLMM sobre los datos, en el que se estableció como variable dependiente
el promedio de la puntuación que los evaluadores asignaron a cada redacción. Se estable-
ció como factores fijos COHORTE (2013-14, 2014-15), CEI (CEI0, CEI1), TEST (pre-test,
post-test), CONSTRUCTO (coherencia, cohesión) y todas sus posibles interacciones. Se es-
tablecieron como factores aleatorios la variación entre sujetos dentro de los cuatro grupos
y también la posible variación entre los cinco criterios diferentes que conformaban el
análisis de cada constructo.
Los efectos principales intragrupales (TEST y CONSTRUCTO) fueron significativos (am-
bos con p< 0,001), pero este no fue el caso de los dos efectos principales intergrupales
(COHORTE y CEI). En cuanto al TEST, se obtuvieron mejores resultados en el post-test
que en el pre-test. En lo que refiere al CONSTRUCTO, se obtuvieron mejores resultados
para la coherencia que para la cohesión.
Cinco de las once interacciones posibles también fueron significativas, entre las que
se encuentran algunos casos de efectos locales de COHORTE y de CEI, que describimos a
continuación. Las tres primeras interacciones son de dos elementos. Primero, CEI ×
CONSTRUCTO (p = 0,044), que se puede interpretar en tanto que, en lo que refiere a la
coherencia, los estudiantes CEI0 obtuvieron mejores puntuaciones CEI1 (p = 0,029), pero
los dos grupos se comportaban de forma similar en cuanto a la cohesión (p = 0,188).
Segundo, COHORTE × TEST (p < 0,001), que se puede leer de la forma siguiente: mientras
que en los resultados del pre-test la cohorte 2013-14 obtiene resultados más buenos que
la cohorte 2014-15 (p = 0,015), las dos cohortes obtienen resultados similares en el post-
test (p = 0,860). Tercero, TEST × CONSTRUCTO (p = 0,035), que ofrece una interpretación
complicada (dado que se replican las direcciones de los efectos encontrados ya para los
efectos principales; es decir, post-test>pre-test, p < 0,001, y coherencia>cohesión, p <
0,001), y para el que solo se podría aventurar la explicación que el efecto de TEST es
mayor en la coherencia y que el efecto de CONSTRUCTO es mayor en el post-test (en todos
los casos, p < 0,001).
Finalmente, las dos interacciones de tres elementos fueron las siguientes: por un lado,
CEI × TEST × CONSTRUCTO (p = 0,031), que podría leerse en dos direcciones complemen-
tarias: primero, que los estudiantes CEI0 siempre superan a los CEI1, excepto en el aná-
lisis de la cohesión en el pre-test, en el que obtienen resultados similares; segundo, que el
efecto principal de CONSTRUCTO desaparece cuando se analiza el pre-test de los estudian-
tes CEI1. Por otro lado, COHORTE × TEST × CONSTRUCTO (p = 0,040), que podría inter-
pretarse de la manera siguiente: mientras que no se encuentran diferencias entre las dos
COHORTE, estas sí que se dan cuando se analiza la coherencia en los pre-test.
En resumen, mientras que los factores TEST y CONSTRUCTO muestran tendencias muy
generalizadas entre los resultados, este no es el caso para los factores de COHORTE y CEI,
que solo tendrían una incidencia restringida. Por ejemplo, la incidencia de la COHORTE se
haría más visible en cuanto a los resultados del pre-test, especialmente si analizamos la
cohesión y si nos centramos en los alumnos CEI0. Por otro lado, la incidencia de la CEI
se hace más patente cuando se analizan los resultados del post-test y si nos centramos en
el análisis de la coherencia, situaciones en las que los participantes CEI0 obtienen eva-
luaciones más favorables que los CEI1.
Los resultados de esta sección han confirmado de forma satisfactoria las hipótesis H1
y H4, referentes a los efectos de TEST y CONSTRUCTO, respectivamente. También, de
forma parcial, se cumple la hipótesis H2, en el sentido que en algunos casos, los alumnos
de segundo obtienen puntuaciones mejores que los alumnos de primero, especialmente si
se atienden a los resultados del pre-test, especialmente en el caso de la cohesión y de los
alumnos que no reciben CEI. Finalmente, la H3 se ha encontrado en dirección opuesta,
en el sentido que los alumnos que recibían clases extracurriculares de inglés (CEI1) ob-
tuvieron peores resultados que los que no recibían.
4. Discusión
La primera de nuestras hipótesis de investigación (H1) estaba relacionada con la dife-
rencia entre los resultados del pre-test y del post-test, en el sentido que haber aplicado el
dispositivo pedagógico GUIDEWAY produciría una mejora en la competencia discursiva
académica escrita de los estudiantes. Nuestros resultados han confirmado esta hipótesis
de acuerdo con el efecto principal del factor TEST relatado en la sección anterior. Así, se
puede interpretar que el dispositivo GUIDEWAY es eficaz para mejorar la competencia
discursiva en la argumentación académica escrita en un enfoque ICLES. En este sentido,
el dispositivo didáctico, con las tareas de escritura guiada y con las actividades guía de
estrategias y micro-actividades de toma de consciencia discursiva, puede ser considerado
como productivo para desarrollar y mejorar esta competencia.
Este resultado va en la misma línea que diferentes resultados de estudios existentes
sobre programas AICLE, así como las investigaciones ICLES de Dafouz (2007) y Ament
& Pérez Vidal (2015), que también demuestran la efectividad y las ganancias lingüísticas
de los programas ICLES por encima de otros como los DUI. De todas formas, este estudio
es el primero en mostrar esta mejora y efectividad específicamente en cuanto a la compe-
tencia discursiva académica en un contexto ICLES.
La segunda de nuestras hipótesis de investigación (H2) preveía que los estudiantes de
segundo curso (cohorte 2013/14) obtendrían globalmente más buen resultado que los de
primero (cohorte 2014/15), así como el resultado adicional que el progreso observado
entre el pre-test y el post-test sería superior en los estudiantes de primer curso que en los
de segundo. La hipótesis H2 se ha completado en la dirección indicada, aunque solo de
forma parcial. Los resultados descriptivos indican, efectivamente, que los estudiantes de
segundo curso obtienen un promedio superior a los estudiantes de primero, con una dife-
rencia de 4,35% favorable a los de segundo curso, pero la estadística inferencial indica
que, globalmente, ambos grupos se comportan de forma similar (v. Sección 3). Sin em-
bargo, la interpretación de diferentes interacciones (mediante sus respectivos contrastes
por parejas) indica que la dirección de los efectos prevista se cumple de forma significa-
tiva si se dan algunos requisitos. Por ejemplo, los estudiantes de segundo superan signi-
ficativamente a los de primero en el pre-test, pero no en el post-test. Esta diferencia se
puede explicar por el hecho que los estudiantes de segundo ya están recibiendo clases con
el dispositivo pedagógico GUIDEWAY durante todo un curso, por lo que ya están inte-
grados dentro de esta dinámica de trabajo y ya han podido poner en funcionamiento dis-
tintas estrategias para mejorar la competencia discursiva en los textos argumentativos es-
critos. Dos de las interacciones entre tres elementos (la primera de las que tan solo es
casi-significativa en el modelo general) informan, además, que este resultado es especial-
mente relevante en el caso de los estudiantes que no realizaban inglés extracurricular
(CEI0), hecho que refuerza la hipótesis que la diferencia de resultados, especialmente, a
causa del dispositivo pedagógico GUIDEWAY, así como en el caso de la cohesión por
encima de la coherencia.
La segunda parte de la hipótesis H2, que el progreso observado entre pre-test y post-
test sería superior en los estudiantes de primer curso que en los de segundo, también se
cumple. La diferencia entre los resultados del post-test y los del pre-test (significativa en
los dos grupos a p < 0,001) ofrece una estimación de contraste superior para los estudian-
tes de primero (0,165) que para los de segundo (0,085).
Este conjunto de resultados difiere de los expuestos por Ruiz de Zarobe (2011), que
afirmaba que habilidades como la escritura —en cuanto a las habilidades discursivas y la
adecuación— no demuestran mejoras en entornos AICLE. En nuestro caso, se muestra
una mejora en habilidades de escritura en cuanto a las habilidades discursivas. Tal como
se ha comentado para la hipótesis H1, estos resultados corroboran que los programas
ICLES ofrecen unas condiciones potencialmente favorecedoras del aprendizaje de la len-
gua extranjera que tribuimos a la interrelación de los factores siguientes: el contacto in-
tenso y extenso con la lengua meta en asignaturas de contenidos —donde emergen una
amplia variedad de contextos y tareas de gran demanda cognitiva que requieren el uso
activo de la lengua con un propósito funcional—, y el dispositivo pedagógico —que guía
la atención de los estudiantes hacia aspectos discursivos íntimamente ligados al desarrollo
del contenido, y pone a su alcance herramientas que les permiten planificar escribir, revi-
sar y mejorar sus textos.
La tercera hipótesis (H3) establecía que, aunque todos los alumnos hubieran recibido
el dispositivo pedagógico GUIDEWAY, los alumnos que, además, recibieran clases ex-
tracurriculares de inglés (CEI1) obtendrían mejores resultados que los que no lo hicieran
(CEI0). Nuestros resultados, sin embargo, muestran justamente la tendencia contraria, ya
que han sido los estudiantes CEI0 quien —cuando se cumplen ciertos requisitos— obtie-
nen mejores resultados que los estudiantes CEI1. La diferencia entre los dos grupos es,
estadísticamente hablando, tan solo una tendencia cuando se analiza su efecto principal,
pero llega a ser significativa si nos limitamos a los resultados de la coherencia (pero no
en los de la cohesión), y se intensifica aún más si nos quedamos en los resultados del
post-test. Una posible explicación de estos resultados podría ser que los informantes con
una competencia más limitada en inglés se benefician menos del dispositivo pedagógico
implantado, y de rebote estos informantes son los que optan por asistir a clases extracu-
rriculares de inglés. Este supuesto, de todos modos, precisa de verificación mediante un
estudio posterior.
Entonces, el hecho de que los estudiantes CEI0 obtengan mejores resultados que los
CEI1 se podría relacionar con los estudios que han encontrado más ganancias lingüísticos
para aquellos estudiantes que siguen un programa AICLE —en cuanto a la educación
primaria y secundaria— que no para aquellos estudiantes que siguen un programa de ins-
trucción formal (IF). Por lo tanto, estos datos, hacen cuestionar la efectividad de la ins-
trucción formal en general, y más precisamente la que ofrecen las academias de inglés o
de lenguas extranjeras en relación con el desarrollo de la competencia discursiva o de
otros componentes de la competencia comunicativa; otra área susceptible de exploración.
Finalmente, la cuarta hipótesis (H4) determinaba que entre los dos constructos de com-
petencia discursiva, los alumnos obtendrían mejores resultados globales en coherencia
que en cohesión, y nuestros resultados han confirmado esta hipótesis con creces. Estos
resultados se podrían interpretar partiendo de la teoría de Canale (1983), que considera
que la coherencia se refiere al significado y la cohesión a las marcas formales que facilitan
la adquisición de coherencia. Probablemente, entonces, para obtener mejores resultados
en la cohesión sería necesario un trabajo de cohesión —avalando, en este caso, la conve-
niencia de incluir instrucción formal en un programa ICLES estrechamente vinculado a
los objetivos del programa.
5. Conclusiones
Este estudio tenía la finalidad de determinar la mejora de la competencia discursiva
académica escrita de estudiantes inmersos en un programa ICLES, concretado en el dis-
positivo pedagógico GUIDEWAY del itinerante piloto del GEP-DUI de la UAB. Los
resultados obtenidos muestran que (a) los informantes obtienen mejores resultados en el
post-test que en el pre-test, (b) los informantes de la cohorte 2013-14 obtienen mejores
resultados que los informantes de la cohorte 2014-15, (c) los estudiantes que no reciben
clases extracurriculares de inglés obtienen mejores resultados que los que sí que hacen, y
(d) los informantes obtienen mejores resultados en la coherencia que en la cohesión, se-
gún los que podemos establecer una serie de conclusiones generales.
En primer lugar, mediante la diferencia significativa de resultados entre pre-test y post-
test, se confirma, para un programa de docencia en inglés en educación terciaria—incluso
a corto plazo (un cuadrimestre de un curso universitario)—, que un enfoque ICLES como
el que se ha concretado en el dispositivo GUIDEWAY contribuye a las ganancias lingüís-
ticas de los alumnos, tal como afirman Ruiz de Zarobe (2008), Escobar Urmeneta & Sán-
chez Sola (2012), Lorenzo, Casal, & Moore (2010) y Roquet (2011) en relación con pro-
gramas AICLE, y Dafouz (2007) y Ament & Pérez Vidal (2015) en relación con progra-
mas ICLES.
En segundo lugar, hay que recalcar que los estudiantes que recibían clases extracurri-
culares de inglés no obtuvieron resultados mejores que los que no recibían, lo que puede
sugerir que ciertas competencias comunicativas, tales como las que se relacionan con la
competencia discursiva, puedan aprenderse más efectivamente a partir de un programa
ICLES que a partir de su combinación con un contexto de instrucción formal (IF). Sin
embargo, este aspecto requiere una investigación futura más a fondo.
Este primer estudio dirigido a evaluar la eficacia del dispositivo GUIDEWAY dentro
de un contexto ICLES de formación inicial del profesorado ha permitido validar la utili-
dad del dispositivo en cuanto a la mejora en competencia discursiva a corto plazo, así
como identificar la educación formal de la cohesión como un aspecto a considerar en el
futuro dentro del programa. Estudios futuros deberían determinar si el dispositivo produce
(o no) una mejora significativa de la competencia comunicativa de los informantes en
otras subáreas, como por ejemplo, la competencia gramatical, la competencia lectora o la
competencia interactiva. También sería conveniente, complementarlo con un estudio lon-
gitudinal donde se puedan determinar la consolidación (o no) de los aprendizajes a largo
plazo.
Agradecimientos
Este estudio ha recibido el apoyo de los proyectos de investigación GUIDEWAY
(2014 ARMIF 00009) y PATHWAY (2015 ARMIF 00001), así como del grupo de in-
vestigación LED (2014 SGR 01190), todos ellos financiados por AGAUR – Generalitat
de Catalunya.
Se quiere agraceder también las contribuciones al trabajo por parte de de Rubén Jimé-
nez Galán y Berta Rapesta Montmany.
Bibliografía
Ackerl, C. (2007). Lexico-grammar in the essays of CLIL and non- CLIL students: Error
analysis of written production. Vienna English Working Papers, 16(3), 6–12.
Aguilar, M., & Muñoz, C. (2013). The effect of proficiency on CLIL benefits in Engi-
neering students in Spain. International Journal of Applied Linguistics, 24(1), 1–18.
Aguilar, M., & Rodríguez, R. (2012). Lecturer and student perceptions on CLIL at a
Spanish university. International Journal of Bilingual Education and Bilingualism,
15(2), 183–97.
Airey, J. (2012). ‘I don’t teach language’. The linguistic attitudes of physics lecturers in
Sweden. En: U. Smit & E. Dafouz (Eds.) (2012), Integrating Content and Language
in Higher Education. Gaining Insights into English-Medium Instruction at European
Universities [AILA Review, 25] (pp. 64–79). Amsterdam/Philadelphia: John Benja-
mins.
Airey, J., & Linder, C. (2007). Disciplinary learning in a second language: A case study
from Swedish university physics. En: R. Wilkinson & V. Zegers (Eds.), Researching
content and language integration in higher education (pp. 161–171). Maastricht:
Maastricht University Language Centre.
Ament, J. R., & Pérez-Vidal, C. (2015). Linguistic outcomes of English medium instruc-
tion programmes in higher education: A study on economics undergraduates at a Cat-
alan university. Higher Learning Research Communications, 5(1), 47–67.
Bachman, L. F. (1990). Fundamental considerations in language testing. Oxford: Oxford
University Press.
Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice: Designing and
developing useful language tests. Oxford: Oxford University Press.
Bander, R. B. (1983). American English rhetoric (3rd ed.). New York: Holt, Rinehartand
Winston.
Barkaoui, K., & Knouzi, I. (2012). Combining scoreand text analyses in writing assess-
ments. En: E. Van Steendam, M. Tillema, G. Rijlaarsdam, & H. van den Bergh (Eds.),
Measuring Writing: Recent Insights into theory, methodology and practices (pp. 83–
115). Leiden: Brill.
Bolitho, R., Carter, R., Hughes, R., Ivanic, R., Masuhara, H., & Tomlinson, B. (2003).
Ten questions about language awareness. ELT Journal, 57(3), 251–259.Borràs, E.,
Moore, E., Nussbaum, L., & Patiño, A. (2012). Emergence de modes plurilingues dans
des cours universitaires en L2. En: L. Mondada, & L. Nussbaum (Eds.), Interactions
Cosmopolites: L’Organisation de la Participation Plurilingue (pp. 63–98). Limoges:
Editions Lambert Lucas.
Camps, A., Guasch, O., Milian, M., & Ribas, T. (2005). Bases per a l’ensenyament de la
gràmatica. Barcelona: Graó.
Canale, M. (1983). From communicative competence to communicative language peda-
gogy. En: J. C. Richards & R. W. Schmidt (Eds.), Language and communication (pp.
2–27). London / New York: Longman.
Canale, M., Swain, M. (1980). Theoretical bases of communicative approaches to second
language teaching and testing. Applied Linguistics, 1(1), 1–47.
Carrell, P. L. (1982). Cohesion is not coherence. TESOL Quarterly, 16(4), 479–488.
Celce-Murcia, M., Dörnyei, Z., &Thurrell, S. (1995). Communicative competence: A
pedagogically motivated model with content specifications. Issues in Applied linguis-
tics, 6(2), 5–35.
Chiang, S. (1999). Assessing grammatical and textual features in L2 textual writingsam-
ples: Thecase of French as a foreign Language. Modern Language Journal, 83(2),
219–232.
Chiang, S. Y. (2003). The importance of cohesive conditions to perceptions of writing
quality at the early stages of foreign language learning. System, 31(4), 471–484.
Chomsky, N. (1965). Aspects of the Theory of Syntax. Cambridge, Mass: MIT Press.
Chostelidou, D., & Griva, E. (2014). Measuring the effect of implementing CLIL in high-
ereducation: An experimental research project. Procedia – Social and Behavioral Sci-
ences, 116, 2169–2174.
Connor, U., & Mbaye, A. (2002). Discourse approaches to writing assessment. Annual
Review of Applied Linguistics, 22, 263–278.
Dafouz, E. (2007). On content and language integrated learning in higher education: The-
case of university lectures. Revista Española de Lingüística Aplicada (Número Extra-
ordinario 1, Dedicado a: “Models and practice in CLIL”), 67–82.
Dafouz, E. (2011). English as the medium of instruction in Spanish contexts: A look at
teacher discourse. En: Y. Ruiz de Zarobe, J. M. Sierra, & F. Gallardo del Puerto (Eds.),
Content and Foreign Language Integrated Learning: Contributions to Multilingual-
ism in European Contexts (pp. 189–210). Frankfurt: Peter Lang.
Dafouz, E. (2014). Integrating content and language in European higher education: An
overview of recurrent research concerns and pending issues. En: A. Psaltou-Joycey, E.
Agathopoulou, & M. Mattheoudakis (Eds.), Cross-Curricular Approaches to Lan-
guage Education (pp. 289–304). Cambridge: Cambridge Scholars.
Dafouz, E., & Núñez, B. (2010). Metadiscursive devices in university lectures: A con-
trastiveanalysis of L1 and L2 teacher performance. En: C. Dalton-Puffer, T. Nikula, &
U. Smit (Eds.), Language use and language learning in CLIL classrooms (pp. 213–
231). Amsterdam / Philadelphia: John Benjamins.
Dafouz, E., Núñez, B., Sancho, C., & Foran, D. (2007). Integrating CLIL at the tertiary
level: Teachers’ and students’ reactions. En: D. Wolff & D. Marsh (Eds.), Diverse
contexts converging goals. Content and language integrated learning in Europe (pp.
91–102). Peter Lang: Frankfurt.
Dafouz, E., & Sánchez García, D. (2013). ‘Does everybody understand?’ Teacher ques-
tions across disciplines in English-mediated university lectures: An exploratory study.
Language Value, 5(1), 129–151.
Dafouz, E., Camacho, M., & Urquia, E. (2014). ‘Surely they can’t do as well’: A com-
parison of business students’ academic performance in English-medium and Spanish-
as-first-language-medium programmes. Language and Education, 28(3), 223–236.
Dalton-Puffer, C. (2011). Content-and-Language Integrated Learning: From practice to
principles? Annual Review of Applied Linguistics, 31, 182–204.
Dastjerdi, H., & Talebinezhad, M. (2006). Chain-preserving deletion procedure in cloze:
a discoursal perspective. Language Testing, 23(1), 58–72.
Doiz, A., Lasagabaster, D., & Serra, J. (2011). Internationalisation, multilingualismand
English-medium instruction. World Englishes, 30(3), 345–359.
Escobar Urmeneta, C. (Coord.) (2014). Recerca sobre el Grau d’Educació Primària en
anglès. Guiatge per a l’aprenentatge integrat de continguts acadèmics y desenvolupa-
ment de la competència discursiva. Projecte de recerca. Document intern sense publi-
car. Universitat Autònoma de Barcelona.
Escobar Urmeneta, C. (2016). Enseñar y aprender a escribir en inglés en las asignaturas
de contenidos en la Educación Terciaria: La plantilla Guideway. 34th AESLA Interna-
tional Conference. Alicante, 14 de abril.
Escobar Urmeneta, C. (Ed.) (en preparación). Integrating Content and Language in
Higher Ed-ucation (ICLHE) in action: foundations, pedagogical implications and
commented application examples. Bellaterra: Servei de Publicacions de la Universitat
Autònoma de Barcelona.
Escobar Urmeneta, C., & Sánchez Sola, A. (2012). Mejoras en la fluidez y repertoriolé-
xico en las aulas AICLE inclusivas de Ciencias Naturales en inglés en Cataluña.
MarcoELE, 15, 82–93.
Fortanet, I. (2010). Training CLIL teachers for the University. En: D. Lasagabaster & Y.
Ruiz de Zarobe (Eds.), CLIL in Spain. Implementation, Results and Teacher Training
(pp. 257–276). Newcastle: Cambridge Scholars.
Grabe, W. P. (1984). Written discourse analysis. Annual Review of Applied Linguistics,
5, 101–123.
Halliday, M. A. K., & Hasan, R. (1976). Cohesion in spoken and written English. London
/ New York: Longman.
Hellekjær, G. (2010). Language matters: Assessing lecture comprehension in Norwegian
English medium higher education. En: C. Dalton-Puffer, T. Nikula, & U. Smit (Eds.),
Language use and language learning in CLIL classrooms (pp. 233–258). Amsterdam:
John Benjamins.
Hymes, D. (1972). On communicative competence. En: J. B. Pride & J. Holmes (Eds.),
Sociolinguistics: Selected Readings (pp. 269–293). Harmondsworth: Penguin.
Hynninen, N. (2012). ICL at the micro level: L2 speakers taking on the role of language
experts. En: U. Smit & E. Dafouz (Eds.) (2012), Integrating Content and Language in
Higher Education. Gaining Insights into English-Medium Instruction at European
Universities [AILA Review, 25] (pp. 13–29). Amsterdam/Philadelphia: John Benja-
mins.
Jiménez-Muñoz, A. J. (2014). Measuring the impact of CLIL on language skills: A
CEFR-based approach for Higher Education. Language Value, 6(1), 28–50.
Landis, J. R., &Koch, G. G. (1977). The measurement of observer agreement for categor-
ical data. Biometrics, 33(1), 159–174.
Lorenzo, F., Casal, S., & Moore, P. (2010). The effects of content and language integrated
learning in European education: Key findings from the Andalusian bilingualsections
evaluation project. Applied Linguistics, 31(3), 418–442.
Moore, E. (2016). Conceptualising ‘multilingual’ higher education in policies and class-
room practice. Language, Culture and Curriculum, 29(1), 22–39.
Moore, E., Nussbaum, L., Borràs, E. (2013). Plurilingual teaching and learning practices
in ‘internationalised’ university lectures. International Journal of BilingualEducation
and Bilingualism, 16(4), 471–493.
Muñoz Luna, R. (2014). Beyond the sentence in secondary education: A case study of
discourse analysis in L2 writings. Odisea, 15, 127–139.
Roquet Pugès, H. (2011). A study of the acquisition of English as a foreign language:
Integrating content and language in main stream education in Barcelona. Tesis doc-
toral. Universitat Pompeu Fabra.
Ruiz de Zarobe, Y. (2008). CLIL andforeignlanguagelearning: A longitudinal study in
the Basque Country. International CLIL Research Journal, 1(1), 60–73.
Ruiz de Zarobe, Y. (2011). Which language competencies benefit from CLIL? An insight
into applied linguistics research. En: Y. Ruiz de Zarobe, J. M. Sierra, & F. Gallardo
del Puerto (Eds.), Content and Foreign Language Integrated Learning: Contributions
to Multilingualism in European Contexts (pp. 129–153). Frankfurt: Peter Lang.
Rumelhart, D. (1977). Toward an interactive model of reading. En: S. Dornic (Ed.), At-
tention and performance IV (pp. 573–603). New York: Academic Press.
Sánchez García, D. (2010). Classroom interaction in university settings: The case of
questions in three disciplines. Tesis de máster. Universidad Complutense de Madrid.
Sanders, T., & Maat, H. P. (2006). Cohesion and coherence: Linguistic approaches. En:
K. Brown (Ed.), Encyclopedia of Language and Linguistics (pp. 591–595). Philadel-
phia: Elsevier.
Sans Martín, A. (2014). Métodos de investigación en enfoque experimental. En R. Bis-
querra (Ed.), Metodología de la investigación educativa (4a ed.) (pp. 167–193). Ma-
drid: La Muralla.
Tani, R. M. (1983). Lingüística textual: tres aspectos de la cohesión. Lectura y Vida, 4(3).
Thornbury, S. (2005). Beyond the Sentence: Introducing Discourse Analysis. Oxford:
Macmillan Education.
Van Dijk, T. A. (1972). Some aspects of text grammars: A study in theoretical linguistics
and poetics. The Hague: Mouton.
Van Dijk, T. A. (1977). Text and Context. London / New York: Longman.
Van Dijk, T. A. (1980). Macroestructures. An interdisciplinary study of global structures
in discourse. Cognitions and interaction. Hillsdale, NJ: Lawrence Erlbaum.
Van Dijk, T. A., & Kintsch, W. (1983). Strategies of discourse comprehension. New
York: Academic Press.