Project

Evaluation des compétences linguistiques en français langue étrangère

Goal: Ce projet présente les travaux réalisés par plusieurs équipes (UMONS, CCI PIdF) dans le domaine de l'évaluation des compétences linguistiques en français langue étrangère, en particulier autour du Test d'Evaluation de Français (TEF).

Date: 1 January 2000

Updates
0 new
0
Recommendations
0 new
0
Followers
0 new
4
Reads
0 new
136

Project log

Marc Demeuse
added a research item
Le travail au sein de l’équipe du français des affaires de la Chambre de commerce et d’industrie de région Paris Ile-de-France présente de multiples facettes. Il répond aux standards de qualité qui s’imposent à présent en matière de tests à forts enjeux. Cela nécessite la mobilisation d’une équipe pluridisciplinaire, au-delà de la production de nouvelles versions d’un même instrument. La palette de l’offre, notamment dans le domaine du français des affaires, continue à se développer, abordant de nouveaux domaines, mais celle-ci doit aussi faire face à de nombreux défis: généralisation de l’utilisation du numérique pour la gestion des épreuves, modification du format des interfaces destinées aux candidats, adaptation à l’évolution des exigences des prescripteurs et des référentiels, sécurisation accrue et recours à la technologie pour mieux assurer la qualité des corrections des productions complexes, tant orales qu’écrites... Tous ces développements ont pu se réaliser avec une équipe à la taille relativement réduite, si on la compare aux équipes qui assurent par exemple le développement des tests en langue anglaise. Par ailleurs, le monde francophone de l’évaluation a longtemps été réfractaire aux développements liés à la mesure et à l’évaluation, en particulier dans le domaine de l’évaluation linguistique. Il a donc fallu aussi développer en interne des compétences spécifiques qu’il était très difficile de trouver sur le marché francophone. Cet article a tenté d’offrir une réflexion nourrie par une vingtaine d’années de collaboration. Ce regard dans le rétroviseur, permet de mesurer le chemin accompli tout en entrevoyant les développements à venir. Ceux-ci impliqueront de plus en plus le traitement automatisé et l’intelligence artificielle. C’est assurément le tournant à ne pas manquer pour maintenir les produits de notre équipe au niveau d’exigence qu’ils ont pu atteindre jusqu’ici.
Dominique Casanova
added a research item
Dans cette présentation nous présentons le projet de développement d'un système de notation automatique de productions écrites en français langue étrangère.
Marc Demeuse
added a research item
Lorsqu’un évaluateur d’un test de langue doit corriger une copie d’expression écrite, il est en général outillé d’une grille d’évaluation à échelle(s) descriptive(s). Une telle grille permet de de préciser les aspects à prendre en considération dans l’évaluation de la compétence et de donner des points de repère en termes d’exigence pour les différents échelons de notation. Cependant elle laisse aux évaluateurs la responsabilité de situer la copie sur chaque échelle d’appréciation, ce qui laisse un espace ouvert à l’expression de leur subjectivité. La communication proposée rend compte d’une étude où des paires d’évaluateurs ont évalué à deux reprises, espacées dans le temps, un même lot de copies avec deux « grilles » de nature différente (un grille descriptive et une liste de questions à réponse oui/non). Les résultats montrent des différences notables entre paires d’évaluateurs selon la grille utilisée qui mettent en évidence l’effet d’interaction entre correcteurs, grilles et tâches d’évaluation. Ils rappellent qu’une attention particulière doit être portée à la conception des grilles descriptives et à leur appropriation par les évaluateurs pour les différentes tâches à évaluer.
Dominique Casanova
added a research item
La correction automatique d’écrits en langue étrangère est longtemps restée cantonnée à la langue anglaise. Cependant, l’effervescence autour de l’intelligence artificielle, l’espace de partage et de formation qu’est devenu le web ainsi que l’augmentation de la puissance de calcul des ordinateurs individuels rendent de plus en plus accessibles données, outils et méthodes. La numérisation de la passation des tests de langue offre par ailleurs aux concepteurs de tests l’opportunité de constituer des corpus qui peuvent être exploiter pour la mise au point de logiciels permettant d'estimer la compétence d'individus à partir d’une analyse automatique du contenu des textes produits. Si l’utilisation d’un tel outil pour de la correction automatique soulève des questions de validité, il peut jouer un rôle très utile dans le monitorage de la qualité des évaluations réalisées par les correcteurs du test. Nous présentons dans cette communication la démarche mise en œuvre pour prédire automatiquement le score en expression écrite des candidats à un test d’évaluation en français langue étrangère et l’intégration prévue de cet outil dans le dispositif de management de la qualité d’un test à forts enjeux.
Marc Demeuse
added 7 research items
Le français à l'université est spécifique (Mangiante et Parpette, 2011), or les tests évaluant un français général actuellement utilisés sont insuffisants pour assurer la validation d'un cursus (Almoossa, 2013). Cependant,'un test de français est un bon prédicteur de réussite aux examens spécialement dans les filières scientifiques (Lindblom-Ylänne et al. 1996, cités par Romainville,1997). Partant de ces constats, notre étude a consisté en la création d'une épreuve spécifique adaptée aux étudiants qui s'inscrivent pour la première fois dans l'enseignement supérieur en France, en tenant compte de la spécificité du public : niveau en langue, filière et niveau d'étude hétérogènes. Deux expérimentations ont été mises en place, auprès d'un groupe d'étudiants de première année de médecine belges francophone en situation d'étalement. Ces passations ont permis de fixer un seuil bas de résultats obtenus, et sont la première étape de la validation de l'outil, avant de pouvoir l'expérimenter auprès d'allophones.
La question du niveau en langue nécessaire à la poursuite d'un cursus en France est actuelle, tout comme la spécificité des tests proposés, préalables à la venue des étudiants. Ces tests évaluent un français général, alors que le français de l'université est de type spécifique. Par ailleurs, les situations d'enseignements et d'examens nécessitent, de la part des étudiants, la mobilisation de compétences langagières, stratégiques et méthodologiques spécifiques (Casanova et al., 2012). L'objectif de la recherche menée par l'Université de Mons en collaboration avec la Chambre de Commerce et d'Industrie de la région Paris Ile-de-France est le développement d'un test de niveau de langue française spécifique aux étudiants allophones s'inscrivant pour la première fois dans l'enseignement supérieur en France. Cette épreuve, déjà testée auprès d'étudiants natifs, a été expérimentée auprès d'un groupe d'allophones. Ces derniers, futurs ingénieurs, ont suivi une formation (linguistique notamment) au préalable de leur cursus, spécifique au monde universitaire auprès du PRES de Lille.
Dominique Casanova
added a research item
Lorsque les tests présentent des enjeux élevés, certains candidats peuvent avoir recours à des stratagèmes pour améliorer ou dégrader artificiellement leur performance, qui menacent l’intégrité des résultats. Il peut notamment s’agir de tentatives de triche, comme la copie sur un voisin de test, ou l’acquisition illicite de matériel de test confidentiel pour une meilleure réussite à l’examen. Les éditeurs de tests doivent donc mettre en place des stratégies de monitorage des sessions et d’analyse des réponses des candidats pour détecter d’éventuelles situations problématiques, susceptibles d’échapper à la vigilance des organisateurs des examens. Dans cette communication, nous nous intéresserons plus particulièrement aux épreuves constituées d’items à réponse automatique, où les candidats ont à choisir entre plusieurs options de réponse prédéfinies. De nombreux indices ont été définis pour la détection de patrons de réponses aberrants (Tendeiro et al., 2016), qui peuvent être cependant être générés tout autant par des comportements frauduleux que par un manque d’attention ou des réponses au hasard de la part des candidats. Ces indices quantifient la normalité d’une série de réponses d’un candidat. Ils s’intéressent essentiellement à la nature correcte ou incorrecte de la réponse donnée. Des études de comparaison de tels indices ont déjà été entreprises (Artner, 2016 ; Béland, 2015 ; Huang, 2012), mais l’originalité de notre recherche est de se concentrer sur deux types de risque : la copie sur un autre candidat et la connaissance préalable de questions utilisées dans le test. Nous verrons également que la prise en compte des options de réponses choisies par les candidats offre une possibilité supplémentaire d’identification de cas de triche par copie
Marc Demeuse
added a research item
Cette communication rend compte du travail mené par la Chambre de commerce et d'industrie de Paris (CCIP) pour compléter la mise en correspondance du Test d’évaluation de français (TEF) avec le Cadre européen commun de référence pour les langues (CECR), de plus en plus régulièrement utilisé pour le développement de matériel didactique et l’expression des niveaux de compétences en langue étrangère. La méthodologie mise en œuvre s'appuie sur les recommandations du manuel Relier les examens au Cadre européen commun de référence pour les langues et s'inspire de la première approche développée par deux équipes, l’université de Mons et l’équipe du TEF, lors de la mise en correspondance empirique du test avec les Standards linguistiques canadiens (2002). Le travail mené s’est articulé autour de quatre phases : premièrement, la traduction des spécifications (épreuves de compréhension écrite, compréhension orale et lexique/structure) du TEF pour répondre au format préconisé par le Conseil de l’Europe ; deuxièmement, l’approfondissement de la mise en correspondance théorique des spécifications du TEF avec le CECR ; troisièmement, après la familiarisation d'un groupe d’experts avec le matériel nécessaire à l’expérimentation, le classement individuel par ces derniers des objectifs spécifiques du référentiel TEF et d’un ensemble d’items (selon leur difficulté apparente) et, quatrièmement, l’analyse des résultats de l’expérimentation. L’analyse des résultats montre que les jugements des évaluateurs-experts sont fréquemment concordants avec le classement initial opéré par les concepteurs du TEF, mais que des différences existent, notamment pour les items de compréhension orale. Les analyses menées avec les experts ont été confrontées aux résultats obtenus lors de la passation de tests pour mettre en évidence, pour certains évaluateurs, la moins grande concordance entre leur classement et les niveaux de difficulté attendus et observés des items. Si la corrélation entre les classements portés par les évaluateurs et la difficulté empirique de ceux-ci est relativement élevée (0,87), c’est pour les items de niveau élémentaire que des variations importantes peuvent exister.
Dominique Casanova
added 5 research items
Mots-clés : expression écrite, français académique, discours scientifique, validation empirique. Résumé. Alors que les situations académiques de la vie universitaire nécessitent, de la part des étudiants, la mise en oeuvre de compétences langagières spécifiques, l'évaluation en langue française des étudiants non francophones à l'entrée à l'université s'effectue souvent au moyen de tests les plaçant dans des situations de communication de la vie sociale. Cet article décrit l'élaboration et l'expérimentation d'une épreuve écrite académique et compare les résultats des étudiants à cette épreuve avec ceux qu'ils obtiennent à l'épreuve d'expression écrite du Test d'évaluation de français (TEF). Les premières données permettent de mettre en évidence des différences de performance pour la compétence communicative. Elles soulèvent cependant la question de l'équité d'une telle épreuve qui, compte-tenu de différences de cultures éducatives, risquerait de discriminer les candidats selon leur origine géographique.
valuation et autoévaluation en français langue étrangère : approche empirique du Cadre européen commun de référence pour les langues (CECR) du Conseil de l'Europe à travers le TEF et l'échelle d'autoévaluation DIALANG
Marc Demeuse
added a project goal
Ce projet présente les travaux réalisés par plusieurs équipes (UMONS, CCI PIdF) dans le domaine de l'évaluation des compétences linguistiques en français langue étrangère, en particulier autour du Test d'Evaluation de Français (TEF).