ArticlePDF Available

L’évaluation des compétences linguistiques des adultes en francais langue étrangère dans une perspective de multiréférentrialisation

Authors:
  • Chambre de commerce et d'industrie de Paris Ile-de-France
  • Chambre de commerce et d'industrie de région Paris Ile-de-France

Abstract and Figures

L’évaluation des compétences linguistiques des adultes en français langue étrangère est l’objet de nombreux enjeux : reconnaissance et validation des acquis de l’expérience ou d’apprentissages formels non certifiés, notamment. Le Conseil de l’Europe, mais aussi les services canadiens de l’immigration (Citoyenneté et Immigration Canada) ou les autorité s responsables de l’enseignement supérieur des pays francophones (comme la France ou la Communauté française de Belgique), définissent des standards destinés à permettre l’évaluation des compétences linguistiques de sujets adultes dans le domaine du français. Les objectifs de ces organismes peuvent être très variables et les enjeux, pour les candidats à l’évaluation, plus ou moins importants (depuis la reconnaissance d’un niveau de français dans la perspective d’une valorisation barémique jusqu’à la possibilité d’accéder à des études supérieures en France ou en Belgique, ou à être admis comme immigrant économique sur le territoire canadien). Si, explicitement ou non, les différents organismes font recours à une approche par compétences, les référentiels peuvent se présenter de manière extrêmement variée : le Conseil de l’Europe, à travers son cadre commun de référence, et Citoyenneté et Immigration Canada, développent un document très complet et publié alors que les autorités académiques belges et françaises privilégient le travail de commissions chargées de créer ou d’agréer des outils (tests ou examens) d’évaluation. D’autres acteurs, publics ou privés, développent par ailleurs, en rapport avec les référentiels mentionnés, des outils qu’ils soumettent à l’agrément des différentes autorités publiques. C’est dans ce cadre, celui de l’opérationnalisation à travers un outil d’évaluation particulier, dont l’objectif est de correspondre à un ensemble de référentiels, que cette communication se situe. Elle mobilise à la fois une équipe de conception et un chercheur indépendant chargé d’assurer le contrôle qualité de la production et du suivi des tests. Après une mise en correspondance des différents référentiels externes et du référentiel propre de l’outil d’évaluation lui-même, les auteurs mettront en évidence les stratégies de développement des différentes formes équivalentes (formes parallèles) du test pour chacune des quatre composantes (expression et compréhension de l’oral et de l’écrit). A travers l’analyse de la mise en œuvre d’un test particulier de « français général » pour adultes dont la langue maternelle n’est pas le français, l’exposé tentera de mettre en évidence la complexité d’une réponse spécifique à des prescrits distincts, sous contrainte d’une procédure de qualité totale en voie de certification.
Content may be subject to copyright.
17
éme
Colloque international de l'ADMEE Europe
Lisbonne - 18-20 novembre 2004
"L'évaluation des compétences : entre reconnaissance et
validation des acquis de l'expérience "
L’évaluation des compétences linguistiques des adultes en français
langue étrangère dans une perspective de multi-référentialisation
Marc DEMEUSE, Service de Pédagogie théorique et expérimentale, Université de Liège et IREDU,
Université de Bourgogne et CNRS
Franck DESROCHES,
Alexandra CRENDAL,
Philippe OSTER,
François RENAUD, Direction des Relations internationales de l’Enseignement, Chambre de Commerce
et d’Industrie de Paris (DRI-E/CCIP).
Et Xavier LEROUX.
Mots-clés : français langue étrangère, référentiel, compétences linguistiques, adultes non
francophones
a
s
s
o
c
i
a
t
i
o
n
p
o
u
r
l
e
d
é
v
e
l
o
p
p
e
m
e
n
t
d
e
s
m
é
t
h
o
d
o
l
o
g
i
e
s
d
'
e
v
a
l
u
a
t
i
o
n
e
n
e
d
u
c
a
t
i
o
n
a
d
m
e
e
Europe
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
2
Résumé
L’évaluation des compétences linguistiques des adultes en français langue étrangère est l’objet de
nombreux enjeux : reconnaissance et validation des acquis de l’expérience ou d’apprentissages formels
non certifiés, notamment. Le Conseil de l’Europe, mais aussi les services canadiens de l’immigration
(Citoyenneté et Immigration Canada) ou les autorités responsables de l’enseignement supérieur des
pays francophones (comme la France ou la Communauté française de Belgique), définissent des
standards destinés à permettre l’évaluation des compétences linguistiques de sujets adultes dans le
domaine du français. Les objectifs de ces organismes peuvent être très variables et les enjeux, pour les
candidats à l’évaluation, plus ou moins importants (depuis la reconnaissance d’un niveau de français
dans la perspective d’une valorisation barémique jusqu’à la possibilité d’accéder à des études
supérieures en France ou en Belgique, ou à être admis comme immigrant économique sur le territoire
canadien).
Si, explicitement ou non, les différents organismes font recours à une approche par compétences, les
référentiels peuvent se présenter de manière extrêmement variée : le Conseil de l’Europe, à travers son
cadre commun de référence, et Citoyenneté et Immigration Canada, développent un document très
complet et publié alors que les autorités académiques belges et françaises privilégient le travail de
commissions chargées de créer ou d’agréer des outils (tests ou examens) d’évaluation.
D’autres acteurs, publics ou privés, développent par ailleurs, en rapport avec les référentiels
mentionnés, des outils qu’ils soumettent à l’agrément des différentes autorités publiques. C’est dans ce
cadre, celui de l’opérationnalisation à travers un outil d’évaluation particulier, dont l’objectif est de
correspondre à un ensemble de référentiels, que cette communication se situe. Elle mobilise à la fois
une équipe de conception et un chercheur indépendant chargé d’assurer le contrôle qualité de la
production et du suivi des tests.
Après une mise en correspondance des différents référentiels externes et du référentiel propre de l’outil
d’évaluation lui-même, les auteurs mettront en évidence les stratégies de développement des
différentes formes équivalentes (formes parallèles) du test pour chacune des quatre composantes
(expression et compréhension de l’oral et de l’écrit).
A travers l’analyse de la mise en œuvre d’un test particulier de « français général » pour adultes dont la
langue maternelle n’est pas le français, l’exposé tentera de mettre en évidence la complexité d’une
réponse spécifique à des prescrits distincts, sous contrainte d’une procédure de qualité totale en voie
de certification.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
3
1. Les enjeux de l’évaluation en français langue étrangère
1.1. Le contexte évolutif de l’évaluation en FLE : les composantes visibles du changement
Le domaine de l’évaluation en français langue étrangère s’est beaucoup développé ces quinze
dernières années, et notamment en France. Plusieurs événements en politiques linguistiques et
éducatives ont poussé ce domaine à évoluer : la convergence des politiques linguistiques
européennes, la valorisation de la reconnaissance et des acquis de l’expérience et les recherches dans
le domaine de l’évaluation en français langue étrangère, alliant désormais analyses qualitatives et
quantitatives, pré-expérimentées avec les premiers référentiels en français langue étrangère comme le
Français fondamental et reconduites dans les standards d’ALTE, de DIALANG et enfin du Cadre
européen commun de référence pour les langues (CECR).
D’autres facteurs, sociologiques, ont aussi amené ces changements, et notamment la mondialisation
des échanges et la mobilité accrue des étudiants, des professionnels, des personnes pour des raisons
économiques, géopolitiques, éducatives. C’est dire combien les enjeux communicationnels sont
devenus grands. Désormais, communiquer vite et efficacement est un enjeu majeur tant pour les
individus que pour le monde de l’entreprise, la société, un état. Dans ce cadre-là, l’évaluation de la
compétence en langue s’impose car elle permet au candidat et à l’institution de mesurer les réelles
compétences en langue permettant une meilleure intégration. Tel est le cas pour les autorités
canadiennes qui accordent un quart des points (24 / 100) à la maîtrise des langues française et
anglaise à tout travailleur qualifié présentant une demande de visa.
Troisièmement, le facteur temporel s’impose et a ouvert de nouvelles perspectives à l’évaluation en
langues. Pour reprendre l’expression d’Eric Delamotte (in Le commerce des langues, 1999), la
« temporalité est renouvelée » en ce sens que la notion de temps influe sur la conception des outils et
l’interprétation des résultats. Deux niveaux temporels peuvent être dégagés : l’un chronométrique,
l’autre chronologique. Au niveau chronométrique, deux arguments de force ressortent :
Pour le candidat, l’évaluation instantanée qu’offre un test de langue permet de valider, en
deux heures, un niveau de compétence et d’obtenir, sous 48H00 ,des résultats pour présenter
un dossier d’entrée à l’Université ou une demande de visa en vue d’études ou d’émigration
future.
Pour les institutions, l’exactitude du jugement et de la prise de décision sont de mise. Aussi,
interpréter les résultats d’un diplôme obtenu il y a une dizaine d’années les intéressent de
moins en moins. Elles se tournent petit à petit vers des instruments de mesure qui
photographient la compétence linguistique du candidat au moment il va être recruté par un
office d’immigration ou admis à l’université.
Au niveau chronologique, les enjeux sont importants et ont amené des améliorations dans le domaine
de la conception d’épreuves en français langue étrangère :
La mise en place du portfolio européen et l’incitation à la « formation tout au long de la vie »
amènent aujourd’hui les candidats à capitaliser toute expérience de l’utilisation des langues et à
acter toute évaluation qui validerait un niveau de compétence. Or, si l’on veut mesurer la
progression, il est important que le candidat passe une évaluation standardisée, étalonnée sur
un cadre de référence comme le Cadre européen commun de référence pour les langues
(CECR).
Le même problème se pose pour des centres de formation qui utiliserait l’évaluation d’un
candidat comme un outil de positionnement. Les centres de formation en langues ont besoin de
se référer à des outils qui mesureront toujours le niveau du candidat dans les quatre habiletés
langagières et qui leur permettront de placer plus justement le candidat.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
4
Le facteur temps traité ci-dessus montre combien l’univers symbolique de l’évaluation semble avoir
changé de paradigme ces dix dernières années. En effet, la notion d’efficacité et d’équité apparaît de
plus en plus dans les discours institutionnels. Dans le chapitre consacré à l’évaluation dans le Cadre
européen commun de référence pour les langues (Conseil de l’Europe, 1998, p135), il est fait mention
de ces aspects : « (…) dans un programme de langue, la compétence de l’apprenant n’est pas la seule
chose évaluée – par exemple, la rentabilité de certains matériels pédagogiques ou méthodes, le type et
la qualité du discours effectivement produit, la satisfaction de l’enseignement et celle de l’apprenant,
l’efficacité de l’enseignement, etc. ». De plus, l’apprenant n’est plus seulement acteur de son
apprentissage ; il est aussi de plus en plus maître de son parcours ; il capitalise ses savoirs et savoir-
faire et apprend à être « conscient de l’état présent de ces connaissances » (recommandation du
Conseil de l’Europe, p12).
Enfin, au niveau de l’éthique, il est intéressant de constater une avancée certaine. En effet, les
institutions qui sélectionnent des candidats à l’immigration ou à l’entrée à l’université font de plus en
plus appel à des opérateurs externes spécialistes de l’évaluation en langues et qui offrent des outils
adaptés à la demande de telles institutions. Ainsi, le sélectionneur n’est plus partie prenante de
l’évaluation linguistique en elle-même, mais sélectionne le candidat en fonction de seuils d’acceptabilité.
Par exemple, suite à l’amendement d’une nouvelle loi sur l’immigration, les autorités canadiennes
(Citoyenneté et Immigration Canada) ont décidé d’externaliser la passation de l’épreuve linguistique et
de la confier à un organisme spécialiste de d’évaluation en langues.
Le contexte de l’évaluation en langues a donc bien évolué depuis les années 70 et de nouvelles voies
s’ouvrent à la recherche interdisciplinaire. Cette évolution s’est faite de concert avec la mise en place de
standards linguistiques qui ont été longuement éprouvés scientifiquement : les Standards linguistiques
canadiens (Canada anglophone), les Niveaux de compétence en français langue seconde (Québec) et
le Cadre européen commun de référence pour les langues (Europe). D’autres standards existent dans
des domaines plus spécifiques : par exemple, les « Stanlag » pour l’OTAN.
1.2. De l’évaluation aux enjeux
Jean-Claude Mothe, Directeur du BELC, constatait il y a dix ans que l’évaluation en langues vivantes
n’avait pas encore tout à fait droit de cité en France. Aujourd’hui, il en va différemment.
Dans le monde francophone, il y a pléthore de certifications. Elles sont actuellement recensées dans le
cadre du projet CERTEL, à l’initiative de l’Agence Universitaire de la Francophonie (AUF). Le rapport
devrait paraître en 2005.
En France, les certifications sont très nombreuses : certaines donnent un diplôme, d’autres une
attestation. Elles peuvent être internes à une institution ou externes : elles sont alors proposées dans le
monde entier, ce qui n’est pas sans poser un certain nombre de difficultés en termes d’homogénéisation
des épreuves, de standardisation, d’étalonnage et de calibrage. C’est le cas notamment des tests de
langue dont nous verrons plus loin ce que la dénomination recouvre du point de vue scientifique.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
5
Les enjeux de ces certifications sont énormes, et à tout point de vue. La validation d’une compétence
en français langue étrangère permettra au candidat d’émigrer, voire d’être sélectionné dans une
université francophone. De tels enjeux amènent à sécuriser le dispositif de passation des épreuves et
de délivrance des résultats, demande qui est d’ailleurs émise par les recruteurs et autorités.
Par ailleurs, d’autres instances comme le Conseil de l’Europe ont aujourd’hui ce souci de garantir des
certifications de qualité. Le Cadre européen commun de référence pour les langues se réclame de cette
approche qualité et propose, dans cette optique, un outil à partir duquel toutes les certifications pourront
être reliées, suite à une validation interne et externe de l’outil. Ainsi, candidats et Institutions pourront
comparer les niveaux dans toute l’Europe.
Les deux enjeux définis précédemment concernent le TEF. C’est donc dans ce cadre, celui de
l’opérationnalisation à travers un outil d’évaluation particulier, dont l’objectif est de correspondre à un
ensemble de férentiels, que cette communication se situe. Elle mobilise à la fois une équipe de
conception et un chercheur indépendant chargé d’assurer le contrôle qualité de la production et du suivi
des items.
1.3. La réponse d’un test de « français général » pour adultes non francophones
Le Test d’Evaluation de Français (TEF), créé en 1998, avait pour premier enjeu de répondre à la
demande des écoles de la Chambre de Commerce et d’Industrie de Paris et des Établissements
d’Enseignement à l’étranger. Ces organismes cherchaient à sélectionner, le plus justement possible, les
étudiants étrangers sur la base, entre autres, des compétences linguistiques.
Dès sa création, les sept niveaux du TEF ont été indexés sur les six niveaux de compétence du Cadre
européen commun de référence pour les langues. Pour l’élaboration des sept niveaux TEF, de
nombreuses études ont été menées.
En juillet 2002, les autorités canadiennes adoptent une nouvelle loi sur l’immigration, et Citoyenneté et
Immigration Canada référence le TEF comme test de français langue étrangère. Ce référencement
donne lieu à de nouveaux travaux : une recherche est alors menée sur la mise en correspondance du
cadre de référence du TEF avec les Standards linguistiques canadiens.
Cette communication tentera de montrer l’expérimentation qui a été menée par une équipe
pluridisciplinaire.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
6
2. Conception et construction du TEF
Avant d’aborder l’expérimentation, il est important de bien définir le champ d’action du Test d’Evaluation
de Français d’un point de vue théorique et dans l’application de la théorie.
2.1. L’élaboration d’un test : un exercice à la « croisée des disciplines »
« Pour mériter le nom de test, un examen doit être standardisé, fidèle, valide et étalonné ». Cette
définition donnée par Gilbert de Landsheere (Dictionnaire de l’évaluation et de la recherche en
éducation, p 295) établit d’entrée des normes minimales de construction et de conception d’un test.
Le processus d’élaboration d’un test fait appel à plusieurs disciplines. C’est d’ailleurs ce qui en fait toute
sa richesse comparé à une évaluation traditionnelle qui ne s’appuie que sur la pratique pédagogique du
concepteur ou du formateur. Néanmoins, la mise en interaction de plusieurs champs disciplinaires peut
rendre parfois difficile les études menées sur cet objet comme l’expérimentation sur la
multiréférentialisation l’illustrera.
Comme le montre le schéma n°1, les tests sont à la croisée des disciplines. Du chercheur au praticien,
en passant par l’évaluateur, les enjeux sont différents et les perceptions de l’outil également.
Néanmoins, quelle que soit la position de l’acteur chercheur, évaluateur ou décideur, le cadre de
référence du test et son indexation, voire multi-indexation sur des référentiels nationaux restent des
points de référence.
Schéma 1 – La conception de tests et les disciplines théoriques et appliquées connexes
Source : Alexandra Crendal, d’après un schéma de Paul Rivenc sur la didactique des langues
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
7
2.2. Vers la mise en application : la construction du test
Les deux tableaux suivants, n°1 et n°2, sont un extrait de la table de spécification du TEF, test qui se
compose de deux séries d’épreuves, les épreuves dites « obligatoires » (compréhension écrite,
compréhension orale, lexique / structure) et les épreuves dites facultatives (expression écrite,
expression orale).
Tableau 1 – Epreuves obligatoires en 3 parties indissociables sous forme de questionnaire à choix multiple
Durée Structure Score sur
Compréhension écrite 60 min 50 questions 300 points
Compréhension orale 40 min 60 questions 360 points
Lexique / structure 30 min 40 questions 240 points
TOTAL 2H10 150 questions 900 points
Source : Le TEF, 6 années d’expertise, mars 2004, brochure éditée par la CCIP-DRI/E, p 7.
Tableau 2 – Epreuves facultatives en deux parties indépendantes
Durée Structure Score sur
Expression écrite (EE) 60 min 2 sujets à traiter 450 points
Expression orale (EO) 35 min 2 sujets à traiter 450 points
Source : Le TEF, 6 années d’expertise, mars 2004, brochure éditée par la CCIP-DRI/E, p 7.
La conception des épreuves est centralisée et répond aux critères définis dans la table de spécification
du TEF. Elle est réalisée par des concepteurs lectionnés pour leurs compétences et régulièrement
formés à l’utilisation des référentiels. Après évaluation et validation pédagogique, les questions à choix
multiples sont pré-testées auprès de candidats. Enfin, des analyses sont menées sur les items à l’aide
de la méthode de réponse à l’item (MRI) et de l’analyse de Rasch.
Les activités du TEF, au-delà de la conception, sont multiples. Deux grands processus interagissent :
celui de la conception (production des items, production des jeux) et celui de la réalisation (diffusion des
jeux, organisation des sessions TEF et communication des résultats). La qualité de ces deux processus
est en permanence assurée. Le schéma n°2 présente ce cycle du Test d’Evaluation de Français (TEF)
et la mesure de sa qualité.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
8
3. La référentialisation : un référentiel … des référentiels
3.1. Le rôle du référentiel dans le test
Le cadre de référence du TEF s’est d’abord appuyé sur le Cadre européen commun de référence pour
les langues. Ces références ont permis d’élaborer les grilles de correction, nécessaires à l’évaluation
des épreuves d’expression orale et écrite, et de proposer des commentaires individualisés sur
l’attestation du candidat. Si le candidat ou un centre de formation le souhaite, il peut à partir des scores
obtenus et des commentaires attribués en fonction du niveau atteint se référer au Cadre européen
commun de référence pour les langues.
Schéma 2 – Cycle du Test d’Evaluation de Français (TEF) et mesure de sa qualité
Source : Le TEF, 6 années d’expertise, mars 2004, brochure éditée par la CCIP-DRI/E, p 16.
La référentialisation devient un enjeu majeur lorsque certains niveaux correspondent à la délivrance de
points par des autorités telles que Citoyenneté et Immigration Canada, et que ces standards ne trouvent
pas d’équivalent dans le système de notation proposé par le test.
Cela devient encore plus impliquant
lorsque ce même candidat obtient
de 1 à 4 points par compétence s’il atteint au moins le niveau 3 du
TEF ou le standard 4 des SLC, comme nous le montre le tableau n°3.
C’est dans ce cadre que s’est imposée la multiréférentialisation du TEF sur les Standards linguistiques
canadiens.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
9
Tableau 3 Tableau d’équivalence des scores et niveaux TEF et de leurs mises en correspondance avec les
SLC. Extrait du site Internet de Citoyenneté et Immigration Canada (juillet 2002).
Résultats du test, par compétence Niveau Points
(par compétence)
Parler
(expression orale)
Écouter
(compréhension orale)
Lire
(compréhension écrite)
Écrire
(expression écrite)
1
ère
langue
officielle : 4
Élevé
(CLB/SLC 8-
12)
2
e
langue
officielle : 2
niveau 5
niveau 6
(349-450 points)
niveau 5
niveau 6
(280-360 points)
niveau 5
niveau 6
(233-300 points)
niveau 5
niveau 6
(349-450 points)
Moyen
(CLB/SLC 6-7)
2
niveau 4
(271-348 points)
niveau 4
(217-279 points)
niveau 4
(181-232 points)
niveau 4
(271-348 points)
Élémentaire
(CLB/SLC 4-5)
1
(max. de 2)
niveau 3
(181-270 points)
niveau 3
(145-216 points)
niveau 3
(121-180 points)
niveau 3
(181-270 points)
Néant
(CLB/SLC 0-3)
0
niveau 0
niveau 1
niveau 2
(0-180 points)
niveau 0
niveau 1
niveau 2
(0-144 points)
niveau 0
niveau 1
niveau 2
(0-120 points)
niveau 0
niveau 1
niveau 2
(0-180 points)
Source : http://www.cic.gc.ca/francais/qualifie/qual-3-1.html.
3.2. Une langue commune
La multiréférentialisation a donc des vertus à plusieurs égards. Elle permet une plus grande mobilité
pour le candidat et facilite la traduction des niveaux pour les décideurs, les formateurs et les
gestionnaires de programmes. Elle rend les résultats entre les individus plus équitables comme nous le
montre ce passage extrait de l’introduction des Standards linguistiques canadiens.
« Sustrina, 25 ans, est arrivé au Canada d’Indonésie avec des habiletés limitées en français. Peu de
temps après son arrivée, on évalue sa compétence linguistique et, sur la foi de ses résultats, il fut placé
dans une classe de français de niveau 6. Plus tard cette même journée, Sustrina rencontra quelques
uns de ses amis immigrants et, désireux de comparer son niveau d’habileté linguistique avec le leur,
annonça qu’il se situait au niveau 6 en français langue seconde et demanda à chacun quel était son
niveau. Une amie répondit qu’elle était classée débutant avancé et qu’elle ne comprenait pas ce qu’il
voulait dire en parlant de niveau. Un autre répondit qu’il comprenait parfaitement ce que Sustrina voulait
dire parce que, à son école de langue, il avait été classé au niveau 4. Il ajouta qu’on avait sans doute
fait une erreur à l’Ecole de Sustrina ou qu’il avait mal compris car, ils étaient bien d’accord là-dessus,
les habiletés de Sustrina en français n’étaient certainement pas meilleures que celles de son amie, au
contraire. »
C’est aussi avoir une langue commune qui permet une reconnaissance à l’échelle internationale d’une
compétence en français langue seconde et étrangère.
3.3. Tableau synoptique de quatre référentiels en français langue étrangère
Le tableau n°4 propose de décrire, de façon succincte, quatre référentiels et de les comparer. Il s’agit
du cadre de référence du TEF, du Cadre européen commun de référence pour les langues (CECR), des
Niveaux de compétence en français langue seconde québécois (NCFLS) et des Standards linguistiques
canadiens (SLC). D’autres référentiels auraient pu être mentionnés étant donné leur lien étroit avec le
CECR (échelles d’ALTE ancrées sur le CECR et échelle Dialang, une application du CECR dans une
version multilingue) ou avec le TEF (standards de l’ACTFL, American Council On the Teaching of
Foreign Languages).
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
10
Tableau 4 – Tableau synoptique de quatre référentiels
TEF CECR SLC NCFLS
Description acronyme
Test d’Evaluation de
Français
Cadre européen
commun de référence
pour les langues
Standards linguistiques
canadiens
Niveaux de
compétence en français
langue seconde
Nombre de pages
10 pages 191 pages 186 pages 45 pages
Date d’édition
1998 2001 2002 1998
Editeur
Chambre de
Commerce et
d’Industrie de Paris
Direction des Relations
Internationales de
l’Enseignement
Didier
Conseil de l’Europe
Centre des niveaux
compétence
linguistique canadiens
Gouvernement du
Québec
Mandataire
Chambre de
Commerce et
d’Industrie de Paris
Conseil de l’Europe
Division des langues
vivantes, Strasbourg
Citoyenneté et
Immigration Canada
Groupe interministériel
sur le cadre commun
pour la francisation des
immigrants adultes
Source
CECR
ACTFL
Treshold Level
Waystage
Alte
Canadian Language
Benchmarks (CLB)
Canadian Language
Benchmarks (CLB)
Visées
Evaluation
Apprendre
Enseigner
Evaluer
Normes nationales
pour la formation des
adultes en FLS
Conception et
administration de
programmes
Evaluation
Arrimage des
programmes
Base pour
l’évaluation
Outil de
communication
Outil de pilotage
Compréhension écrite
Lire Compréhension écrite
Compréhension orale
Lexique / structure
Comprendre
Ecouter
Expression orale Parler Parler
Interaction orale
Compétences
Expression écrite Ecrire Ecrire Production écrite
Stades
Elémentaire (0+ - 2))
Intermédiaire (3-4)
Supérieur (5-6)
Elémentaire (A1-A2)
Indépendant (B1-B2)
Expérimenté (C1-C2)
Elémentaire (1-4)
Intermédiaire (5-8)
Avancé (8-12)
Débutant (1-4)
Intermédiaire (5-8)
Avancé (9-12)
Niveaux
7 niveaux 6 niveaux 3 niveaux 12 niveaux
Langue d’origine
Français
Langue de chaque
pays européen
Français Français
Traduction
- oui Traduction des CLB -
Consultables sur :
http://www.fda.ccip.fr http://www.coe.int http://www.language.ca
http://www.immigration-
quebec.gouv.qc.ca
Ce tableau résume bien les ressemblances et les divergences entre référentiels. Par exemple,
l’approche de la langue : elle est abordée de façon différente selon qu’il s’agit du TEF, du CECR, des
NCFLS ou des SLC : le découpage des compétences diffère au niveau des habiletés productives ou
réceptives et la notion de communication est plus ou moins importante.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
11
4. La mise en correspondance du TEF avec les SLC
4.1. Schématisation d’une procédure pour relier les examens au CECR
La méthodologie adoptée pour cette mise en correspondance des spécifications du TEF avec les
Standards linguistiques canadiens s’appuie principalement sur une démarche proposée par le Conseil
de l’Europe dans le manuel « Relier les examens de langue au cadre européen de référence pour les
langues » et dont la procédure est présentée dans le schéma n°3.
Schéma 3 – Représentation graphique des procédures permettant de relier les examens au CECR
Source : Conseil de l’Europe (2003, p 4). Relier les examens de langue au Cadre européen de référence pour les langues:
apprendre, enseigner, évaluer.
SPECIFICATION
DU CONTENU DU TEST
Validité interne:
description et analyse
du contenu du test
Validité externe:
mettre en correspondance
le test avec les référentiels
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
12
4.2. Démarche adoptée pour la mise en correspondance du TEF avec les SLC
Démarche
La démarche de recherche adoptée repose
- d’une part sur une étude qualitative relative à la mise en correspondance théorique des
objectifs du TEF avec les descripteurs proposés par les Standards linguistiques canadiens,
- et d’autre part sur une analyse quantitative réalisée à partir du classement des prototypes
d’items et des unités réelles du TEF.
Corpus étudié
Cette étude a été établie à partir de quatre corpus :
- les spécifications du test ;
- les unités spécifiques du TEF (unité prototypées en termes de compétences et d’objectifs
visés) ;
- les unités réelles (items conçus pour les jeux d’épreuves et réalisés à partir des spécifications
définis dans l’unité spécifique) ;
- les descriptions de compétences et d’échelles contenues dans les Standards linguistiques
canadiens.
Déroulement
Le tableau n°5 retrace les différentes phases suivies pour la mise en correspondance de l’échelle TEF
avec les niveaux de compétence des Standards linguistiques canadiens.
Tableau 5 – Présentation des phases et étapes de la mise en correspondance du TEF avec les SLC
PHASES ETAPES
1
Synthèse des SLC
par compétence et
par niveau
Information et formation de l’équipe TEF aux outils SLC ;
Réalisation de tableaux synoptiques types de la synthèse des SLC ;
Lecture approfondie des SLC et sélection de produits et normes de
compétence les plus pertinents en regard du TEF et édition des
tableaux synthétiques.
2
Regroupement des SLC
aux points de césure
des SLC aux points de césure CIC ;
(agglomérat et écarts*)
Liste de contrôle du TEF.
3
Mise en correspondance théorique
des deux cadres théoriques TEF et SLC
Réalisation d’un tableau synthétique ;
Mise en correspondance théorique des deux cadres.
4
Mise en correspondance théorique du cadre TEF,
des questions TEF et des SLC
Mise en correspondance des deux cadres avec les questions du
TEF (objectifs et niveaux associés) ;
Description et comparaisons ;
Analyse et jugement.
5
Mise en correspondance pratique du cadre TEF, des
questions TEF et des SLC
Protocole d’action ;
Compilation de données et du matériel pour l’expertise ;
Classement des unités types et réelles par des experts (analyse
des données) ;
Interprétation des résultats.
Source : Documents CCIP-DRI/E-TEF
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
13
La formation des évaluateurs
Une attention toute particulière a é accordée au recrutement et à la formation des experts
évaluateurs. Les critères de sélection ont porté principalement sur la compétence des évaluateurs qui
devait avoir un minimum de dix années d’expertise de l’enseignement des langues et être spécialisé en
linguistique, didactique et évaluation des langues. Ces critères de choix ont été déterminés en fonction
des champs disciplinaires que recouvrait cette expérience (Cf. schéma n°1).
Sept experts, les mêmes tout au long de l’expérimentation, ont participé, soit :
3 experts extérieurs (évaluation externe) ;
1 expert extérieur, mais assurant tout au long de l’année la qualité du test (évaluation
mixte) ;
3 experts internes (évaluation interne) et les concepteurs du TEF.
Quant à la formation, elle a été dispensée en amont de l’expérimentation à partir de fiches de synthèse
des SLC. Les experts avaient également reçus une copie du référentiel SLC de manière à se
l’approprier, deux mois avant l’expérimentation.
4.3. Mise en correspondance théorique : l’exemple de la compréhension écrite
Méthodologie
Cette partie correspond aux phases 3 et 4 décrites dans le tableau n°5. La démarche adoptée a
consisté en : la collecte de données (sélection de descripteurs SLC appropriés au TEF) ;
l’organisation de ces données (mise en correspondance) ;
l’interprétation des résultats.
Résultats
La mise en correspondance du cadre TEF et des SLC est présentée par compétence. L’exemple
proposé dans le tableau n°6 concerne une unité type de la compréhension écrite codée CEAU10
+
. Ces
éléments de description sont extraits de la table de spécification et mis en regard des descripteurs de
performance des SLC les plus pertinents pour le TEF.
Après mise en correspondance lors de la phase 3, on constate que l’ensemble des objectifs des
questions TEF recouvre une partie des descripteurs de performance relatifs à chaque niveau de
compétence des SLC. Les domaines d’application sélectionnés dans la table de spécification du TEF
recouvrent bien ceux des SLC et aux mêmes niveaux. L’introduction des SLC insiste particulièrement
sur cet aspect : « Les SLC mettent l’accent sur les tâches reliées à la collectivité, au travail et aux
études » (Standards linguistiques canadiens, 2002, page iv).
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
14
Tableau 6Mise en correspondance théorique du cadre TEF, des questions TEF et des SLC : la
compréhension écrite / lire
Compréhension écrite / lire
CADRE THEORIQUE ET QUESTIONS DU TEF
CADRE DES SLC
Code item
TEF
Niveaux
TEF
Objectifs des questions du TEF
pour le candidat
Niveaux
SLC
Descripteurs de performance
globale
pour l’apprenant
CEAU1 TEF 0
+
Reconnaître les situations élémentaires de la
vie courante :
- identifier la nature et la fonction d’un
document très court de l’environnement
quotidien (pancartes, étiquettes …) ;
- repérer des mots isolés.
- 20 mots maximum.
Niveau I
Standard 1
« Peut apparier des illustrations simples et
de courtes phrases écrites contenant des
mots familiers » (p 28).
De 1 à 5 phrases.
Source : Documents CCIP-DRI/E-TEF
Après mise en correspondance, lors de la phase 4, des items avec les descripteurs présélectionnés en
phase 3, on constate également une bonne concordance, comme l’illustre l’encart n°1. Il y a parfaite
adéquation entre le descripteur SLC du tableau n°6 et l’item proposé dans l’encart 1, tant au niveau de
l’habileté linguistique que de l’aspect psycholinguistique (longueur des phrases et traitement cognitif).
Encart 1 – Unité réelle du TEF
Question 1
On peut lire cette inscription
A.
sur une porte.
B.
sur un téléphone.
C.
sur un ordinateur.
D.
sur un bus.
Source : Documents CCIP-DRI/E-TEF
Les difficultés rencontrées lors de cette mise en correspondance théorique reposent essentiellement sur
des formulations floues, ne permettant pas aux évaluateurs de distinguer le degré de distinction entre
deux descripteurs de niveaux différents. Par exemple, l’utilisation des verbes « reconnaître » et
« comprendre » sont utilisés à des niveaux supérieurs, alors que les spécifications du test ne les
introduisent qu’aux niveaux 0
+
et 1. D’autre part, les descripteurs relatifs à un contexte culturel
particulier ont été systématiquement exclus : à titre d’exemple, dans la compétence parler, le candidat
« discute l’actualité canadienne ».
PHASE 3
PHASE 4
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
15
4.4. Mise en correspondance empirique
Protocole d’expérimentation
Suite à cette mise en correspondance théorique, une expérimentation a été menée afin d’envisager, de
façon plus pragmatique, cette indexation d’échelles de compétence en français langue étrangère ou
seconde. Cette partie correspond à la phase 4 décrite dans le tableau n°5.
Pour rappel, la procédure de mise en correspondance des questions du TEF et des SLC a été assurée
à la fois par un groupe interne (équipe pédagogique TEF et concepteurs TEF) et une équipe d’experts
externes : le Service de Pédagogie Expérimentale de l’Université de Liège (SPE-ULG), un chargé de
mission, le Groupe d’Études et de Recherche pour le Français Langue Internationale (GERFLINT).
En dehors du travail d’analyse du référentiel SLC, une mise à l’épreuve du classement des questions
TEF a été réalisée sur deux jours consécutifs, au siège de la DRI/E-CCIP. La procédure suivante a é
adoptée :
Le premier jour, la procédure de validation a été présentée aux trois experts externes, préalablement
formés aux SLC. Une première expérimentation a alors été mise en œuvre durant laquelle chaque
expert, isolé dans un local différent et face à 12 bacs correspondant aux 12 niveaux de référence des
SLC, devait ranger les unités types du TEF couvrant les trois domaines de compétence suivants :
compréhension écrite, compréhension orale et lexique/structure. Le schéma n°4 illustre cette partie de
l’expérimentation.
Schéma 4 – Protocole d’action pour le classement des unités types
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
16
Après la première expérimentation, les résultats des 3 experts ont été confrontés au classement réalisé
par l’équipe interne de manière à obtenir une concordance optimale et commune des 4 classements,
comme le montre le schéma n°5.
Schéma 5 – Protocole d’action pour le classement commun de référence des unités types
Le deuxième jour a été consacré au classement des unités réelles. Il a été réalisé à partir du
classement commun effectué la veille et obtenu sur la base d’un commun accord entre les 3 experts et
l’équipe interne. 294 unités, extraites de 4 jeux réels, utilisés, ont alors été classées par les trois
experts dans un même temps, mais dans une salle différente pour éviter l’effet de contamination.
Schéma 6 – Protocole d’action pour le classement des unités réelles.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
17
Résultats
Les taux de concordance des classements des 294 unités sont présentés dans les trois tableaux n°7,
n°8 et n°9. La valeur 0 signifie que les trois experts et le groupe interne ne parviennent pas, pour une
unité donnée, à fournir une réponse identique en termes de classement ; la valeur 2 signifie qu’au
moins deux experts ou un expert et le groupe interne fournissent un classement identique de l’unité
1
, la
valeur trois que trois experts ou deux experts et le groupe interne fournissent une réponse identique ; la
valeur 4, que tous les experts et le groupe interne fournissent une réponse identique. Les résultats
présentés sont agrégés au niveau du système de points accordés par CIC (cf. tableau 3).
Tableau 7 - Accords entre les 3 experts et le positionnement des différentes unités de
compréhension écrite (CE) par le groupe interne dans le système de points (0, 1, 2 ou 4) de CIC.
Accords Fréquence % Fréquence
cumulée
% cumu
4 20 27,78 72 100,00
3 24 33,33 52 72,22
2 28 38,89 28 38,89
0 0 0 0 0
Tableau 8 - Accords entre les 3 experts et le positionnement des différentes unités de
compréhension orale (CO) par le groupe interne dans le système de points (0, 1, 2 ou 4) de CIC.
Accords Fréquence % Fréquence
cumulée
% cumu
4 32 27,35 117 100,00
3 48 41,03 85 72,65
2 37 31,62 37 31,62
0 0 0 0 0
Tableau 9 - Accords entre les 3 experts et le positionnement des différentes unités de lexique et
structure (LS) par le groupe interne dans le système de points (0, 1, 2 ou 4) de CIC.
Accords Fréquence % Fréquence
cumulée
% cumu
4 28 26,67 105 100,00
3 36 34,29 77 73,33
2 40 38,10 41 39,05
0 1 0,95 1 0,95
Les taux d’accord impliquant trois ou quatre experts par groupe interne dépassent 60% pour la
compréhension écrite et le lexique/structure, pour atteindre près de 70% en compréhension orale ; une
seule unité a conduit à un problème important de classification, en lexique/structure.
1
La valeur 2 est aussi accordée lorsque 2 groupes distincts de deux experts et/ou groupe interne s’accordent
chacun sur un classement identique.
A
SSOCIATION POUR LE
D
ÉVELOPPEMENT DES
M
ÉTHODOLOGIES D
’E
VALUATION EN
E
DUCATION
(ADMEE)
17
e
colloque – du 18 au 20 novembre 2004 – Lisbonne, PORTUGAL
L’évaluation des compétences : entre reconnaissance et validation des acquis de l’expérience
18
Bibliographie
Psychométrie
Demeuse, M., Henry, G. (2004). L’analyse classique d’items. In M. Demeuse (éd.). Introduction aux
théories et aux méthodes de la mesure en sciences psychologiques et en sciences de l’éducation.
Liège (Belgique) : Les Editions de l’Université de Liège.
Laurencelle, L. (1998). Théories et techniques de la mesure instrumentale. Sainte-Foy : Presses de
l’Université du Québec.
Leclercq, D., Denis, B., Jans, V., Poumay, M., Gilles, J.L. (1998). Chapitre 7. L’amphithéâtre
électronique. Une application : le LQRT-SAFE. In D. Leclecq (éd.). Pour une pédagogie universitaire
de qualité. Sprimont (Belgique) : Pierre Mardaga éditeur.
Linguistique et didactique des langues
Baddeley, A. : La mémoire humaine, théorie et pratique (chapitres sur l'effet de récence et la mémoire),
Presses Universitaires de Grenoble, 1993.
Citoyenneté et Immigration Canada. Standards Linguistiques Canadiens 2002.
Conseil de l’Europe, Division des Politiques Linguistiques (2003). Relier les examens de langue au
Cadre européen de référence pour les langues : apprendre, enseigner, évaluer (CECR) Manuel
avant-projet. Strasbourg : DGIV/EDU/LANG.
Cuq J.-P., Grucq I. (2003). Cours de didactique du français langue étrangère et seconde. Collection
FLE. Presses Universitaires de Grenoble. Chapitre II.
Lussier, D. (1992). Evaluer les apprentissages dans une approche communicative. Collection « f »
autoformation. Paris : Editions Hachette.
Mothe, J.-C. (1975). L’évaluation par les tests dans la classe de français. Paris : Editions Hachette /
Larousse.
Scovel, T. Psycholinguistics. Series Editors H.G. Widdowson. Oxford University Press.
Économie des langues
Delamotte, E. (1999). Le commerce des langues. Collection CREDIF Essais. Paris : Editions Didier.
... Dans le domaine du français langue étrangère, les auteurs qui contribuent à l'élaboration du Test d'Evaluation de Français (TEF) ont souhaité s'assurer de la bonne compréhension des informations fournies aux candidats à l'issue d'un test à forts enjeux 4 (Demeuse et al, 2004Demeuse et al, et 2005). Pour ce faire, l'idée qui a été poursuivie est de mettre en relation les résultats obtenus au test critérié (TEF) et la manière dont s'apprécient les candidats, partant du principe que les résultats au test seront d'autant mieux compris que la manière dont les candidats s'autoévaluent correspond à ces résultats. ...
... Tout score du candidat au TEF est ainsi exprimé en descripteurs de niveaux et de compétences qui peuvent être mis en correspondance avec le CECR. Outre ce lien avec le CECR, le TEF officialise dès 2004 (Demeuse et al., admee 2004) sa mise en correspondance avec les Standards linguistiques canadiens pour les besoins de son utilisation dans le cadre des procédures d'immigration mises en place par Citoyenneté et Immigration Canada. Cette mise en correspondance a été réalisée non seulement au niveau théorique, mais aussi empirique. ...
Article
Full-text available
Cette communication rend compte du travail mené par la Chambre de commerce et d'industrie de Paris (CCIP) pour compléter la mise en correspondance du Test d’évaluation de français (TEF) avec le Cadre européen commun de référence pour les langues (CECR), de plus en plus régulièrement utilisé pour le développement de matériel didactique et l’expression des niveaux de compétences en langue étrangère. La méthodologie mise en œuvre s'appuie sur les recommandations du manuel Relier les examens au Cadre européen commun de référence pour les langues et s'inspire de la première approche développée par deux équipes, l’université de Mons et l’équipe du TEF, lors de la mise en correspondance empirique du test avec les Standards linguistiques canadiens (2002). Le travail mené s’est articulé autour de quatre phases : premièrement, la traduction des spécifications (épreuves de compréhension écrite, compréhension orale et lexique/structure) du TEF pour répondre au format préconisé par le Conseil de l’Europe ; deuxièmement, l’approfondissement de la mise en correspondance théorique des spécifications du TEF avec le CECR ; troisièmement, après la familiarisation d'un groupe d’experts avec le matériel nécessaire à l’expérimentation, le classement individuel par ces derniers des objectifs spécifiques du référentiel TEF et d’un ensemble d’items (selon leur difficulté apparente) et, quatrièmement, l’analyse des résultats de l’expérimentation. L’analyse des résultats montre que les jugements des évaluateurs-experts sont fréquemment concordants avec le classement initial opéré par les concepteurs du TEF, mais que des différences existent, notamment pour les items de compréhension orale. Les analyses menées avec les experts ont été confrontées aux résultats obtenus lors de la passation de tests pour mettre en évidence, pour certains évaluateurs, la moins grande concordance entre leur classement et les niveaux de difficulté attendus et observés des items. Si la corrélation entre les classements portés par les évaluateurs et la difficulté empirique de ceux-ci est relativement élevée (0,87), c’est pour les items de niveau élémentaire que des variations importantes peuvent exister.
Article
Full-text available
Le travail au sein de l’équipe du français des affaires de la Chambre de commerce et d’industrie de région Paris Ile-de-France présente de multiples facettes. Il répond aux standards de qualité qui s’imposent à présent en matière de tests à forts enjeux. Cela nécessite la mobilisation d’une équipe pluridisciplinaire, au-delà de la production de nouvelles versions d’un même instrument. La palette de l’offre, notamment dans le domaine du français des affaires, continue à se développer, abordant de nouveaux domaines, mais celle-ci doit aussi faire face à de nombreux défis: généralisation de l’utilisation du numérique pour la gestion des épreuves, modification du format des interfaces destinées aux candidats, adaptation à l’évolution des exigences des prescripteurs et des référentiels, sécurisation accrue et recours à la technologie pour mieux assurer la qualité des corrections des productions complexes, tant orales qu’écrites... Tous ces développements ont pu se réaliser avec une équipe à la taille relativement réduite, si on la compare aux équipes qui assurent par exemple le développement des tests en langue anglaise. Par ailleurs, le monde francophone de l’évaluation a longtemps été réfractaire aux développements liés à la mesure et à l’évaluation, en particulier dans le domaine de l’évaluation linguistique. Il a donc fallu aussi développer en interne des compétences spécifiques qu’il était très difficile de trouver sur le marché francophone. Cet article a tenté d’offrir une réflexion nourrie par une vingtaine d’années de collaboration. Ce regard dans le rétroviseur, permet de mesurer le chemin accompli tout en entrevoyant les développements à venir. Ceux-ci impliqueront de plus en plus le traitement automatisé et l’intelligence artificielle. C’est assurément le tournant à ne pas manquer pour maintenir les produits de notre équipe au niveau d’exigence qu’ils ont pu atteindre jusqu’ici.
Conference Paper
Full-text available
Mots-clés : évaluation de compétences-hiérarchisation de compétences-analyse implicative Résumé. A travers deux exemples issus de contextes différents, les auteurs proposent de montrer comment l'exploitation de deux types de résultats obtenus par l'intermédiaire du logiciel C.H.I.C 1 – le graphe implicatif et l'arbre de similarités – permet d'appréhender la hiérarchie existant entre différentes compétences. Le premier exemple est issu d'une recherche menée à l'Université de Mons et portant sur le diagnostic de la maitrise de compétences issues du traitement de données, par des élèves de grade 5 et 6 (10-12 ans). Le second exemple est issu d'une recherche menée à la Chambre de Commerce et d'Industrie de Paris et portant sur l'évaluation de la maîtrise de la langue française par des adultes.
Article
Full-text available
Le contrôle de la qualité des évaluations des productions écrites en français langue étrangère pose de nombreuses questions, encore amplifiées lorsqu’il s’agit de tests à forts enjeux pour les candidats. Cet article illustre comment ce contrôle peut s’appuyer à la fois sur la théorie de la généralisabilité et sur le modèle multifacettes de Rasch pour relever les sources d’erreur (stabilité inter- et intracorrecteurs, variation des stimuli fournis aux candidats pour produire leurs textes…) et en estimer l’importance respective dans le cadre d’un monitorage de la qualité d’une épreuve de français langue étrangère.
Article
Full-text available
Mots clés : évaluation ; psychométrie ; français langue étrangère (FLE) ; outil informatique Résumé Dans le contexte actuel, les outils d'évaluation doivent notamment s'adapter aux contraintes liées à l'instantanéité de la communication et de la transmission des informations ainsi qu'à l'intensification de la circulation des biens et des personnes. Pour ces raisons, l'attractivité d'une version électronique d'un test établi originellement dans une version papier-crayon est forte, tant pour les candidats que pour les institutions. En dehors des problèmes purement technologiques, l'adaptation d'un test d'un média à l'autre suppose des modifications pédagogiques et administratives. Ces modifications doivent être accomplies avec prudence, de manière à ne pas altérer la nature même de l'épreuve et la comparabilité des résultats dans le temps, quelle que soit le type de test, papier-crayon ou électronique, auquel s'est soumis le candidat. Cette présentation s'inscrit dans les nouvelles recherches qui se sont développées dans le domaine de l'évaluation du français langue étrangère, où l'apprenant est davantage acteur de son apprentissage. Ces nouvelles approches se conjuguent pour permettre l'évaluation de nouveaux processus cognitifs dans des conditions aussi proches que possible des situations réelles de communication.
Théories et techniques de la mesure instrumentale
  • L Laurencelle
Laurencelle, L. (1998). Théories et techniques de la mesure instrumentale. Sainte-Foy : Presses de l'Université du Québec.
Chapitre 7. L'amphithéâtre électronique
  • D Leclercq
  • B Denis
  • V Jans
  • M Poumay
  • J L Gilles
Leclercq, D., Denis, B., Jans, V., Poumay, M., Gilles, J.L. (1998). Chapitre 7. L'amphithéâtre électronique. Une application : le LQRT-SAFE. In D. Leclecq (éd.). Pour une pédagogie universitaire de qualité. Sprimont (Belgique) : Pierre Mardaga éditeur.
La mémoire humaine, théorie et pratique (chapitres sur l'effet de récence et la mémoire)
  • A Baddeley
Baddeley, A. : La mémoire humaine, théorie et pratique (chapitres sur l'effet de récence et la mémoire), Presses Universitaires de Grenoble, 1993.
Cours de didactique du français langue étrangère et seconde. Collection FLE
  • J.-P Cuq
  • I Grucq
Cuq J.-P., Grucq I. (2003). Cours de didactique du français langue étrangère et seconde. Collection FLE. Presses Universitaires de Grenoble. Chapitre II.
Evaluer les apprentissages dans une approche communicative. Collection « f » autoformation
  • D Lussier
Lussier, D. (1992). Evaluer les apprentissages dans une approche communicative. Collection « f » autoformation. Paris : Editions Hachette.
Le commerce des langues
  • E Delamotte
Delamotte, E. (1999). Le commerce des langues. Collection CREDIF Essais. Paris : Editions Didier.
Une application : le LQRT-SAFE. In D. Leclecq (éd.). Pour une pédagogie universitaire de qualité
  • D Leclercq
  • B Denis
  • V Jans
  • M Poumay
  • J L Gilles
Leclercq, D., Denis, B., Jans, V., Poumay, M., Gilles, J.L. (1998). Chapitre 7. L'amphithéâtre électronique. Une application : le LQRT-SAFE. In D. Leclecq (éd.). Pour une pédagogie universitaire de qualité. Sprimont (Belgique) : Pierre Mardaga éditeur.