ArticlePDF Available

Cervini C. (2014). "La valutazione multilingue nel contesto dei dispositivi formativi: il sistema ‘SELF' per il posizionamento e la diagnosi delle competenze linguistiche". LEND – Lingua e Nuova Didattica. Periodico di Linguistica Applicata e Glottodidattica, n.° 1, Febbraio 2014

Authors:
La valutazione multilingue nel contesto dei dispositivi formativi
1
contributi
La valutazione multilingue nel
contesto dei dispositivi formativi:
il sistema ‘SELF’ per il posizionamento e la diagnosi
delle competenze linguistiche
di Cristiana Cervini
Intorno alla valutazione e al testing: riflessioni e prospettive
Testing is a universal feature of social life” (McNamara 2000:3)
Il testing si configura come uno strumento attuativo e operativo della valutazione, che va
profilandosi sempre più come microdisciplina specialistica della glottodidattica. Settori di grande
interesse e complessità, la valutazione e il testing occupano grande spazio in letteratura, da un
lato per l’impatto e le ricadute politiche, sociali e formative che possono avere sulle persone e
sugli equilibri istituzionali (McNamara 2000; Shoamy 1998; Kunnan 2000), dall’altro per la
loro utilità e ineluttabilità nel processo didattico, e infine per l’alto livello di tecnicismo richiesto
nella redazione e validazione dei contenuti. La necessità di seguire procedure ben esplicitate e
rigorose è avallata dall’energia che le associazioni e gli enti ufficiali (ALTE, EALTA, CIEP, ecc.)
investono nella produzione di linee-guida e di documenti per il controllo qualità e per l’audit
degli strumenti di valutazione, a livello micro (item o task) e a livello macro (specificazioni, usi e
contenuti del test).
Gli strumenti attuativi della valutazione rispecchiano il contesto socioculturale in cui ven-
gono proposti, in particolare rispetto alle finalità d'uso e al pubblico di destinatari. I bisogni
linguistici di un apprendente ‘attore sociale’ (QCER 2001) sono al centro degli attuali approcci
comunicativi e azionali e costituiscono il faro che orienta le scelte metodologiche nella didattica
in generale, e alla stessa stregua, nella valutazione. La presa di distanza da un sapere nozionistico
decontestualizzato procede di pari passo con la valorizzazione della dimensione olistica del di-
scente, che apprende per saper comunicare, saper essere e saper fare, in un contesto situazionale
e sociale concreto e dunque dinamico, mutevole e interattivo.
Tutte queste considerazioni ci portano ad interrogarci sull’adeguatezza delle modalità di va-
lutazione adottate, in particolare quando ci troviamo a fare i conti con i vincoli imposti dagli
Cristiana Cervini insegna all’Università di Bologna e a l’Université Stendhal – Grenoble 3
esperienze
2
strumenti standardizzati rivolti a un pubblico vasto di individui (Porcelli 2006).
I poli antinomici classici del testing sono riconducibili a criteri e principi ormai molto noti
quali quelli di oggettività versus soggettività, di validità versus affidabilità, di misurazione e inter-
pretazione dell’errore, di autenticità situazionale e interazionale (Manuel ALTE 2011), di mul-
tidimensionalità della difficoltà del compito in riferimento alle caratteristiche individuali dei
soggetti e alle caratteristiche degli input utilizzati, linguistici e non.
A language test refers to the process of collecting test data (usually scored) based on
certain linguistic or non-linguistic behaviours for the purpose of making score-based in-
ferences about certain test taker characteristics or claims and for the purpose of making
informed decisions about individuals. (Purpura 20121)
In un processo circolare multitappa (process of collecting), come quello descritto da Purpura
poco sopra, individuiamo alcune parole-chiave che sono veicolo di concetti cardine per la valu-
tazione e il testing: 1) i comportamenti linguistici e non-linguistici (linguistic or non-linguistic
behaviours), ovvero i fattori che determinano la formulazione di una risposta o la scelta di una
opzione, ma non direttamente imputabili alla conoscenza della lingua, (pensiamo per esempio
al rapporto tra l’operazione cognitiva e procedurale richiesta nell’esercizio e gli stili preferenzia-
li dell’apprendente/candidato, i vincoli di tempo concessi per lo svolgimento dell’esercizio, la
formulazione delle consegne, gli impliciti culturali, ecc.); 2) le inferenze che possiamo fare in
base all’attribuzione di un punteggio (score-based inferences)2; 3) le caratteristiche individuali dei
soggetti valutati (test taker characteristics or claims), rispetto al background socioculturale, alle co-
noscenze pregresse, al profilo di biografia linguistica e ai fattori interni e esterni (età, motivazione,
attitudini, obiettivi, motivazioni, ecc.)3; 4) le decisioni motivate (informed decisions) ovvero le
finalità e gli usi del test o degli strumenti di valutazione in base ai risultati conseguiti (creazione
di un gruppo-classe, conseguimento di una certificazione di padronanza, test di profitto, valuta-
zione formativa in itinere, diagnosi sui punti di forza e sulle lacune, ecc.).
Un concetto inclusivo relativamente recente, collocabile nella terza generazione di studi sul
testing, è quello di ‘utilità’, in grado di far evolvere la tensione oppositiva tra i criteri più tradizio-
nali di ‘validità’ e ‘affidabilità’.
Le degré d’utilité est défini comme une fonction de six différentes qualités (fiabilité +
validité théorique + authenticité + interactivité + impact + faisabilité) en ajustement
réciproque, qui interagissent entre elles et qui contribuent de façon unique à l’utilité
globale d’un test donné. (Doucet 2001; Bachman, Palmer 1996)
In questa definizione vediamo come assumano valore i nuovi principi di ‘autenticità’, intesa
come la rappresentatività pragmatica del contenuto e le sue implicazioni sulla credibilità del test,
di ‘interattività’ che si concretizza nella presa in carico delle peculiarità e specificità personali dei
candidati, l’‘impatto’ sulla società, sui decisori, sulle istituzioni e sulla vita dei candidati, e infine
la ‘fattibilità’, cioè la possibilità che l’istituzione ha di farsi carico del processo di testing in modo
congruo, nelle sue fasi di costituzione di banche dati, revisioni, pilotaggio, validazioni, ecc.
Dal 2012, il servizio LANSAD (Langues pour Spécialistes d’Autres Disciplines)4 dell’Università
La valutazione multilingue nel contesto dei dispositivi formativi
3
Stendhal Grenoble 3 è fortemente impegnato e schierato in prima linea nel rinnovo delle pratiche
di valutazione linguistica, sia di tipo certificativo, sia finalizzate al posizionamento e alla diagnosi
delle competenze. Due sono le principali forze propulsive per il rinnovamento della cultura della
valutazione nell’istituzione: l’ottenimento del progetto ministeriale Innovalangues5 (2012-2018)
(cfr. Masperi e Quintin in questo volume; Masperi 2013) che prevede, fra i vari obiettivi, la
creazione di SELF (Système d’évaluation en Langues à visée formative), un test multilingue per la
valutazione delle competenze linguistiche, da utilizzare in ingresso a fini di posizionamento, e in
itinere a fini diagnostici; in secondo luogo, la nomina ricevuta da parte dell’Università Stendhal
a sede di Coordinazione nazionale della certificazione multilingue francese CLES6 (Certificat de
Compétences en Langues de l’Enseignement Supérieur accrédité par le MESR), fortemente ancorata
agli scenari didattici e agli approcci comunicativo-azionali.
SELF nel contesto dei dispositivi formativi: posizionamento e dia-
gnosi
La progettazione del sistema SELF - Système d’évaluation en langues à visée formative - è gui-
data da alcuni presupposti teorico-pratici che influiscono sulle scelte intraprese e che intendono
rispondere alle esigenze di inserimento del sistema di valutazione nel/i dispositivo/i formativo/i,
inteso in termini di istituzione LANSAD (il ‘méga-dispositif’ descritto in Mompean, 2013) e in
termini di modello formativo in cui agiscono risorse umane e risorse tecnopedagogiche.
Non seulement le dispositif prend en compte les usagers, mais dans ce renversement de
paradigme éducatif, il réintroduit le sujet apprenant comme acteur de ses stratégies
cognitives, amené à prendre conscience de ses procédures…”, passant ainsi “de la com-
munication à la métacommunication, du savoir au métasavoir, de la cognition à la
métacognition” . (Montandon 2002:9 in Mompean 2013:164)
Tra i presupposti teorico-pratici da considerare durante la progettazione possiamo citare dun-
que: 1) la necessità di creare un sistema di valutazione coerente e sinergico con l’offerta formativa
multilingue e con la ricchezza e varietà dei modelli didattici proposti agli studenti del LANSAD
(corsi in presenza potenziati, in modalità ibrida, in autonomia guidata, in autonomia totale, ecc.)
ma anche fruibile potenzialmente, da un pubblico più vasto, nazionale (altre università francesi)
e internazionale (università o scuole italiane, per esempio); 2) l’integrazione futura dei moduli
di valutazione nell’ecosistema di apprendimento Innovalangues ENPA - Environnement Numéri-
que Personnalisé pour les Langues - e la possibilità di usufruirne sia online sia presso i laboratori
del Centro di apprendimento in autonomia; 3) l’esigenza di rispondere contemporaneamente a
due obiettivi egualmente importanti (posizionamento e diagnosi) che implicano, tuttavia, scelte
di progettazione, linee di ricerca e approfondimento, e modalità di somministrazione fra loro
dissimili; infine, 4) il desiderio di apportare un contributo innovativo alla ricerca nel settore, ca-
pitalizzando le esperienze e i punti di forza esperiti dagli strumenti di valutazione più diffusi e af-
fidabili, come per esempio il sistema Dialang (Alderson 2005), tuttora in uso presso il LANSAD.
Dal punto di vista teorico e metodologico, ribadiamo la volontà di ancorarsi il più saldamente
possibile agli approcci recenti di tipo comunicativo-azionale, pur consapevoli dei vincoli a cui si
esperienze
4
va incontro nel testing informatizzato e standardizzato.
Date queste premesse, la costituzione di una banca multilingue di ‘task di valutazione’ (ita-
liano e inglese come lingue pilota, poi cinese, spagnolo e tedesco) che coprono i livelli dall’A1 al
C1 secondo i descrittori del Quadro Comune Europeo di Riferimento, si è delineata come la strada
più coerente ed esaustiva per rispondere alle finalità sopra menzionate.
Che cosa significa ancorarsi ad un approccio comunicativo nel nostro tipo di testing? Come
si traduce questo ancoraggio nelle nostre scelte operative? Il modello di competenza comunica-
tiva di Bachman (1990) in riferimento al testing ci viene in aiuto: «performance on language tests
is affected by a wide variety of factors, and an understanding of these factors and how they affect test
scores is fundamental to the development and use of language test » (Bachman 1990:81). La com-
petenza in lingua viene infatti distinta in ‘organizational competence(grammaticale e testuale)
e in ‘pragmatic competence (illocutoria e sociolinguistica). La creazione e redazione dei task di
valutazione in SELF si propone di tenere in considerazione la multidimensionalità di una com-
petenza integrata e i fenomeni di variazione che caratterizzano i sistemi linguistici. Attraverso tre
macrocompetenze quali sono la comprensione di testi orali e scritti e la produzione scritta breve
(meglio conosciuta con le espressioni inglesi di ‘limited production’ o francesi di ‘expression écrite
courte’ per non confonderla con le forme di produzione scritta libera aperta), i testi e gli esercizi
proposti in SELF sollecitano al contempo l’impiego di tre microcompetenze o conoscenze, quali
la padronanza della morfosintassi, del lessico e di aspetti di pragmalinguistica o sociolinguistica.
Per non incappare nei bias7 più tipici e conosciuti del testing, che potrebbero pregiudicarne
l’attendibilità e il rispetto dei principi di equità o ‘fairness’ (Kunnan 2000), molta attenzione deve
essere posta nella formulazione dei contenuti del task di valutazione. Per esempio, si contempla il
riconoscimento della forza illocutiva e perlocutiva degli atti linguistici, la conoscenza di espressio-
ni idiomatiche e collocazioni lessicali, la concatenazione logica delle informazioni nell’impianto
discorsivo-narrativo di un testo, le forme di cortesia e le routine conversazionali tipiche di un
determinato livello di padronanza, ma non si testano le conoscenze enciclopediche, i costumi e
le abitudini culturali, così come non si testano le conoscenze metalinguistiche. A volte la linea
di demarcazione è difficile da tracciare ma una attenzione particolare deve essere rivolta a questi
aspetti; non si tratta semplicemente di non contemplarli nella valutazione, ma piuttosto di evitare
che queste componenti influenzino o interferiscano nella valutazione dello studente.
La realizzazione di una versione del test dedicata al posizionamento e di altre versioni per la
valutazione diagnostica ci pone di fronte a sfide differenti. Infatti, per posizionare gli studenti
all’interno di gruppi-classe omogenei abbiamo bisogno di una procedura affidabile, rapida e di
un risultato chiaro e immediato. Per rispondere a queste esigenze, ci serviamo di un test adattivo
di tipo progressivo composto da due tappe principali: un mini-test iniziale, in cui sono sommini-
strati item molto discriminanti e fortemente correlati con il livello globale degli studenti, seguito
da una seconda sezione di tipo progressivo, per aggiustare e confermare il livello linguistico di
afferenza.
La versione diagnostico-formativa deve rispondere invece a istanze diverse: deve essere mo-
dulare, estensiva, analitica e somministrabile in modo separato per ciascuna competenza. Nella
La valutazione multilingue nel contesto dei dispositivi formativi
5
sezione diagnostico-formativo, il tracciamento delle risposte dello studente e il feedback correttivo
costituiscono la chiave di volta del processo di autonomizzazione dello studente, e si rivelano par-
ticolarmente utili nei processi di autovalutazione e di rimediazione, a breve e lungo termine. “La
diagnostica – o valutazione formativa – è dunque una strategia continua che permette di seguire e
monitorare l’apprendimento degli allievi e che influisce sulle decisioni da prendere su come met-
tere in relazione le loro prestazioni linguistiche con le loro competenze reali” (Lengyel 2011:299).
La scarsa letteratura a disposizione sul concetto di diagnostico’ ci invita a proseguire con
tenacia la ricerca in questo settore. Tali studi nascono e si evolvono soprattutto in riferimento
all’ambito delle difficoltà di apprendimento (diagnosis of speech and language disorders), campo al
confine tra psicolinguistica e neurolinguistica che, pur contribuendo tacitamente all’evoluzione
delle teorie sull’apprendimento linguistico e la valutazione, rimane ancora collaterale alla glotto-
didattica tradizionale.
Le procedure di valutazione diagnostica e formativa centrate sull’apprendimento e
sull’insegnamento individualizzato si inseriscono in un quadro teorico che considera
l’apprendimento linguistico come una attività socio-culturale. Questo approccio presup-
pone una concezione inclusiva della lingua particolarmente funzionale a predisporre il
sostegno agli apprendenti che crescono in un ambiente bilingue o plurilingue. (Lengyel
2011)
Rispetto alla coerenza tra tipologia di test, caratteristiche e finalità con le quali viene sommi-
nistrato, possiamo ritenere abbastanza difficoltoso e forse inappropriato operare una netta distin-
zione sulle tipologie di test (profitto, padronanza, certificazione, posizionamento, ecc.) in base
ai contenuti. Il test diagnostico necessita di un grado di approfondimento più avanzato rispetto
al test di posizionamento. Non paiono quindi essere i contenuti a determinare la distinzione tra
i due, quanto piuttosto il tipo di feedback dato allo studente e l’attenzione dedicata alle lacune
e ai punti di debolezza in un contesto di apprendimento individualizzato o personalizzato. I
test diagnostici o di posizionamento sono in genere classificati come test di tipo low-stake; tut-
tavia sempre più evidente si rivela l’impatto che tali test hanno sulla percezione dell’affidabilità
dell’istituzione, del contesto formativo e sui meccanismi di autoregolazione e autonomizzazione
dello studente. La diffusione sempre più ampia di modelli di apprendimento in autonomia o ibri-
di riporta al centro dell’attenzione dei formatori e delle istituzioni alcuni principi cardinali della
psicologia dell’apprendimento, quali l’autoefficacia, l’autoregolazione, la consapevolezza di sé in
quanto apprendenti, l’autonomia, fattori che implicano, tutti, un grado di conoscenza e consape-
volezza personale elevato. La valutazione diagnostica ci invita anche a interpretare con prudenza
l’identità dell’errore, e a ribaltarne la prospettiva e il ruolo. L’errore, in quanto deviazione dalla
norma e dallo standard, potrebbe essere letto, in una ottica costruttivista, come la manifestazione
di uno stadio evolutivo dell’apprendente, dunque della sua interlingua. Questa prospettiva e que-
sta lettura avvalorano l’importanza di una osservazione estesa e prolungata dei risultati conseguiti
dagli studenti, in chiave diacronica.
esperienze
6
Il task di valutazione nel costrutto dell’abilità linguistica: l’esempio
della comprensione scritta
La necessità di operare una distinzione terminologica tra item e task8 di valutazione ci sembra
coerente con la complessità che si incontra nella definizione del costrutto. «A construct is a mea-
ningful interpretation of observed behaviour» (Chapelle 1998:33): definire e tracciare il perimetro
del costrutto di un test che si basa su competenze integrate, quali la comprensione scritta, orale e
la produzione breve o limitata, come nel caso di SELF, significa in primo luogo saper rispondere
ai quesiti “Che cosa vuol dire comprendere un testo orale o scritto?”, “Che cosa vuol dire produr-
re negli esercizi di tipo cloze?
I punti cardine del costrutto si rivelano in una molteplicità di componenti che sono coerenti
anche con la multifattorialità che determina la difficoltà di un compito. In primo luogo si rivela-
no nella tipologia e nel genere del testo fonte adottato come input linguistico-comunicativo del
task, nelle operazioni cognitive e procedurali sollecitate attraverso gli esercizi, nella valorizzazione
degli snodi inferenziali che contraddistinguono le situazioni di comunicazione reale. La commi-
stione di questi fattori, assieme all’unicità della percezione che ogni studente ha rispetto al task,
determinano la multidimensionalità del concetto di difficoltà. Anche se il testing standardizzato
stenta a distanziarsi da una certa artificiosità, connaturata agli item discreti, a risposta chiusa, cioé
stenta a porre i candidati in una situazione di ascolto o di scrittura verosimile, i capisaldi della
valutazione in una impostazione di tipo comunicativo ci sembrano costituiti dai principi già
accennati di ‘autenticità interazionale e situazionale’9 (Manuel ALTE 2011).
Vediamo un esempio di task di comprensione orale con focus comunicativo-pragmatico, cor-
redato da tutti gli elementi costitutivi (contesto, consegna, testo orale di tipo dialogico trascritto,
distrattori e risposta corretta):
In ufficio [contesto]
Silvia si rivolge al Direttore. Scegli l’espressione più adeguata [consegna]
[testo orale di tipo dialogico]
A: Buongiorno Silvia, ci sono messaggi per me?
B: Buongiorno Direttore, al momento nessun messaggio.
A: Va bene, se ha bisogno di me, sono in ufficio ...
drin ... drin ...
B: Pronto? Sì, buongiorno! ... Sì ... attenda un attimo in linea, glielo passo. Direttore ...
A:
1.
la desiderano al telefono [risposta corretta]
2.
prenda subito la chiamata! [distrattore]
3.
scusa, puoi rispondere? [distrattore]
Alla stessa stregua, anche il principio di ‘naturalezza pragmatica’ di Doyé (in Ciliberti
2012:231) è alla base della valutazione delle competenze comunicative, anche se non sempre di
La valutazione multilingue nel contesto dei dispositivi formativi
7
agevole e diretta applicabilità nelle prove discrete. A questo proposito, Doyé (1989) propone di
analizzare la ‘naturalezza pragmatica’ in base a un continuum che va da un minimo ad un massi-
mo, osservabile attraverso il rispetto di alcuni principi inerenti all’agire linguistico-comunicativo,
al ruolo dell’apprendente nel task di valutazione e ai compiti richiesti, all’autenticità del contesto
situazionale o interazionale.
Alderson (2000), in riferimento al costrutto di comprensione scritta, afferma che
a communicative alternative is, first, to select texts that target readers would plausi-
bily read, and then to consider such texts and ask oneself: what would a normal reader
of a text like this do with it? Why would they be reading it? In what circumstances
might they be reading the test, how would they approach such a text, and what might
they be expected to get out of the text, or to be able to do after having read it? The an-
swers to these questions may give test constructors ideas for the type of technique that it
might be appropriate to use, and to the way in which the task might be phrased, and
outcomes defined. (Alderson 2000:256)
Questa citazione esemplifica il modus operandi che i redattori di item seguono per SELF. Ad
esempio un tipo di esercizio che risponde bene a queste esigenze è il DCTdiscourse completion
task, nel nostro caso a scelta multipla. Nel DCT si richiede al candidato di individuare la battuta
che meglio si adatta al proseguimento dello scambio comunicativo, scritto o orale, nel rispetto dei
criteri di pertinenza, efficacia e adeguatezza comunicativa e pragmatica. Questa attività si presta
bene alla valutazione delle competenze integrate perché, per reperire la risposta, il candidato deve
prima capire globalmente e nel dettaglio il testo fonte (ad esempio reperire dei marcatori pragma-
tici) e poi, immedesimandosi nel ruolo dell’interagente, selezionare la/le risposta/e opportuna/e.
Per illustrare le molteplici dimensioni coinvolte nella lettura e dunque per poter raggiungere
un buon grado di consapevolezza sui fattori che entrano in gioco nella valutazione di questa
abilità, abbiamo esplorato gli studi sul concetto di leggibilità e comprensibilità di un testo (rea-
dability), (Liontou 2013:43) e quelli sul rapporto tra tipologia e genere testuale10, in particolare
rispetto ai generi testuali più recenti di scritto oralizzato o di orale scritto, veicolati dalle forme di
comunicazione telematica più recenti (instant messaging, chat, forum, blog…). Per esempio tra i
fattori menzionati in Liontou (2013, inedito), troviamo:
- model of text cohesion: «the semantic relation between an element in the text and some other element
that is crucial to its interpretation» (Halliday and Hasan 1976:8);
- lexicogrammatical complexity;
- lexical density: «according to Halliday (2002:242; 2004:654), a characteristic of written language,
which makes it more abstract and as a result more complex than spoken one is its being lexically dense,
that is, information expressed through a large number of lexical items is packed into fewer clauses than
in the spoken language»;
- grammatical intricacy;
- lexical diversity: lexical diversity, as roughly defined by Durán et al. (2004: 220), «refers to the
range of vocabulary displayed in the discourses and has been repeatedly mentioned in literature as a
esperienze
8
predictor of learners’ general language proficiency»;
- word frequency;
- phrasal verb: solo per la lingua inglese. Per le altre lingue, possiamo estendere il concetto alla
presenza di espressioni semi-fisse, fisse, o di espressioni idiomatiche.
Lavinio (2004), riprendendo gli studi di Lumbelli (1989), menziona altri quattro fattori mol-
to interessanti che contribuiscono a determinare la difficoltà di un testo: l’identità ostacolata, che
si verifica quando la comprensione di un enunciato o di un paragrafo dipende da un assunto
enciclopedico o culturale che rimane implicito, non segnalato. «Il Presidente della Repubblica è
partito per le vacanze. Ciampi ha comunque tenuto una conferenza»; il nesso mal segnalato, non
segnalato o distante; l’aggiunta relativizzante che «serve a circoscrivere la validità di asserzioni prece-
denti, per limitarne la portata avvertendo che non sono opportune eccessive generalizzazioni e schema-
tizzazioni» (Lavinio 2004:134); l’esempio difficile, che invece di semplificare la comprensione di
un concetto, lo complica ulteriormente.
Due altri fattori di difficoltà che non trovano abbastanza spazio in questa descrizione e che
invece ci sembra importante ricordare, riguardano la lunghezza del testo, che può comportare
uno sforzo cognitivo di memorizzazione e gestione delle informazioni, e la richiesta di attivazione
di processi deduttivo-inferenziali, necessari per capire messaggi indiretti, astratti, metaforici.
In sintesi, per rendere operativo il costrutto di comprensione scritta, i task di lettura proposti
in SELF si avvalgono di tipologie e generi testuali diversificati in cui si richiede di identificare
le idee di importanza centrale o collaterale (comprensione globale, comprensione analitica), di
trovare connessioni tra informazioni dislocate in punti diversi del testo, di riflettere sul contenuto
e sulla forma utilizzata per veicolarlo. Queste operazioni richiedono l’attivazione di meccanisimi
di interpretazione del discorso (argomentazione, concatenazione tra le idee), capacità di orienta-
mento globale nel testo e/o capacità di comprendere espressioni isolate nel co-testo.
L’atelier del redattore: approcci, pratiche e strumenti
Il lavoro assegnato al redattore di item (item writer nella letteratura anglosassone ma anche
molto diffuso in quella italofona, e concepteur de tâche in quella francofona) è di alta profes-
sionalità e richiede un buon livello di conoscenza e consapevolezza sul funzionamento e sulle
caratteristiche della lingua, una buona conoscenza sui livelli di competenza esperita nella pratica
didattica, e infine un alto controllo procedurale, per una stesura ben codificata di consegne,
distrattori, risposte corrette, ecc. Per queste ragioni, è importante che gli item writer abbiano un
background formativo da linguisti specialisti nella lingua del test e abbiano una buona esperienza
di insegnamento della lingua. Le linee-guida per la procedura di stesura degli item possono più
facilmente essere apprese e automatizzate in fieri, con la pratica di redazione; la presa di coscienza
sulla lingua richiede invece un iter più lungo e riflessivo.
Il processo di redazione si presenta quindi come articolato e caratterizzato da due componen-
ti: una creativa, di ideazione, ricerca e scelta delle fonti, e una altamente tecnico-procedurale, di
controllo sulle parole e sugli enunciati in fase di stesura degli esercizi. Questo quadro metodolo-
La valutazione multilingue nel contesto dei dispositivi formativi
9
gico ci ha portato a identificare nell’atelier di redazione il luogo ‘simbolico’ in cui questo mestiere
si svolge. Infatti tipicamente negli atelier si svolgono mestieri per i quali il saper fare pratico entra
in sinergia con il sapere di ideazione creativa e innovativa. Quali sono gli strumenti di lavoro che
troviamo dunque nell’atelier del redattore? Ai fini di poter coniugare efficacemente un approccio
intuitivo con un approccio di osservazione qualitativa e quantitativa, i redattori di item si avval-
gono dell’utilizzo di Referenziali e Sillabi della lingua, alternandoli alla consultazione di corpora
di lingua scritta e di orale trascritto, in particolare, quando possibile, di corpora di apprendenti
(learner corpora). I descrittori del Quadro Comune europeo di riferimento per le lingue costituiscono
infatti un punto di riferimento centrale e indispensabile per guidare il lavoro di redazione nel
testing, ma allo stesso tempo insufficiente per la vaghezza che li contraddistingue. Non a caso
numerosissimi sono i progetti successivi alla pubblicazione del QCER che hanno inteso colmare
il divario tra la teoria e l’astrazione del Quadro, o almeno di alcune sezioni, e le necessità pratiche
di chi opera nel settore11. Per esempio, gli inventari pubblicati nel Profilo della Lingua Italiana12
(2010), così come i Sillabi di Lo Duca (2006) e di Benucci (2007) per la lingua italiana e The
English Profile13 per la lingua inglese (il cui slogan è what the CEF means for English”) hanno con-
sentito al redattore di allinearsi il più possibile alle strutture morfosintattiche, alle funzioni lin-
guistiche e alle espressioni lessicali che, di norma, sono considerate come assimilate in un deter-
minato livello di competenza linguistico-comunicativa. L’intuizione che proviene dall’esperienza
e dalla pratica didattica del redattore trova quindi la possibilità di una verifica su dati empirici.
Il processo di ancoraggio di un task di valutazione ad un determinato livello di competenza
linguistica è però molto più ampio e articolato. Le tappe di redazione e revisione qualitativa sui
contenuti sono seguite da numerose tappe di pilotaggio e sperimentazione di tipo quantitativo,
finalizzate ad una verifica strutturata della plausibilità del task e dell’assenza di criticità (bias) nel
costrutto e nei contenuti e, infine, di ancoraggio stabile ad un livello di competenza.
Le fasi di validazione statistica su un ampio numero di studenti ci consentiranno di affermare
con più sicurezza che il nostro test è ‘utile’, attraverso il rispetto dei criteri di ‘validità e affidabi-
lità’. « Lors du processus de validation, on parlera d’accumulation convergente de données jusqu’à ce
que l’on soit convaincu du bien-fondé de l’approche choisie » (Doucet P. 2001).
Bilancio e possibili aperture
Siamo agli inizi di un lavoro che si configura come un cantiere operativo dal grande fasci-
no e dalle non poche difficoltà teorico-pratiche, specchio della complessità della didattica della
lingua e della linguistica acquisizionale chiamata a convergere con gli assunti specialistici della
valutazione delle competenze. Dal punto di vista pratico e tecnico, la complessisi manifesta
soprattutto nella realizzazione e gestione di banche dati informatizzate multilingui e di sistemi
tecnopedagogici per la redazione (p.e. tool autore), nella somministrazione in sicurezza di dati
sensibili (quali sono quelli del testing), nel tracciamento e stoccaggio dei risultati. Ancora una
volta il piano tecnopedagogico di implementazione si interseca in modo inequivocabile con le
riflessioni teorico-didattiche sulla lingua e sulla qualità dei contenuti, dando vita ad un vero e
proprio cantiere interdisciplinare. Dal punto di vista politico e istituzionale, come ci ricordano
Gardner e Tardieu, non dimentichiamo l’impatto e gli effetti del testing sulla comunità di stu-
esperienze
10
denti e docenti e sull’istituzione in senso più ampio. «Évaluer, c’est recueillir des données sur les
compétences et les potentiels des individus dans le double objectif de leur en faire retour utilement et
de procurer des informations indispensables à la communauté environnante » (Gardner 1996:114).
La valutazione deve essere prima di tutto utile alla persona e alla comunità di cui fa parte, per
mettere in valore, e non penalizzare, il potenziale racchiuso in ogni individuo, in una prospettiva
di beneficio ampio e condiviso, dunque istituzionale e sociale (Tardieu 2006:234)
NOTE
1 Definizione estrapolata da una comunicazione del docente James Purpura in occasione della prima edizione della Summer School “Lan-
guage Testing and Assessment” organizzata dal ‘Centro Studi sulla Valutazione delle Competenze Linguistiche’ dell’Università di Modena
e Reggio Emilia (giugno 2012).
2 È bene ricordare che ci troviamo infatti in un processo di tipo inferenziale dove l’assegnazione di un giudizio, di un voto, di un livello
si basa sull’interpretazione di un criterio o di una norma, per tappe progressive di osservazione, tendenzialmente di tipo comparativo e
quindi potenzialmente a rischio di arbitrarietà.
3 Se, come noto, tutti questi fattori incidono in modo più o meno diretto sul processo di apprendimento linguistico, allo stesso modo ne
influenzano l’andamento e i risultati della valutazione.
4 Cfr.: http://lansad.u-grenoble3.fr/ (ultima consultazione : 9 gennaio 2014)
5 Cfr. : http://www.innovalangues.fr
6 Cfr.: http://www.certification-cles.fr/ (ultima consultazione 9 gennaio 2014)
7 Con il termine ‘bias’ (ing.) o ‘biais’ (fra.) si intende “une erreur systématique. Un test ou un item peuvent être considérés comme biaisés si un
de leurs attributs se révèle non pertinent par rapport à ce qu’ils sont censés tester et qu’ils avantagent ou désavantagent une partie de candidats.
Le biais est principalement lié au sexe, à l’âge, à la culture etc. des candidats” (Multilingual Glossary of Language Testing Terms, 1998).
8 Definizione di ITEM : « chaque point particulier d’un test auquel on attribue une ou plusieurs notes séparées. Ex.: un blanc dans un test de
closure, une question à choix multiples, etc. » (Manuel ALTE 2011); Definizione di TASK (nel testing) : « Ce qu’un candidat doit faire pour
accomplir une partie du test et qui suppose plus de complexité qu’une réponse à un seul item discret. Le terme concerne en général des performan-
ces de production orale ou écrite ou un ensemble d’items liés entre eux comme par exemple un texte accompagné de questions à choix multiple
auxquelles on peut répondre en suivant une seule consigne » (Manuel ALTE 2011).
9 « L’authenticité situationnelle se réfère à l’exactitude avec laquelle les tâches et les items représentent des activités langagières telles qu’on les trouve
dans la vie quotidienne. L’authenticité interactionnelle se réfère au caractère naturel qu’il peut y avoir dans l’interaction que mène le candidat en
accomplissant une tâche et les processus mentaux qui entrent en jeu » (Manuel ALTE 2011).
10 « Le categorie dei generi sono determinate sulla base di criteri esterni relativi allo scopo del parlante del tema; sono determinate in base all’uso
piuttosto che in base alla forma. […] Distinguo “generi” da “tipologie testuali”: i generi caratterizzano I testi sulla base di criteri esterni, mentre
le tipologie testuali sono costituite da raggruppamenti di testi che presentano similitudini di forma, a prescindere dal genere di appartenenza»
(Biber, 1988:170, traduzione in Parizzi, 2010:59)
11 Citiamo, fra i tanti, il kit di strumenti a supporto del Quadro, consultabile online sul Portale del Consiglio d’Europa -http://www.
coe.int/t/dg4/linguistic/Manuel1_FR.asp - dove troviamo le Grilles d’analyse du contenu du matériel pour la production orale et écrite, la
compréhension de l’oral et de l’écrit, il Manuel pour relier les examens de langues au ‘Cadre européen commun de référence pour les langues
(CECR), il Manuel pour l’élaboration et la passation de tests et d’examens de langues rédigé par ALTE pour l’Unité des Politiques linguistiques
du Conseil de l’Europe.
12 http://www.lanuovaitalia.it/profilo_lingua_italiana/contenuti.html (ultima consultazione 6 gennaio 2014)
13 http://www.englishprofile.org/ (ultima consultazione 6 gennaio 2014)
La valutazione multilingue nel contesto dei dispositivi formativi
11
BIBLIOGRAFIA
Alderson J. C., 2005, Diagnosing foreign language proficiency, Continuum Edition, London.
ALTE, 1998, Multilingual Glossary of Language Testing terms, Cambridge University Press, Cambridge.
Bachman L., 1990, Fundamental considerations in Language Testing, Oxford University Press, Oxford.
Bachman L. F., Palmer A. S., 1996, Language Testing in Practice, Oxford University Press, Oxford.
Beacco J.-C., 2010, “Les méthodologies d’enseignement : le retour”, in Atti del Seminario Nazionale LEND Educazione linguistica e approc-
cio per competenze, a cura di Bonforte A., Messina G., Rizzo C. (Catania, 29/31 ottobre 2009), n. 5/2010.
Benucci A., 2007, Sillabo di italiano per stranieri, Guerra Edizioni, Perugia.
Biber D., 1988, Variation across Speech and Writing, Oxford University Press, Oxford.
Cervini C., Masperi M., Jouannaud M.P., Scanu F., 2103, “Defining, Modeling and Piloting SELF, a New Formative Assessment Test for
Foreign Languages”, in Jozef Colpaert, Mathea Simons, Ann Aerts, Margret Oberhofer (editors), Proceedings, 2013, Language Testing in
Europe: Time for a New Framework?, University of Antwerp, Antwerp.
Chapelle C., 1998, “Construct definition and validity inquiry in SLA research”, in Bachman L. F., Cohen A. D. (edited by), Interfaces
between Second Language acquisition and Language Testing research, Cambridge University Press, Cambridge.
Ciliberti A., 2012, “La verifica formale e la valutazione dell’apprendimento”, in Ciliberti A., Glottodidattica, per una cultura dell’insegna-
mento linguistico, Carocci Editore, Roma.
De Mauro T. et al. 1993, Lessico di frequenza dell’italiano parlato, ETAS libri, Milano.
Doucet P., 2001, “Pour un test utile”, ASp [En ligne], 34 | 2001, mis en ligne le 22 septembre 2010, consulté le 02 janvier 2014. URL :
http://asp.revues.org/1696 ; DOI : 10.4000/asp.1696.
Halliday M., Hasan R., 1976, Cohesion in English, Longman, New York.
Gardner H., 1986, Les intelligences multiples : pour changer l’école : la prise en compte des différentes formes d’intelligence, Rets, Paris.
Kunnan A. J., 2000 (edited by), Fairness and Validation in language assessment, University of Cambridge Local Examinations Syndicate,
Cambridge University Press.
Lavinio C., 2004, Comunicazione e linguaggi disciplinari. Per un’educazione linguistica trasversale, Carocci, Roma.
Lengyel D., 2011, “La valutazione diagnostica delle competenze linguistiche in un contesto multilingue: un processo continuo che favorisce
l’insegnamento e l’apprendimento individualizzato”, Italiano LinguaDue, n. 1.
Liontou T., 2013, “The effect of text and reader variables on reading comprehension: the case of the Greek State Certificate of English
Language Proficiency Exams (KPG). A New Text Difficulty Index for Automatic Text Classification, PHD thesis”, The National and Ka-
podistrian University of Athens, School of Philosophy, Faculty of English Language and Literature, (unpublished).
Lo Duca M. G., 2006, Sillabo di italiano L2. Per studenti universitari in scambio, Carocci Editore, Roma.
Lumbelli L., 1989, Fenomenologia dello scriver chiaro, Editori Riuniti, Roma.
Manuel pour l’élaboration et la passation de tests et d’examens de langues, 2011, ALTE, Conseil de l’Europe, Division des Politiques lin-
guistiques, DG II – Service de l’éducation, Conseil de l’Europe, Strasbourg.
Masperi M., 2013 (sous la coordination de), “Apprendre à s’autoformer en langues : approches créatives et outils numériques”, Les Langues
Modernes n°4/2013, APLV.
McNamara T., 2000, Language Testing, Oxford University Press, Oxford.
Montandon C., 2002, “Approches systémiques des dispositifs pédagogiques : enjeux et methods”, Savoir et Formation, L’Harmattan, Paris.
Parizzi F., 2010, “Il repertorio di generi nel Profilo della lingua italiana”, in Spinelli B., Parizzi F. (a cura di), Profilo della Lingua italiana,
La Nuova Italia, Firenze-Milano.
Porcelli G., 2006, “Verifiche comode e verifiche valide”, in Jafrancesco E. (a cura di), La valutazione delle competenze linguistico-comunicative
in italiano L2, Atti del XIV Convegno nazionale ILSA (4/5 novembre 2005), Edizioni Edilingua, Roma.
Rivens Mompean A., 2013, Le Centre de Ressources en Langues: vers la modélisation du dispositif d’apprentissage, Septentrion Presses Universitaires.
Shoamy E., 1998, “How can language testing and SLA benefit from each other? The case of discourse”, in Bachman L. F., Cohen A. D.
(edited by), Interfaces between Second Language acquisition and Language Testing research, Cambridge University Press, Cambridge.
Sobrero A., 2010, “Competenze e bisogni linguistici dei giovani d’oggi”, in Atti del Seminario Nazionale LEND Educazione linguistica e
approccio per competenze, a cura di Bonforte A., Messina G., Rizzo C. (Catania, 29/31 ottobre 2009), n. 5/2010.
Spinelli B., Parizzi F., 2010, Profilo della Lingua italiana. Livelli di riferimento del QCER A1, A2, B1, B2, La Nuova Italia, Firenze-Milano.
Tardieu C., 2010, Votre B1 est-il mon B1 ?, L’interculturel dans les tests d’évaluation en Europe”, Les Cahiers de l’Acedle, volume 7, numéro
2, Recherches en didactique des langues - Les langues tout au long de la vie.
Tardieu C., 2006, “L’évaluation en langues: quelles perspectives?”, Les Cahiers de l’Acedle, numéro 2, Recherches en didactique des langues,
Colloque Acedle, juin 2005.
Article
Full-text available
In this paper, we grapple with the problem of what it means for a placement test to be communicative or even "action-oriented" (CEFR, 2001). Communicative tasks ("any purposeful action considered by an individual as necessary in order to achieve a given result, an obligation to fulfil or an objective to be achieved", ibid.: 10) are especially difficult to translate into short, self-correcting assessment tasks. We explain how this difficulty was dealt with when we operationalized the construct of a multilingual online formative assessment tool (Self, "Système d'évaluation en langues à visée formative"), using among others the concepts of situational and interactional authenticity (Bachman & Palmer, 1996; 2010). Self is being developed as part of the Innovalangues project at Stendhal University, Grenoble, France (Masperi, 2012).
Article
Full-text available
The issue of language assessment has already been discussed both in terms of types (or function), and modes. Yet new elements need to be taken into account. Our aim here is to establish connections between obvious questions concerning the definition of the term "assessment," and its object, and the possibilities offered by new tools such as the European Language Framework. We will examine in particular how the Framework has improved the language assessment, in a direct or indirect way, through testing devices like Dialang or the DCL. We will also examine two concrete exemples: tandem learning, and the Dutch Framework grid – a tool aimed at helping item conceptors. Finally we will outline future directions for assessment.
Article
Full-text available
The CEFR (Common European Framework of Reference for Languages) has often been considered an ideal tool to compare the results of assessment in different countries of the Council of Europe. This article will deal with the outcomes of a European project showing that this may not be the case. The Ebafls project (Building a European Bank of Anchor Items for Foreign Language Skills) raised the following question: "Is your B1 my B1?" The answer to this question might be that cultural differences also affect the field of assessment.
Article
Il presente studio affronta il problema della valutazione diagnostica delle competenze linguistiche in contesti educativi multilingui, con particolare attenzione ai bisogni dei bambini e degli adolescenti immigrati. Vengono brevemente esposti gli obiettivi, le funzioni e i principi della valutazione diagnostica e della valutazione formativa considerate parte integrante di una educazione linguistica continua che prevede un insegnamento-apprendimento individualizzato. Sul piano teorico le procedure della valutazione diagnostica delle competenze linguistiche in contesti multilingui fanno riferimento all’apprendimento delle lingue inteso come attività socio-culturale. Language diagnostics in multilingual settings with respect to continuous procedures as accompaniment of individualized learning and teaching This study provides an introduction to language diagnostics in multilingual educational settings, with particular reference to the needs of children and adolescents from migrant backgrounds. It summarises the objectives and functions of language diagnostics and the principles that govern diagnostics including formative assessment, considered to be an integral part of continuous language education that emphasises individualised teaching and learning. From a theoretical perspective, diagnostic procedures in multilingual settings treat language learning as a socio-cultural activity.