Investigating the interrelationship between rated L2 proficiency and linguistic complexity in L2 speech

Abstract

This study investigates the relationship between nine quantitative measures of L2 speech complexity and subjectively rated L2 proficiency by comparing the oral productions of English L2 learners at five IELTS proficiency levels. We carry out ANOVAs with pairwise comparisons to identify between which proficiency levels the observed differences are to be situated, as well as ordinal logistic regression modelling, allowing us to combine multiple complexity dimensions in a single analysis. The results show that for eight out of nine measures, targeting syntactic, lexical and morphological complexity, a significant overall effect of proficiency level was found, with measures of lexical diversity (i.e. Guiraud's index and HD-D), overall syntactic complexity (mean length of AS-unit), phrasal elaboration (mean length of noun phrase) and morphological richness (morphological complexity index) showing the strongest association with proficiency level. Three complexity measures emerged as significant predictors in our logistic regression model, each targeting different linguistic dimensions: Guiraud's index, the subordination ratio and the morphological complexity index.

Full text

UNCORRECTED PROOF
0QKL=E PPP PPPP 
Contents lists available at ScienceDirect
0QKL=E
journal homepage: http://ees.elsevier.com
&FN=KLA?9LAF? L@= AFL=JJ=D9LAGFK@AH :=LO==F J9L=< ) HJG\;A=F;Q 9F< DAF?MAKLA;
;GEHD=PALQ AF ) KH==;@
J9E MDLV 9∗ %9FF= /GGL@GG>L :
9CLIN, Vrije Universiteit Brussel, Pleinlaan 2, 1040, Brussel, Belgium
:Universidad Pública de Navarra, Spain
/1& )" &+#,
Article history:
/=;=AN=<  0=HL=E:=J 
/=;=AN=< AF J=NAK=< >GJE  *9J;@ 
;;=HL=<  *9J;@ 
N9AD9:D= GFDAF= PPP
Keywords:
0QFL9;LA; ;GEHD=PALQ
)=PA;9D ;GEHD=PALQ
*GJH@GDG?A;9D ;GEHD=PALQ
-JG\;A=F;Q
0H==;@
&")10
01/ 1
1@AK KLM<Q AFN=KLA?9L=K L@= J=D9LAGFK@AH :=LO==F FAF= IM9FLAL9LAN= E=9KMJ=K G> ) KH==;@ ;GEHD=P
ALQ 9F< KM:B=;LAN=DQ J9L=< ) HJG\;A=F;Q :Q ;GEH9JAF? L@= GJ9D HJG<M;LAGFK G> "F?DAK@ ) D=9JF=JK
9L \N= &")10 HJG\;A=F;Q D=N=DK 4= ;9JJQ GML +,3K OAL@ H9AJOAK= ;GEH9JAKGFK LG A<=FLA>Q <A>
>=J=F;=K :=LO==F HJG\;A=F;Q D=N=DK 9K O=DD 9K GJ<AF9D DG?AKLA; J=?J=KKAGF EG<=DDAF? 9DDGOAF? MK LG
;GE:AF= EMDLAHD= ;GEHD=PALQ <AE=FKAGFK AF 9 KAF?D= 9F9DQKAK 1@= J=KMDLK K@GO L@9L >GJ =A?@L GML
G> FAF= E=9KMJ=K L9J?=LAF? KQFL9;LA; D=PA;9D 9F< EGJH@GDG?A;9D ;GEHD=PALQ 9 KA?FA>A;9FL GN=J9DD
=>>=;L G> HJG\;A=F;Q D=N=D O9K >GMF< OAL@ E=9KMJ=K G> D=PA;9D <AN=JKALQ A= $MAJ9M<K AF<=P 9F<
%!! GN=J9DD KQFL9;LA; ;GEHD=PALQ E=9F D=F?L@ G> 0MFAL H@J9K9D =D9:GJ9LAGF E=9F D=F?L@ G>
FGMF H@J9K= 9F< EGJH@GDG?A;9D JA;@F=KK EGJH@GDG?A;9D ;GEHD=PALQ AF<=P K@GOAF? L@= KLJGF?=KL
9KKG;A9LAGF OAL@ HJG\;A=F;Q D=N=D 1@J== ;GEHD=PALQ E=9KMJ=K =E=J?=< 9K KA?FA>A;9FL HJ=<A;LGJK AF
GMJ DG?AKLA; J=?J=KKAGF EG<=D =9;@ L9J?=LAF? <A>>=J=FL DAF?MAKLA; <AE=FKAGFK $MAJ9M<K AF<=P L@=
KM:GJ<AF9LAGF J9LAG 9F< L@= EGJH@GDG?A;9D ;GEHD=PALQ AF<=P
Z 
1. Introduction
,F= G> L@= E9AF IM=KLAGFK AF K=;GF< D9F?M9?= 9;IMAKALAGF 0) J=K=9J;@ J=D9L=K LG L@= F9LMJ= G> L@= DAF?MAKLA; ;@9F?=K L9CAF?
HD9;= AF L@= K=;GF< D9F?M9?= ) KQKL=E G> L@= D=9JF=JK 9K L@=Q <=N=DGH GJ AF GL@=J OGJ<K 9K L@=Q :=;GE= EGJ= HJG\;A=FL ) HJG<M;
LAGF K9EHD=K ;9F := 9F9DQK=< 9K ;GF;J=L= E9FA>=KL9LAGFK G> O@9L D=9JF=JK 9J= ;9H9:D= G> <GAF? 9L 9 HJ=;AK= HGAFL AF L@=AJ <=N=DGHE=FL
HJGNA<AF? 9 KF9HK@GL G> L@= ;MJJ=FL KL9L= G> L@= EGJ= 9:KLJ9;L MF<=JDQAF? ) KQKL=E O@A;@ ;9FFGL := KLM<A=< <AJ=;LDQ 1@= LQH= G>
=EHAJA;9D =NA<=F;= L@MK ?9L@=J=< AK FGL GFDQ J=D=N9FL >JGE 9 <=K;JAHLAN= HGAFL G> NA=O :ML ;9F 9DKG ;GFLJA:ML= LG L@= >GJEMD9LAGF G>
=PHD9F9LGJQ @QHGL@=K=K J=?9J<AF? K=;GF< D9F?M9?= <=N=DGHE=FL *GJ=GN=J :=AF? 9:D= LG G:B=;LAN=DQ E=9KMJ= HJG?J=KK <=N=DGHE=FL
GJ HJG\;A=F;Q AF 9 K=;GF< D9F?M9?= AK G> HJ9;LA;9D AFL=J=KL FGL GFDQ >GJ 0) J=K=9J;@=JK :ML 9DKG >GJ D9F?M9?= L=KL=JK 9F< =<M;9LAGF9D
HJG>=KKAGF9DK
1@= L9KC G> 9KK=KKAF? ) HJG\;A=F;Q GJ ) <=N=DGHE=FL L@JGM?@ 9F G:B=;LAN= 9F9DQKAK G> ) HJG<M;LAGF <9L9 @9K :==F 9HHJG9;@=<
AF <A>>=J=FL O9QK /=K=9J;@=JK @9N= >GJ =P9EHD= 9LL=EHL=< LG A<=FLA>Q DAF?MAKLA; >=9LMJ=K L@9L 9J= ;@9J9;L=JAKLA; G> ) HJG<M;LAGF 9L
<A>>=J=FL ) HJG\;A=F;Q D=N=DK  E9BGJ =F<=9NGMJ AF L@AK J=KH=;L AK L@= "F?DAK@ -JG\D= HJGB=;L G> O@A;@ GF= G> L@= 9AEK O9K LG E9L;@
<A>>=J=FL D=N=DK G> L@= GEEGF "MJGH=9F #J9E=OGJC G> /=>=J=F;= >GJ D9F?M9?=K  "#/ OAL@ "F?DAK@ D=PA;9D 9F< ?J9EE9LA;9D >=9LMJ=K
%9OCAFK  #ADAHGNA[   KAEAD9JDQ <9L9<JAN=F 9HHJG9;@ AK L9C=F :Q KLM<A=K L@9L 9HHDQ L=;@FAIM=K <=N=DGH=< AF L@= ;GFL=PL G>
A:=J’K  *MDLA<AE=FKAGF9D F9DQKAK LG K=;GF< D9F?M9?= <=N=DGHE=FL <9L9 =? JGKL@O9AL=  #JA?AF9D  4=A?D= 
1@= A<=9 @=J= AK LG N=JA>Q O@A;@ DAF?MAKLA; >=9LMJ=K ;DMKL=J LG?=L@=J 9F< 9HH=9J EGJ= >J=IM=FLDQ AF L@= HJG<M;LAGFK G> EGJ= GJ D=KK
9<N9F;=< D=9JF=JK
,MJ KLM<Q \LK OAL@AF L@= ;GEHD=PALQ9;;MJ9;Q]M=F;Q 9HHJG9;@ LG 9KK=KKAF? ) <=N=DGHE=FL 9F< HJG\;A=F;Q "DDAK  9JC@MAR=F
 %GMK=F (MAC=F  3=<<=J  *A;@=D  1@=K= L@J== ;GFKLJM;LK 9J= ;D9AE=< LG J=HJ=K=FL ;JM;A9D 9P=K 9DGF? O@A;@ D9F
∗ GJJ=KHGF<AF? 9ML@GJ
E-mail addresses: :J9E:MDL=NM::=  MDLV @9FF=JGGL@GG>LMF9N9JJ9=K % /GGL@GG>L
@LLHK<GAGJ?BKQKL=E
Z 

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246
?M9?= D=9JFAF? ;9F := LJ9;=< :Q KLM<QAF? ) HJG<M;LAGFK 4@AD= >DM=F;Q 9F< 9;;MJ9;Q <=9D OAL@ H@=FGE=F9 KM;@ 9K KH==< 9F< ;GJJ=;L
F=KK;GEHD=PALQ ?=F=J9DDQ KH=9CAF? >G;MK=K GF 9KH=;LK KM;@ 9K L@= J9F?= 9F< <AN=JKALQ G> DAF?MAKLA; >GJEK L@9L 9HH=9J AF 9 D=9JF=JK
HJG<M;LAGF MDLV  %GMK=F  ,JL=?9  &F L@= HJ=K=FL KLM<Q O= >G;MK GF ) ;GEHD=PALQ K O= OADD <AK;MKK :=DGO ;GEHD=P
ALQ @9K :==F AFL=JHJ=L=< AF 9 FME:=J G> <A>>=J=FL O9QK AF L@= 0) DAL=J9LMJ= 4= 9<@=J= LG 9 F9JJGO >GJE9D <=>AFALAGF G> ;GEHD=PALQ
O@A;@ <G=K FGL E9C= J=>=J=F;= LG KM:B=;LAN= FGLAGFK KM;@ 9K <A>\;MDLQ GJ =EHAJA;9D G:K=JN9LAGFK G> ) <=N=DGHE=FL
 ;GFKA<=J9:D= FME:=J G> KLM<A=K @9N= 9F9DQK=< L@= J=D9LAGFK@AH :=LO==F ) OJALAF? ;GEHD=PALQ 9F< HJG\;A=F;Q K== =? ,JL=?9
 9F< 4GD>=.MAFL=JG &F9?9CA  (AE  >GJ J=K=9J;@ KQFL@=K=K 9F< ::9K (@MK@AC  %M@L9  $QDDKL9< $J9F>=D<L =JF9J
<AFA  (UDDCNAKL  )M  3=JKHGGJ 0;@EA<  5M  69F? )M  4=A?D=  6GGF  >GJ J=;=FL KLM<A=K %GO=N=J
O= ;9FFGL 9KKME= L@9L \F<AF?K >JGE OJALAF? J=K=9J;@ ;9F := ?=F=J9DAK=< LG GJ9D HJG\;A=F;Q 9K L@=J= L=F< LG := AEHGJL9FL <A>>=J
=F;=K :=LO==F L@= OJALL=F 9F< GJ9D EG<= A:=J $J9Q  0L9HD=K  #GJ AFKL9F;= AF 9 J=;=FL KLM<Q :Q 39KQD=LK $AD9:=JL 9F<
*9F;@XF  D=9JF=JK O@G H=J>GJE=< L@= K9E= NA<=GJ=L=DDAF? L9KC AF L@= OJALL=F 9F< GJ9D EG<= MK=< KQFL9;LA;9DDQ 9F< D=PA;9DDQ
EGJ= ;GEHD=P D9F?M9?= AF OJALAF? GEH9J=< LG L@= OGJC GF OJALL=F D9F?M9?= L@=J= 9J= J=D9LAN=DQ >=O KLM<A=K O@A;@ @9N= 9F9DQK=<
;GEHD=PALQ 9L <A>>=J=FL D=N=DK G> GJ9D HJG\;A=F;Q K== DAL=J9LMJ= J=NA=O *GJ=GN=J L@=K= KLM<A=K L=F< LG >G;MK GF GF= DAF?MAKLA; <G
E9AF GFDQ A= =AL@=J KQFL9P GJ NG;9:MD9JQ OAL@ GFDQ 9 >=O G> L@=E L9J?=LAF? EGJH@GDG?A;9D ;GEHD=PALQ GEHD=PALQ E=9KMJ=K 9J=
LQHA;9DDQ ;GFKA<=J=< AF AKGD9LAGF 9F< L@= KLM<A=K G>L=F <G FGL HJGNA<= <=L9AD=< AF>GJE9LAGF 9:GML O@A;@ E=9KMJ=K ;GJJ=D9L= OAL@ GJ
<AKLAF?MAK@ :=LO==F HJG\;A=F;Q D=N=DK 1G 9<<J=KK L@=K= ?9HK AF HJ=NAGMK J=K=9J;@ L@= 9AE G> L@AK KLM<Q AK LG >MJL@=J AFN=KLA?9L= L@=
=EHAJA;9D ;GFF=;LAGF :=LO==F >GJE9D ;GEHD=PALQ 9F< ) HJG\;A=F;Q :Q =P9EAFAF? O@=L@=J IM9FLAL9LAN= E=9KMJ=K G> KQFL9;LA; D=PA;9D
9F< EGJH@GDG?A;9D ;GEHD=PALQ 9HHDA=< LG ) GJ9D HJG<M;LAGF <9L9 ;9F <AK;JAEAF9L= :=LO==F D=9JF=JK L@9L @9N= :==F HD9;=< 9L <A>>=J=FL
D=N=DK G> L@= &")10 "F?DAK@ KH=9CAF? L=KL 4= 9DKG L=KL O@A;@ ;GE:AF9LAGF G> ;GEHD=PALQ E=9KMJ=K :=KL ;GJJ=D9L=K OAL@ HJG\;A=F;Q
,MJ KLM<Q AK ;JGKKK=;LAGF9D AF F9LMJ= 9F< L@=J=>GJ= <G=K FGL AFN=KLA?9L= ) <=N=DGHE=FL 9K KM;@ MFDAC= 9 FME:=J G> J=;=FL KLM<A=K
L@9L @9N= :==F ;GF<M;L=< AF 9 ;GEHD=P<QF9EA; KQKL=EK L@=GJQ >J9E=OGJC MDLV  %GMK=F  0HG=DE9F  3=JKHGGJ  3Q
9LCAF9 %AJK;@E9FF  $GD;@=J  ,MJ 9AE J9L@=J AK LG ;9HLMJ= ) <=N=DGHE=FL AF :JG9< KLJGC=K :Q DGGCAF? 9L KAEAD9JALA=K 9F<
<A>>=J=F;=K AF L@= ) HJG<M;LAGFK G> D=9JF=JK 9L <A>>=J=FL :JG9<DQ <=\F=< HJG\;A=F;Q D=N=DK K== 3=JKHGGJ =L 9D 
2. Literature review
2.1. L2 complexity
1@= L=JE ;GEHD=PALQ @9K L9C=F GF 9 FME:=J G> ;DGK=DQ J=D9L=< E=9FAF?K AF L@= ;GFL=PL G> 0) J=K=9J;@ O@A;@ @9K D=< LG KGE=
L=JEAFGDG?A;9D ;GF>MKAGF MDLV  %GMK=F   ,JL=?9  -9DDGLLA   #GJ =P9EHD= "DDAK 9F< 9JC@MAR=F 
<=\F= ;GEHD=PALQ 9K L@= “MK= G> EGJ= ;@9DD=F?AF? 9F< <A>\;MDL D9F?M9?=”"DDAK  9JC@MAR=F  H  O@AD= A:=J $J9Q 9F<
-GGFHGF  J=>=J LG “L@= EGJ= 9<N9F;=< ?J9EE9LA;9D KLJM;LMJ=K L@9L KLM<=FLK =P@A:AL 9K L@=Q HJG?J=KK AF L@=AJ D9F?M9?= HJG\
;A=F;A=K”H  4@=J=9K L@= \JKL <=>AFALAGF =IM9L=K ;GEHD=PALQ OAL@ <A>\;MDLQ 9 KM:B=;LAN= FGLAGF J=D9L=< LG ;G?FALAN= HJG;=KKAF? L@=
K=;GF< <=\F=K ;GEHD=PALQ AF L=JEK G> =EHAJA;9D G:K=JN9LAGFK G> L@= ) HJG<M;LAGF G> D=9JF=JK OAL@ <A>>=J=FL D=N=DK G> HJG\;A=F;Q &F
L@AK 9JLA;D= O= 9<@=J= LG 9 >GJE9D G:B=;LAN= 9F< MDLAE9L=DQ IM9FLAL9LAN= <=>AFALAGF G> ;GEHD=PALQ 4= <=\F= ;GEHD=PALQ AF L=JEK G> L@=
FME:=J 9F< <AN=JKALQ G> =D=E=FLK L@9L 9 KLJM;LMJ= GJ 9 KQKL=E ;GEHJAK=K 9K O=DD 9K L@= FME:=J G> @A=J9J;@A;9D J=D9LAGFK@AHK :=LO==F
L@=K= =D=E=FLK MDLV  %GMK=F  -9DDGLLA  /=K;@=J  !=\F=< AF L@AK O9Q ;GEHD=PALQ E9FA>=KLK ALK=D> AF ) HJG<M;LAGF
AF >GJ =P9EHD= L@= FME:=J J9F?= 9F< <AN=JKALQ G> D=PA;9D AL=EK KQFL9;LA; KLJM;LMJ=K 9F< ?J9EE9LA;9D EGJH@=E=K L@= D=F?L@ GJ ;GE
HGKALAGF9DALQ G> L@=K= AL=EK 9F< KLJM;LMJ=K 9F< L@= <=?J== G> =E:=<<AF? GJ L@= FME:=J G> <=H=F<=F;Q J=D9LAGFK@AHK :=LO==F L@=E
2.2. Operationalising L2 pro>ciency
1@= FGLAGF G> ) HJG\;A=F;Q @9K 9DKG :==F AFL=JHJ=L=< AF <A>>=J=FL O9QK AF ) J=K=9J;@ JG9<DQ KH=9CAF? HJG\;A=F;Q ;9F := <=
\F=< 9K L@= GN=J9DD D=N=D G> <=N=DGHE=FL G> 9F ) D=9JF=J E=9FAF? @GO O=DD L@= D=9JF=J CFGOK 9 D9F?M9?= GJ @GO O=DD K@= AK 9:D=
LG MK= L@= D9F?M9?= AF <AN=JK= ;GEEMFA;9LAN= KALM9LAGFK )=;D=J;I "<EGF<K  %ADLGF  K== %MDKLABF  >GJ 9 L@GJGM?@ <AK;MK
KAGF G> @GO LG <=\F= ) HJG\;A=F;Q 2KM9DDQ HJG\;A=F;Q AK <=\F=< J9L@=J DGGK=DQ GJ =N=F AEHDA;ALDQ 9F< ALK GH=J9LAGF9DAK9LAGF <A>>=JK
?J=9LDQ 9;JGKK ) KLM<A=K ,JL=?9  1@GE9K  1@AK AK 9DKG L@= ;9K= >GJ KLM<A=K L@9L @9N= AFN=KLA?9L=< L@= DAF?MAKLA; >=9LMJ=K
L@9L ;GJJ=D9L= OAL@ GJ <AKLAF?MAK@ :=LO==F ) HJG\;A=F;Q D=N=DK  FME:=J G> KLM<A=K @9N= L9C=F KLM<=FLK’;GMJK= D=N=D 9K 9 E=9KMJ= G>
L@=AJ HJG\;A=F;Q =? )M  O@AD= GL@=JK MK= @GDAKLA; J9LAF? K;9D=K =AL@=J <=KA?F=< :Q J=K=9J;@=JK  GFFGJ)AFLGF  -GDAG 
GJ MK=< AF KL9F<9J<AK=< D9F?M9?= L=KLK KM;@ 9K 1,"#) &O9K@AL9 JGOF *;+9E9J9  ,’%9?9F  GJ &")10 /=9<  +9LAGF 
0==<@GMK= %9JJAK +9=:  SKLYF=D   FME:=J G> KLM<A=K @9N= 9DKG GH=J9LAGF9DAK=< HJG\;A=F;Q AF L=JEK G> "#/ D=N=DK ::9K
(@MK@AC  %M@L9  $QDDKL9< =L 9D  &F 9 E=L99F9DQKAK G> ) OJALAF? KLM<A=K ,JL=?9  G:K=JN=< L@9L HJG\;A=F;Q D=N=DK
:9K=< GF @GDAKLA; J9LAF? QA=D<=< EGJ= @GEG?=F=GMK K9EHD=K L@9F L@GK= :9K=< GF HJG?J9EE= D=N=D
2.3. L2 speech complexity and L2 pro>ciency
 ;GFKA<=J9:D= FME:=J G> KLM<A=K AFN=KLA?9L=< L@= J=D9LAGFK@AH :=LO==F ) HJG\;A=F;Q 9F< ) OJALAF? ;GEHD=PALQ :ML >GJ L@= HMJ
HGK= G> GMJ KLM<Q O= 9J= E9AFDQ AFL=J=KL=< AF KLM<A=K L9J?=LAF? ) KH==;@ "N=F L@GM?@ KGE= KLM<A=K @9N= AFN=KLA?9L=< ;GEHD=PALQ

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246 
AF D9F?M9?=K GL@=J L@9F "F?DAK@ KM;@ 9K ) '9H9F=K= &O9K@AL9  ) $=JE9F +=9JQ0MF<IMAKL  9F< ) #J=F;@ != D=J;I
 != D=J;I  %GMK=F   L@= >G;MK AF L@AK KLM<Q AK GF ) "F?DAK@ 9K @9K :==F L@= ;9K= >GJ EGKL KLM<A=K KG >9J 19:D=
 HJGNA<=K 9F GN=JNA=O G> FAF= KLM<A=K L@9L @9N= AFN=KLA?9L=< L@= J=D9LAGFK@AH :=LO==F ;GEHD=PALQ 9F< GJ9D HJG\;A=F;Q >GJ "F?DAK@
9K 9 K=;GF< GJ >GJ=A?F D9F?M9?= AF<A;9LAF? L@= FME:=J G> H9JLA;AH9FLK H=J KLM<Q 9K O=DD 9K L@= FME:=J 9F< J9F?= G> HJG\;A=F;Q D=N
=DK 9F< L@= O9Q AF O@A;@ HJG\;A=F;Q 9F< ;GEHD=PALQ 9J= GH=J9LAGF9DAK=<K ;9F := K==F AF 19:D=  L@= \JKL L@J== KLM<A=K >G;MK=<
=P;DMKAN=DQ GF D=PA;9D ;GEHD=PALQ L@J== KLM<A=K AFN=KLA?9L=< KQFL9;LA; ;GEHD=PALQ LOG KLM<A=K AF;DM<=< E=9KMJ=K G> :GL@ D=PA;9D 9F<
KQFL9;LA; ;GEHD=PALQ 9F< GFDQ GF= KLM<Q DGGC=< 9L EGJH@GDG?A;9D ;GEHD=PALQ
1@= \JKL 9JLA;D= 9<<J=KKAF? L@= J=D9LAGFK@AH :=LO==F GJ9D HJG\;A=F;Q 9F< D=PA;9D ;GEHD=PALQ J=HGJLK GF 9 ;GEH9JAKGF :=LO==F "F?
DAK@ 9F< #J=F;@ 9K 9 >GJ=A?F D9F?M9?= AF KHGC=F <9L9 ?9L@=J=< >JGE  K=;GF<9JQ K;@GGD D=9JF=JK OAL@ ) !ML;@ != D=J;I 
1@= L=PLK O=J= <ANA<=< AFLG >GMJ HJG\;A=F;Q D=N=DK :9K=< GF L@= D=9JF=JK 9?= 9F< L@=AJ D=N=D G> DAF?MAKLA; 9;;MJ9;Q AF L@= ) != D=J;I
 KLM<A=< L@= <=N=DGHE=FL G> D=PA;9D ;GEHD=PALQ AF L@=K= >GMJ D=N=DK 9F< @= ;GF;DM<=< L@9L L@= E=9KMJ=K G> D=PA;9D <AN=JKALQ !
$MAJ9M<K AF<=P O=J= :=KL 9:D= LG <AKLAF?MAK@ :=LO==F HJG\;A=F;Q D=N=DK GL@ ! 9F< $MAJ9M<K AF<=P O=J= 9:D= LG <A>>=J=FLA9L= :=
LO==F 9<B9;=FL D=N=DK  9F<  9F<  9F<  :ML FG <A>>=J=F;=K O=J= >GMF< :=LO==F D=N=DK  9F<  A= L@= LOG @A?@=KL D=N=DK
)M  9F9DQK=< L@J== LQH=K G> D=PA;9D ;GEHD=PALQ MKAF? 9 OA<= J9F?= G> E=9KMJ=K >GJ =9;@ AF  GJ9D F9JJ9LAN=K H=J>GJE=< :Q
@AF=K= ;GDD=?=D=N=D D=9JF=JK G> "F?DAK@ O@G O=J= J9L=< GF 9 @GDAKLA; JM:JA; 9F< ?JGMH=< AFLG >GMJ HJG\;A=F;Q D=N=DK 1@= 9ML@GJ MK=<
;GEHML=J:9K=< 9F9DQK=K LG ;9D;MD9L= E=9KMJ=K G> D=PA;9D <=FKALQ D=PA;9D KGH@AKLA;9LAGF 9F< D=PA;9D N9JA9LAGF ,FDQ D=PA;9D N9JA9LAGF
9HH=9J=< LG := 9 ?GG< HJ=<A;LGJ G> HJG\;A=F;Q O@A;@ AK AF DAF= OAL@ != D=J;I’K  \F<AF?K "N=F L@GM?@ )M  H=J>GJE=<
+,3K LG AFN=KLA?9L= O@=L@=J E=9KMJ=K QA=D<=< KA?FA>A;9FL <A>>=J=F;=K :=LO==F D=N=DK L@= 9ML@GJ <A< FGL ;9JJQ GML HGKL@G; 9F9DQK=K
LG \F< GML O@=J= L@= <A>>=J=F;=K O=J= DG;9L=<
,> L@= LOG KLM<A=K L@9L DGGC=< 9L ;GEHD=PALQ 9F< GJ9D HJG\;A=F;Q MKAF? <9L9 >JGE L@= &")10 KH=9CAF? L=KL GF= >G;MK=< GF D=PA;9D
;GEHD=PALQ /=9< 9F< +9LAGF  ;9D;MD9L=< L@= GN=J9DD FME:=J G> LGC=FK 9F< LQH=K D=PA;9D N9JA9LAGF ! 9F< D=PA;9D KGH@AKLA;9LAGF
D9E:<9 >GJ  K9EHD=K J9F?AF? >JGE :9F<  LG :9F<  &F ?=F=J9D L@= FME:=J G> OGJ<K HJG<M;=< D=PA;9D N9JA9LAGF 9F< L@= FME:=J
G> AF>J=IM=FL GJ KGH@AKLA;9L=< OGJ<K AF;J=9K=< ?J9<M9DDQ >JGE :9F<K  LG  :ML L@=J= O9K 9 DGL G> N9JA9LAGF OAL@AF =9;@ D=N=D 9F<
L@= 9ML@GJK <A< FGL H=J>GJE KL9LAKLA;9D L=KLK LG 9K;=JL9AF A> L@=K= <A>>=J=F;=K O=J= KA?FA>A;9FL GJ @GO O=DD L@= ;@GK=F E=9KMJ=K ;GMD<
<AKLAF?MAK@ :=LO==F D=N=DK
4AL@ J=?9J< LG KQFL9;LA; ;GEHD=PALQ != D=J;I 9F< %GMK=F  9F9DQK=< L@= K9E= <9L9K=L 9K != D=J;I  9F< >GMF< L@9L
D=F?L@ G> 0MFAL 9F< ;D9MK=K H=J 0MFAL O=J= L@= E=9KMJ=K L@9L EGKL ;D=9JDQ <AKLAF?MAK@=< :=LO==F HJG\;A=F;Q D=N=DK O@AD= LOG G>
L@= <AN=JKALQ E=9KMJ=K 9DKG QA=D<=< KA?FA>A;9FL <A>>=J=F;=K :=LO==F D=N=DK A= 0MFAL <AN=JKALQ 9F< 0QFL9;LA; !AN=JKALQ &F<=P
$9F  9DKG 9F9DQK=< \N= E=9KMJ=K G> KQFL9;LA; ;GEHD=PALQ AF LOG <A>>=J=FL GJ9D =P9E L9KCK L@9L O=J= H9JL G> 9 F9LAGF9D "F?DAK@
L=KL AF %GF? (GF? 0LM<=FLK @9< LG H=J>GJE 9 EGFGDG?M= 9F< 9 ?JGMH <AK;MKKAGF O@A;@ O=J= J9L=< :Q L@=AJ L=9;@=J :9K=< GF 9F9DQLA;9D
K;9D=K J=KMDLAF? AF KAP HJG\;A=F;Q D=N=DK 1@= GFDQ E=9KMJ= L@9L ;GJJ=D9L=< KA?FA>A;9FLDQ OAL@ L@= ?DG:9D L=KL K;GJ=K O9K E=9F D=F?L@ G>
MLL=J9F;=
1@= GFDQ KLM<Q LG L@= :=KL G> GMJ CFGOD=<?= O@A;@ @9K AFN=KLA?9L=< KQFL9;LA; ;GEHD=PALQ 9L <A>>=J=FL D=N=DK G> L@= &")10 KH=9CAF?
L=KL AK 0==<@GMK= =L 9D  1@=K= 9ML@GJK GFDQ MK=< LOG E=9KMJ=K G> KQFL9;LA; ;GEHD=PALQ :GL@ L9J?=LAF? ;D9MK=DAFCAF? :Q E=9FK
G> KM:GJ<AF9LAGF MFALK H=J 0MFAL 9F< MFALK H=J LGL9D FME:=J G> OGJ<K #GKL=J 1GFCQF 9F< 4A??D=KOGJL@  H <=\F=
MFALK 9K “KM:GJ<AF9L= ;D9MK=K O@A;@ @9N= 9L D=9KL 9 \FAL= GJ FGF\FAL= N=J: =D=E=FL HDMK 9L D=9KL GF= GL@=J ;D9MK= =D=E=FL KM;@ 9K
KM:B=;L G:B=;L ;GEHD=E=FL GJ 9<N=J:A9D” GL@ E=9KMJ=K ?9N= JAK= LG KL9LAKLA;9DDQ KA?FA>A;9FL <A>>=J=F;=K :=LO==F :9F<K :ML FG AF>GJ
E9LAGF AK AF;DM<=< 9:GML O@=J= L@= <A>>=J=F;=K 9J= DG;9L=<
&O9K@AL9 =L 9D  KLM<A=< 9 FME:=J G> E=9KMJ=K G> 9;;MJ9;Q ]M=F;Q 9F< ;GEHD=PALQ AF \N= <A>>=J=FL D=N=DK G> L@= 1,"#)
A1 KH=9CAF? L=KL 1@= ;GEHD=PALQ E=LJA;K O=J= E9AFDQ KQFL9;LA; E=9KMJ=K =N=F L@GM?@ GF= E=9KMJ= G> D=PA;9D ;GEHD=PALQ O9K 9DKG
AF;DM<=< #GJ KQFL9;LA; ;GEHD=PALQ KA?FA>A;9FL <A>>=J=F;=K :=LO==F D=N=DK O=J= GFDQ G:K=JN=< >GJ N=J: H@J9K=K H=J 1MFAL 9F< E=9F
D=F?L@ G> MLL=J9F;= 4AL@ J=?9J< LG D=PA;9D ;GEHD=PALQ L@= FME:=J G> LQH=K 9F< LGC=FK KA?FA>A;9FLDQ AF;J=9K=< >JGE D=N=D  LG D=N=D
 %GO=N=J FG AF>GJE9LAGF AK HJGNA<=< 9:GML O@=J= =P9;LDQ L@= <A>>=J=F;=K DA= 9F< O@=L@=J GJ FGL L@=K= E=9KMJ=K ;9F <AK;JAEAF9L=
:=LO==F 9<B9;=FL D=N=DK
(9F?  AFN=KLA?9L=< O@A;@ >=9LMJ=K ;GMD< <AKLAF?MAK@ :=LO==F <A>>=J=FL D=N=DK G> L@= 9E:JA<?= "F?DAK@ KH=9CAF? L=KLK  LG
 >G;MKAF? GF ]M=F;Q HJGFMF;A9LAGF 9F< ?J9EE9LA;9D 9F< D=PA;9D ;GEHD=PALQ #GJ D=PA;9D ;GEHD=PALQ KA?FA>A;9FL <A>>=J=F;=K :=
LO==F D=N=DK O=J= >GMF< >GJ L@= LQH=LGC=F J9LAG =N=F L@GM?@ L@= AF;J=9K= O9K FGL DAF=9J >JGE L@= DGO=KL LG L@= @A?@=KL D=N=D #GJ
L@= D=PA;9D E=9KMJ=K <A>>=J=F;=K O=J= E9AFDQ DG;9L=< :=LO==F  9F<  9F< :=LO==F  9F<  :ML FGL :=LO==F  9F<  DD
E=9KMJ=K G> KQFL9;LA; ;GEHD=PALQ MF<=J AFN=KLA?9LAGF =P;=HL L@= FME:=J G> 1MFALK ?9N= JAK= LG KA?FA>A;9FL <A>>=J=F;=K OAL@ KQFL9;LA;
;GEHD=PALQ AF;J=9KAF? >JGE L@=  LG L@=  D=N=D *GJ=GN=J LGL9D FME:=J G> ;D9MK=K LGL9D FME:=J G> <=H=F<=FL ;D9MK=K 9F< ;D9MK=K
H=J 1MFAL O=J= >GMF< LG <AKLAF?MAK@ :=LO==F   9F< 
#AF9DDQ O= GFDQ >GMF< GF= KLM<Q L@9L AFN=KLA?9L=< L@= J=D9LAGFK@AH :=LO==F EGJH@GDG?A;9D ;GEHD=PALQ 9F< GJ9D HJG\;A=F;Q !=
D=J;I 9F< %GMK=F  O@G 9F9DQK=< L@J== E=9KMJ=K G> EGJH@GDG?A;9D ;GEHD=PALQ AF L@= K9E= GJ9D F9JJ9LAN=K L@9L O=J= MK=< :Q
!= D=J;I  9F< != D=J;I 9F< %GMK=F  1@= E=9KMJ=K 9F9DQK=< O=J= LQH=K H=J >9EADQ %GJKL  GDDAFK 
1@= KLM<A=K :Q != D=J;I  9F< != D=J;I 9F< %GMK=F   ;GEH9J= ;GEHD=PALQ AF "F?DAK@ 9F< #J=F;@ EGFGDG?M=K H=J>GJE=< :Q L@= K9E= D=9JF=JK
:ML >GJ L@= HJ=K=FL KLM<Q O= E9AFDQ >G;MK GF L@= J=KMDLK >GJ "F?DAK@

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246
Table 1
(=Q ;@9J9;L=JAKLA;K G> FAF= KLM<A=K AFN=KLA?9LAF? L@= J=D9LAGFK@AH :=LO==F ) KH==;@ ;GEHD=PALQ 9F< ) HJG\;A=F;Q
0LM<Q )=9JF=JK
+ME:=JG>
HJG\;A=F;QD=N=DK /9F?=G>HJG\;A=F;QD=N=DK -JG\;A=F;Q9KK=KKE=FL GEHD=PALQE=9KMJ=K
!= D=J;I   =?AFF=J9<N9F;=< ?=9F<9;;MJ9;Q  )=PA;9DN9JA9LAGF!
$MAJ9M<KAF<=P>GJFGMFK
9F<N=J:K
4GJ<>J=IM=F;Q9F<J=9;
LAGFLAE=
)=P=EA;<=FKALQ
 GDDG;9LAGF9D<=FKALQ
)M   $=F=J9DD9:=DKGFDQ“>9AD”“H9KK”
“?GG<”“=P;=DD=FL”
%GDAKLA;JM:JA;  )=PA;9D<=FKALQ
D=PA;9DKGH@AKLA;9LAGF
E=9KMJ=K
D=PA;9DN9JA9LAGFE=9
KMJ=K
/=9<9F<+9LAGF

  9F<LG:9F< &")10  LGC=FK
LQH=K
)=PA;9DN9JA9LAGF!
)=PA;9DKGH@AKLA;9LAGF
D9E:<9
!= D=J;I9F<
%GMK=F
  =?AFF=J9<N9F;=< ?=9F<9;;MJ9;Q  *=9FD=F?L@G>FGMF
H@J9K=;D9MK=0MFAL
 D9MK=KH=J0MFAL
0QFL9;LA;<AN=JKALQ
$9F   +GAF>GJE9LAGF %GF?(GF?F9LAGF9D
"F?DAK@L=KLK;GJ=K
*=9FD=F?L@G>1MFAL
 D9MK=KH=J1MFAL
!=H=F<=FL;D9MK=KH=J
;D9MK=
3=J:H@J9K=KH=J1MFAL
*=9FD=F?L@G>MLL=J9F;=
0==<@GMK==L9D

  9F<LG:9F< &")10  MFALKH=J0MFAL
MFALKH=JLGL9DFME:=J
G>OGJ<K
&O9K@AL9=L9D

  +GAF>GJE9LAGF 1,"#)A1K;GJ=K  D9MK=KH=J1MFAL
!=H=F<=FL;D9MK=KH=J
;D9MK=
3=J:H@J9K=KH=J1MFAL
*=9FD=F?L@G>MLL=J9F;=
LGC=FK
LQH=K
Table 1 Continued
0LM<Q )=9JF=JK
+ME:=JG>
HJG\;A=F;QD=N=DK /9F?=G>HJG\;A=F;QD=N=DK -JG\;A=F;Q9KK=KKE=FL GEHD=PALQE=9KMJ=K
(9F?   LG  9E:JA<?="F?DAK@  1QH=LGC=FJ9LAG
)=PA;9D<=FKALQ
)=PA;9DKGH@AKLA;9LAGF
1MFALK;D9MK=K<=H=F
<=FL;D9MK=K
 D9MK=KH=J1MFAL
!= D=J;I9F<
%GMK=F
  =?AFF=J9<N9F;=< ?=9F<9;;MJ9;Q  1QH=KH=J>9EADQ
&F]=;LAGF9D<AN=JKALQ
*GJH@GDG?A;9D;GEHD=PALQ
AF<=P
*9DN=JF @AH=J= /A;@9J<K 9F< !MJTFK  &F]=;LAGF9D !AN=JKALQ 9F< -9DDGLLA’K  *GJH@GDG?A;9D GEHD=PALQ &F<=P #GJ L@=
"F?DAK@ <9L9 L@=K= E=9KMJ=K ;GMD< GFDQ <AK;JAEAF9L= :=LO==F L@= DGO=KL D=N=D GF L@= GF= @9F< 9F< L@= L@J== @A?@=KL D=N=DK GF L@=
GL@=J
&F ;GF;DMKAGF L@= KLM<A=K G> L@= J=D9LAGFK@AH :=LO==F ) HJG\;A=F;Q 9F< ) KH=9CAF? ;GEHD=PALQ J=NA=O=< @=J= HJGNA<= 9 JA;@
9F< N9JA=< HA;LMJ= L@9L AK FGL =9KADQ KMEE9JAK=< <M= LG <A>>=J=F;=K AF J=K=9J;@ <=KA?F J=D9LAF? LG L@= GH=J9LAGF9DAK9LAGF G> :GL@ ;GE
HD=PALQ 9F< HJG\;A=F;Q L@= K9EHD= G> ) D=9JF=JK 9F9DQK=< 9F< L@= KL9LAKLA;9D 9F9DQK=K &F KHAL= G> L@=K= E=L@G<GDG?A;9D <A>>=J=F;=K
9 FME:=J G> LJ=F<K ;9F := <AKLADD=< >JGE L@= KLM<A=K <AK;MKK=< 9:GN= 4AL@ J=?9J< LG D=PA;9D ;GEHD=PALQ E=9KMJ=K G> D=PA;9D <AN=JKALQ
$MAJ9M<K AF<=P 9F< ! AF H9JLA;MD9J 9HH=9J LG := :=KL 9:D= LG <AKLAF?MAK@ :=LO==F HJG\;A=F;Q D=N=DK 9F< HGL=FLA9DDQ 9DKG :=LO==F
9<B9;=FL D=N=DK L L@= D=N=D G> KQFL9;LA; ;GEHD=PALQ =KH=;A9DDQ L@GK= E=9KMJ=K L9J?=LAF? L@= 9N=J9?= D=F?L@ G> KMHJ9;D9MK9D MFALK A=
1MFALK 0MFALK GJ MLL=J9F;=K 9F< L@GK= L9HHAF? AFLG ;D9MK9D KM:GJ<AF9LAGF =? ;D9MK=K H=J 0MFAL GJ 1MFAL @9N= :==F K@GOF LG
AF;J=9K= OAL@ AF;J=9KAF? HJG\;A=F;Q 1@= GFDQ =NA<=F;= J=?9J<AF? EGJH@GDG?A;9D ;GEHD=PALQ K==EK LG KM??=KL L@9L E=9KMJ=K L9J?=LAF?
L@AK 9KH=;L G> ;GEHD=PALQ 9J= GFDQ 9:D= LG <AKLAF?MAK@ :=LO==F D=9JF=JK 9L DGO HJG\;A=F;Q D=N=DK AF ) "F?DAK@

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246 
3. Research questions
"N=F L@GM?@ 9 FME:=J G> KLM<A=K @9N= AFN=KLA?9L=< L@= J=D9LAGFK@AH :=LO==F ;GEHD=PALQ 9F< GJ9D HJG\;A=F;Q AF ) "F?DAK@ O= @9N=
K==F L@9L EGKL G> L@=K= KLM<A=K L=F< LG >G;MK =AL@=J GF D=PA;9D ;GEHD=PALQ GJ KQFL9;LA; ;GEHD=PALQ 9F< GFDQ GF= KLM<Q @9K AFN=KLA?9L=<
EGJH@GDG?A;9D ;GEHD=PALQ #=O KLM<A=K @9N= 9DKG HJGNA<=< AF>GJE9LAGF 9:GML O@A;@ E=9KMJ=K <AKLAF?MAK@ :=LO==F O@A;@ HJG\;A=F;Q
D=N=DK GJ O@A;@ ;GE:AF9LAGF G> E=9KMJ=K :=KL HJ=<A;LK HJG\;A=F;Q 1@= HJ=K=FL KLM<Q K==CK LG 9<<J=KK L@AK ?9H :Q 9F9DQKAF? 9 J9F?=
G> KQFL9;LA; D=PA;9D 9F< EGJH@GDG?A;9D ;GEHD=PALQ E=9KMJ=K 9L \N= <A>>=J=FL HJG\;A=F;Q D=N=DK AFN=KLA?9LAF? O@A;@ E=9KMJ=K :=KL <AK
;JAEAF9L= :=LO==F HJG\;A=F;Q D=N=DK 9F< O@A;@ ;GE:AF9LAGF G> KQFL9;LA; D=PA;9D 9F< EGJH@GDG?A;9D E=9KMJ=K ;9F := MK=< LG HJ=<A;L
HJG\;A=F;Q D=N=D
1@MK L@= HJ=K=FL KLM<Q 9<<J=KK=K L@= >GDDGOAF? :JG9< J=K=9J;@ IM=KLAGFK
 9F E=9KMJ=K G> D=PA;9D KQFL9;LA; 9F< EGJH@GDG?A;9D ;GEHD=PALQ 9HHDA=< LG GJ9D ) "F?DAK@ HJG<M;LAGFK <AK;JAEAF9L= :=LO==F D=9JF
=JK 9L <A>>=J=FL ) HJG\;A=F;Q D=N=DK
9 4@A;@ E=9KMJ=K 9J= :=KL 9:D= LG <AK;JAEAF9L= :=LO==F HJG\;A=F;Q D=N=DK
: =LO==F O@A;@ KH=;A\; HJG\;A=F;Q D=N=DK 9J= L@= <A>>=J=F;=K KALM9L=<
 !G E=9KMJ=K G> D=PA;9D KQFL9;LA; 9F< EGJH@GDG?A;9D ;GEHD=PALQ ;GJJ=D9L= OAL@ ) HJG\;A=F;Q
9 4@A;@ AF<ANA<M9D ;GEHD=PALQ E=9KMJ=K ;GJJ=D9L= :=KL OAL@ ) HJG\;A=F;Q
: 4@A;@ ;GE:AF9LAGF G> ;GEHD=PALQ E=9KMJ=K :=KL HJ=<A;LK ) HJG\;A=F;Q D=N=D
4. Material and methods
4.1. Dataset and participants
,MJ <9L9K=L ;GFKAKLK G>  K9EHD=K >JGE L@= International English Language Testing System (IELTS KH=9CAF? L=KL H=JL9AFAF? LG \N=
9<B9;=FL HJG\;A=F;Q D=N=DK 1@= &")10 =P9E AK 9 @A?@KL9C=K "F?DAK@ L=KL <=N=DGH=< :Q L@= JALAK@ GMF;AD 9F< 9E:JA<?= KK=KKE=FL
"F?DAK@ )=9JF=JK O@G L9C= L@= &")10 =P9E <G KG E9AFDQ >GJ AEEA?J9LAGF 9F< KLM<Q HMJHGK=K ;=JL9AF MFAN=JKALA=K AF =? L@= 2( 9F<
MKLJ9DA9 J=IMAJ= 9 EAFAEME &")10 K;GJ= LG =FL=J 1@= &")10 =P9E E=9KMJ=K "F?DAK@ D9F?M9?= HJG\;A=F;Q GF 9 K;9D= L@9L J9F?=K >JGE
:9F<  LG :9F< 1@= D=9JF=JK AF L@AK KLM<Q :=DGF? LG :9F<   K9EHD=K :9F<   K9EHD=K :9F<   K9EHD=K :9F<  
K9EHD=K 9F< :9F<   K9EHD=K 1@=K= :9F< D=N=DK @9N= :==F DGGK=DQ J=D9L=< LG L@= HJG\;A=F;Q D=N=DK <=K;JA:=< AF L@= GEEGF
"MJGH=9F #J9E=OGJC G> )9F?M9?=K1@= K9EHD=K AF GMJ ;GJHMK 9J= HJG<M;=< :Q D=9JF=JK H=JL9AFAF? LG "#/ D=N=DK  LG  1@=
;GJHMK ;GFKAKLK G> GF= K9EHD= H=J H9JLA;AH9FL 9F< L@= H9JLA;AH9FLK ;GE= >JGE <A>>=J=FL \JKLD9F?M9?= :9;C?JGMF<K OAL@ KGE= D9F
?M9?=K :=AF? EGJ= >J=IM=FL L@9F GL@=JK KM;@ 9K J9:A; @AF=K= GJ 19?9DG?
1@= KH=9CAF? L=KL L9C=K L@= >GJE G> 9F AFL=JNA=O :=LO==F 9 ;9F<A<9L= 9F< 9F =P9EAF=J O@A;@ D9KLK >GJ – EAFML=K &F L@= K=;
GF< H9JL G> L@= L=KL L@= ;9F<A<9L= AK J=IMAJ=< LG KH=9C 9:GML 9 LGHA; >GJ MH LG LOG EAFML=K &L AK L@AK EGFGDG?M= GJ DGF? LMJF O@A;@
O= 9F9DQK=< >GJ L@= HJ=K=FL KLM<Q 9F<A<9L=K 9J= ?AN=F 9 LGHA; 9F< L@=Q J=;=AN= GF= EAFML= LG HJ=H9J= O@9L L@=Q 9J= ?GAF? LG K9Q
"P9EHD=K G> LGHA;K 9J= “<=K;JA:= GF= G> QGMJ F=A?@:GMJK”“<=K;JA:= KGE= LJ9N=DDAF? QGM OGMD< DAC= LG <G AF L@= >MLMJ=”GJ “<=K;JA:=
9 :MAD<AF? L@9L QGM DAC=” 1@= KH=9CAF? L=KL AK K;GJ=< :Q E=9FK G> 9 JM:JA; 9F< L@= :9F< D=N=D AK ;9D;MD9L=< :Q 9N=J9?AF? L@= K;GJ=K GF
>GMJ <A>>=J=FL 9KH=;LK ]M=F;Q 9F< ;G@=J=F;= D=PA;9D J=KGMJ;= ?J9EE9LA;9D J9F?= 9F< 9;;MJ9;Q 9F< HJGFMF;A9LAGF
4.2. Complexity measures
4= ;9D;MD9L=< 9 LGL9D G> FAF= ;GEHD=PALQ E=9KMJ=K L9HHAF? AFLG KQFL9;LA;  D=PA;9D  9F< EGJH@GDG?A;9D ;GEHD=PALQ  19:D=
 HJGNA<=K 9F GN=JNA=O G> L@= E=9KMJ=K 9F< L@=AJ ;9D;MD9LAGF
1@= KQFL9;LA; ;GEHD=PALQ E=9KMJ=K L9J?=L L@= >GDDGOAF? @A=J9J;@A;9DDQ KLJM;LMJ=< HJG<M;LAGF MFALK 0MFALK ;D9MK=K 9F< H@J9K=K
D9MK=K 9J= ;GE:AF=< AFLG 0MFALK :Q E=9FK G> KM:GJ<AF9LAGF AF LMJF FGMF H@J9K=K 9J= 9 ;GFKLALM=FL ;GEHGF=FL G> ;D9MK=K DD KQF
L9;LA; E=9KMJ=K ;9D;MD9L=< AF L@AK KLM<Q 9J= GH=J9LAGF9DAK=< 9K J9LAGK 9F< L9J?=L =AL@=J L@= D=F?L@ G> HJG<M;LAGF MFALK A= FME:=J G>
OGJ<K H=J 0MFAL ;D9MK= GJ FGMF H@J9K= GJ L@= HJGHGJLAGF G> ;=JL9AF KH=;A\; KLJM;LMJ=K J=D9LAN= LG L@=AJ ‘H9J=FL’;9L=?GJQ A= FME
:=J G> KM:;D9MK=K GJ ;GGJ<AF9L=< ;D9MK=K <ANA<=< :Q L@= LGL9D FME:=J G> ;D9MK=K
*=9F D=F?L@ G> 0MFAL *)0 AK L@= EGKL ?DG:9D KQFL9;LA; E=9KMJ= AF;DM<=< AF L@AK KLM<Q AF L@9L 0MFALK ;9F := E9<= DGF?=J :Q
9<<AF? EGJ= ;D9MK=K LG?=L@=J GJ :Q D=F?L@=FAF? L@= ;GFKLALM=FL ;D9MK=K GJ H@J9K=K F 0MFAL AK <=\F=< 9K “9 KAF?D= KH=9C=JK MLL=J
9F;= ;GFKAKLAF? G> 9F independent clauseor sub-clausal unit LG?=L@=J OAL@ 9FQ subordinate clause(s) 9KKG;A9L=< OAL@ =AL@=J”#GKL=J =L 9D
 H  0MFALK 9J= 9J?M9:DQ EGJ= 9<9HL=< >GJ 9F9DQKAF? KHGC=F D9F?M9?= L@9F 1MFALK O@A;@ 9J= G>L=F MK=< AF L@= 9F9DQKAK
G> OJALL=F <9L9 DKG >GJ L@= A<=FLA\;9LAGF G> ;D9MK=K 9F< KM:;D9MK=K O= >GDDGO L@= ?MA<=DAF=K HJGNA<=< :Q #GKL=J =L 9D  #GJ L@=
;GGJ<AF9LAGF J9LAG O= GFDQ ;GMFL AF<=H=F<=FL ;GGJ<AF9L=< ;D9MK=K *GJ= <=L9ADK 9:GML L@= ;9D;MD9LAGF G> E=9F FGMF H@J9K= D=F?L@ 9J=
HJGNA<=< AF MDLV  %GMK=F 
&F HJ9;LA;= &")10 <G=K FGL MK= D=N=DK –
@LLHKOOOA=DLKGJ?A=DLK>GJGJ?9FAK9LAGFK;GEEGF=MJGH=9F>J9E=OGJC

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246
Table 2
GEHD=PALQ E=9KMJ=K
*=9KMJ= 9D;MD9LAGF
Syntactic complexity
*=9FD=F?L@G>0MFAL*)0 OGJ<K0MFALK
0M:;D9MK=J9LAG0 / KM:;D9MK=K;D9MK=K
*=9FD=F?L@G>;D9MK=*)  OGJ<K;D9MK=K
GGJ<AF9LAGFJ9LAG / AF<=H=F<=FL;GGJ<AF9L=<;D9MK=K;D9MK=K
*=9FD=F?L@G>FGMFH@J9K=*)+- OGJ<KAFFGMFH@J9K=KFGMFH@J9K=K
Lexical complexity
$MAJ9M<KAF<=P$ LQH=K3LGC=FK
%QH=J?=GE=LJA;<AKLJA:MLAGF%!! K== *; 9JL@Q9F<'9JNAK
*=9KMJ=G>L=PLM9DD=PA;9D<AN=JKALQ*1)! K== *; 9JL@Q9F<'9JNAK
Morphological complexity
*GJH@GDG?A;9D;GEHD=PALQAF<=PN=J:K* & K== J=RAF99F<-9DDGLLA
1@= L@J== E=9KMJ=K G> D=PA;9D ;GEHD=PALQ 9J= 9DD N9JA9LAGFK G> L@= D=PA;9D LQH=LGC=F J9LAG 11/ L@9L LJQ LG ;GEH=FK9L= >GJ MFO9FL=<
L=PLD=F?L@ =>>=;LK A= L@= DGF?=J 9 L=PL AK L@= @A?@=J L@= HJG:9:ADALQ L@9L OGJ<K 9J= J=H=9L=< $MAJ9M<K AF<=P G>>=JK L@= EGKL KAEHD=
LJ9FK>GJE9LAGF AF L@9L 9 KIM9J= JGGL AK 9<<=< LG L@= <=FGEAF9LGJ G> L@= KAEHD= 11/ >GJEMD9 $MAJ9M<  1@AK LJ9FK>GJE9LAGF
9;LM9DDQ GN=J;GEH=FK9L=K >GJ L@= =>>=;LK G> L=PL D=F?L@ 9F< DGF?=J L=PLK L=F< LG ?=L @A?@=J K;GJ=K GF $MAJ9M<K AF<=P L@9F K@GJL=J L=PLK
MDLV %GMK=F -A=JJ9J<  39F !9=D=  1@MK $MAJ9M<K AF<=P L9HK AFLG L@J== <AKLAF;L 9KH=;LK G> D=PA;9D <AN=JKALQ F9E=DQ KAR= A=
OGJ< LGC=FK JA;@F=KK A= OGJ< LQH=K 9F< L@= =>>=;LAN= FME:=J G> LQH=K '9JNAK  *1)! 9F< %!! :GL@ GFDQ L9J?=L “L@= J9F?=
G> <A>>=J=FL OGJ<K AF 9 L=PL”*; 9JL@Q  '9JNAK  H  GJ AF GL@=J OGJ<K L@= =>>=;LAN= FME:=J G> LQH=K :Q J=DQAF? GF 9 EGJ=
;GEHDA;9L=< 9F< E9L@=E9LA;9DDQ KH=9CAF? EGJ= ;GJJ=;L LJ9FK>GJE9LAGF G> L@= 11/ LG ;GEH=FK9L= >GJ L=PL D=F?L@ =>>=;LK *; 9JL@Q 
'9JNAK  
*GJH@GDG?A;9D ;GEHD=PALQ AK E=9KMJ=< :Q E=9FK G> L@= EGJH@GDG?A;9D ;GEHD=PALQ AF<=P * & 9HHDA=< LG N=J:K J=RAF9  -9DDGLLA
 1@AK AF<=P O@GK= MF<=JDQAF? DG?A; AK KAEAD9J LG L@9L G> D=PA;9D 11/K L9J?=LK L@= AF]=;LAGF9D <AN=JKALQ G> N=J: >GJEK AF 9 L=PL :Q
9F9DQKAF? L@= FME:=J G> <A>>=J=FL EGJH@GDG?A;9D HJG;=KK=K GJ ‘=PHGF=FLK’ L@9L 9J= 9HHDA=< &LK ;GEHML9LAGF AK :9K=< GF J=H=9L=< J9F
<GE K9EHDAF? >JGE 9DD =PHGF=FLK AF 9 L=PL 9F< ;GMFLAF? L@= 9N=J9?= FME:=J G> <A>>=J=FL =PHGF=FLK OAL@AF 9F< 9;JGKK L@=K= K9EHD=K
Q C==HAF? L@= KAR= G> L@= J9F<GE K9EHD=K ;GFKL9FL MFO9FL=< L=PL D=F?L@ =>>=;LK 9J= =DAEAF9L=< F * & N9DM= G>  E=9FK L@9L 9DD N=J:
>GJEK AF L@= L=PL 9J= L@= K9E= EGJH@GDG?A;9DDQ KH=9CAF? 9F< @A?@=J N9DM=K AF<A;9L= L@9L 9 L=PL ;GFL9AFK EGJ= <A>>=J=FL EGJH@GDG?A;9D
N=J: >GJEK 1@= L@=GJ=LA;9D E9PAEME N9DM= >GJ L@AK E=9KMJ= O@A;@ <=H=F<K GF L@= K=D=;L=< K9EHD= KAR= AK  AF L@AK KLM<Q
4.3. Data coding and analysis
+=9JDQ 9DD 9M<AG \D=K HJGNA<=< :Q &")10 O=J= 9DJ=9<Q 9;;GEH9FA=< :Q LJ9FK;JAHLAGFK 9F< L@= J=E9AFAF? GF=K O=J= LJ9FK;JA:=< :Q
L@= K=;GF< 9ML@GJ 1@= LJ9FK;JAHLAGFK O=J= IMAL= <=L9AD=< 9K L@=Q ;GFL9AF=< AF>GJE9LAGF 9:GML >GJ =P9EHD= K=FL=F;= KLJ=KK H9MK=
D=F?L@ @=KAL9LAGFK 9F< >9DK= KL9JLK !9L9 HJ=H9J9LAGF ;GFKAKL=< AF J=EGNAF? @=KAL9LAGF E9JC=JK “=JE” 9F< AFL=JB=;LAGFK KM;@ 9K “Q=9@
QGM CFGO O=DD” >9DK= KL9JLK >GJ AFKL9F;= “9K KA9F O= 9J= >J== LG ?G LG =FL=J %GF? (GF?”:=;GE=K “9K KA9F O= 9J= >J== LG =FL=J
%GF? (GF?” 9F< J=H=LALAGFK >GJ AFKL9F;= “&LK 9 DGL G> >MF O@=F QGM O@=F QGM LJ9N=D” 0GE= AF9M<A:D= GJ MF;D=9J >J9?E=FLK 9DKG @9<
LG := D=>L GML
&F 9 F=PL KL=H L@= K9EHD=K O=J= <ANA<=< AFLG 0MFALK K== <=>AFALAGF 9:GN= 9F< ;D9MK=K #GDDGOAF? #GKL=J =L 9D  O= ;GFKA<
=J=< FGF\FAL= ;D9MK=K LG := K=H9J9L= ;D9MK=K A> L@=Q ;GFL9AF=< 9 N=J: 9F< 9L D=9KL GF= GL@=J =D=E=FL #GJ =P9EHD= “&LK 9 ?GG< HD9;=
LG DAN= :9F< ”O9K 9F9DQK=< 9K GF= ;D9MK= O@AD= “,F= <9Q K@= 9KC E=LG @=DH @=J :9F< ”O9K <ANA<=< AFLG LOG ;D9MK=K 1@= L=PLK
O=J= E9FM9DDQ ;G<=< >GJ KQFL9;LA; >=9LMJ=K :Q L@= K=;GF< 9ML@GJ AF ;9K= G> <GM:L 9>L=J <AK;MKKAGF OAL@ L@= \JKL 9ML@GJ 1G =KL9:DAK@
AFL=J;G<=J J=DA9:ADALQ  J9F<GEDQ K=D=;L=< L=PLK A= KDA?@LDQ GN=J  G> L@= ;GJHMK O=J= ;G<=< K=H9J9L=DQ :Q L@= \JKL 9ML@GJ 1@=
;GJJ=D9LAGFK :=LO==F L@= LOG ;G<AF?K J9F?=< >JGE  >GJ *)+- LG  >GJ *) 1@= LGGD >GJ L@= 9MLGE9LA; 9F9DQKAK G> D=PA;9D
<AN=JKALQ 1)"! O9K MK=< >GJ L@= D=PA;9D 9F9DQK=K 9F< L@= * & O9K ;9D;MD9L=< OAL@ L@= ;GEHML=J LGGD <=N=DGH=< :Q J=RAF9 9F<
-9DDGLLA 
4= OGJC OAL@  J9F<GE K9EHD=K G>  =PHGF=FLK =9;@
0 /  *)0  / 
OOODAF?MAKLA;9F9DQKAKLGGDKGJ? N=JKAGF 
@LLH;GJHGJ9D9F;K9;MCNG;9:9F9DQK=8EGJH@H@H 9DH@9 N=JKAGF

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246 
4.4. Statistical analyses
4= MK=< +,3K OAL@  H9AJOAK= ;GEH9JAKGFK D=9KL KA?FA>A;9FL <A>>=J=F;= LG 9KK=KK <A>>=J=F;=K :=LO==F L@= \N= &")10 HJG
\;A=F;Q D=N=DK )=N=F=K L=KL K@GO=< L@9L GFDQ >GJ GF= G> L@= E=9KMJ=K E=9F D=F?L@ G> 0MFAL L@= 9KKMEHLAGF G> @GEG?=F=ALQ G>
N9JA9F;=K O9K FGL E=L H   E9AFDQ <M= LG 9 EM;@ D9J?=J N9JA9:ADALQ AF L@= @A?@=KL HJG\;A=F;Q D=N=D#GJ L@= K9C= G> ;GFKAK
L=F;Q O= <=;A<=< LG MK= KL9F<9J< +,3K >GJ =9;@ G> L@= E=9KMJ=K 9DKG ;GFKA<=JAF? L@= N=JQ KAEAD9J ?JGMH KAR=K O@A;@ HGKALAN=DQ
9>>=;LK L@= GN=J9DD JG:MKLF=KK G> L@= 9F9DQK=K 1@= E9AF +,3K O=J= MK=< LG =KLAE9L= O@=L@=J L@= GN=J9DD =>>=;L G> HJG\;A=F;Q D=N=D
GF L@= N9JAGMK ;GEHD=PALQ K;GJ=K O9K KA?FA>A;9FL 9F< O@9L L@= KAR= G> L@AK =>>=;L O9K E=9KMJ=< OAL@ =L9 1@= H9AJOAK= ;GEH9JAKGFK
HJGNA<= EGJ= AF>GJE9LAGF 9:GML L@= KH=;A\; DG;9LAGF G> L@= =>>=;L 4= <G FGL 9HHDQ ;GJJ=;LAGFK >GJ EMDLAHD= L=KLAF? =? GF>=JJGFA
KAF;= L@= ;GEH9JAKGFK 9J= HD9FF=< 9F< FGL E=9FL >GJ @QHGL@=KAK L=KLAF? AF 9 F9JJGO K=FK= &F 9<<ALAGF L@= KAR= G> GMJ KM:K9EHD=K H=J
HJG\;A=F;Q D=N=D AK J=D9LAN=DQ KE9DD Q=L 9DEGKL A<=FLA;9D K 9 J=KMDL L@= J=HGJL=< HN9DM=K K@GMD< FGL := AFL=JHJ=L=< 9:KGDML=DQ :ML
J9L@=J 9K HJGNA<AF? AF<A;9LAGFK G> L@= HJ=;AK= DG;9LAGF G> KAR=9:D= <A>>=J=F;=K :=LO==F HJG\;A=F;Q D=N=DK
&F 9 K=;GF< KL=H O= MK= ;GJJ=D9LAGF 9F9DQK=K 9K O=DD 9K GJ<AF9D DG?AKLA; J=?J=KKAGF LG 9K;=JL9AF O@A;@ ;GE:AF9LAGFK G> E=9KMJ=K
K@GO L@= KLJGF?=KL J=D9LAGFK@AH OAL@ HJG\;A=F;Q D=N=D 4= MK= 0H=9JE9F J9FC ;GJJ=D9LAGFK LG L=KL L@= KLJ=F?L@ G> L@= 9KKG;A9LAGF :=
LO==F HJG\;A=F;Q D=N=D 9F< =9;@ G> L@= ;GEHD=PALQ E=9KMJ=K 4= L@=F \L 9 ;MEMD9LAN= DG?AL EG<=D OAL@ HJGHGJLAGF9D G<<K LG L@= <9L9
MKAF? -/, ),$&01& AF 00 0M;@ 9 EG<=D AEHGK=K =IM9D KDGH=K LG := =KLAE9L=< >GJ =9;@ J=KHGFK= >MF;LAGF GFDQ L@= AFL=J;=HLK 9J=
9DDGO=< LG N9JQ =N=F L@GM?@ L@=Q 9J= ;GFKLJ9AF=< LG AF;J=9K= ?J=KLA  !=JJ  &F GL@=J OGJ<K L@= =>>=;LK G> L@= HJ=<A;LGJK
9J= 9KKME=< LG := L@= K9E= >GJ =9;@ 9<B9;=FL H9AJ G> HJG\;A=F;Q D=N=DK 1@= HJGHGJLAGF9D G<<K 9KKMEHLAGF AK L=KL=< :Q E=9FK G> 9 K;GJ=
L=KL 4= J=HGJL +9?=DC=JC=K /9K 9F 9HHJGPAE9LAGF G> L@= /KL9LAKLA; MK=< LG AF<A;9L= L@= HJGHGJLAGF G> =PHD9AF=< N9JA9F;= AF DAF=9J
J=?J=KKAGF EG<=DK -JG\;A=F;Q D=N=D AK MK=< 9K <=H=F<=FL N9JA9:D= AF L@AK GJ<AF9D DG?AKLA; J=?J=KKAGF EG<=D 9F< ;GEHD=PALQ E=9KMJ=K
9J= =FL=J=< 9K AF<=H=F<=FL N9JA9:D=K 1G 9NGA< EMDLA;GDDAF=9JALQ @A?@DQ ;GJJ=D9LAF? ;GEHD=PALQ E=9KMJ=K A= r  9J= D=>L GML G>
L@= EG<=D
5. Results
5.1. Can complexity measures discriminate between L2 pro>ciency levels?
&F L@AK K=;LAGF O= J=HGJL L@= J=KMDLK G> L@= +,3K 9F< H9AJOAK= ;GEH9JAKGFK 1@= <=K;JAHLAN= KL9LAKLA;K >GJ 9DD E=9KMJ=K E=9F 9F<
KL9F<9J< <=NA9LAGF H=J HJG\;A=F;Q D=N=D 9F< GN=J9DD 9J= HJGNA<=< AF HH=F<AP  HH=F<AP  ;GFL9AFK 9F GN=JNA=O G> L@= J=KMDLK G>
L@= +,3K #GJ =9;@ ;GEHD=PALQ E=9KMJ= O= KMEE9JAK= L@= J=KMDLK :Q E=9FK G> 9 :9J ;@9JL K@GOAF? L@= E=9F K;GJ= H=J HJG\;A=F;Q
D=N=D KMJJGMF<=< :Q 9  ;GF\<=F;= AFL=JN9D 9K O=DD 9K HGL=FLA9D KA?FA>A;9FL <A>>=J=F;=K :=LO==F H9AJK G> HJG\;A=F;Q D=N=DK 
H9AJK AF LGL9D H=J 9F9DQKAK AF<A;9L=< AF L@= LGH H9JL G> L@= ?J9H@
,N=J9DD E=9F 0MFAL D=F?L@ <A>>=J=< KA?FA>A;9FLDQ 9;JGKK HJG\;A=F;Q D=N=DK #   H   η  #A?  K@GOK
L@9L L@= E=9F D=F?L@ G> 0MFALK KL=9<ADQ AF;J=9K=K >JGE 9JGMF< FAF= 9F< 9 @9D> OGJ<K AF D=N=D  LG GN=J  OGJ<K AF D=N=D  0=N=F
GML G>  H9AJOAK= ;GEH9JAKGFK K@GO=< KAR=9:D= <A>>=J=F;=K :=LO==F HJG\;A=F;Q D=N=DK 6=L GFDQ >GJ GF= H9AJ G> 9<B9;=FL HJG\;A=F;Q
D=N=DK D=N=DK  9F<  9 KAR=9:D= <A>>=J=F;= O9K >GMF<
DKG >GJ L@= KM:;D9MK= J9LAG L@= K;GJ=K <A>>=J=< KA?FA>A;9FLDQ 9;JGKK HJG\;A=F;Q D=N=DK #   H   η  #A?
 K@GOK L@9L 9JGMF<  G> L@= ;D9MK=K HJG<M;=< :Q L@= D=9JF=JK 9L D=N=D  O9K KM:GJ<AF9L=< Q D=N=D  L@AK HJGHGJLAGF @9< AF;J=9K=<
LG GN=J  "N=F L@GM?@ L@=J= AK 9 ;D=9J AF;J=9KAF? LJ=F< AF 0 / K;GJ=K OAL@ AF;J=9KAF? HJG\;A=F;Q D=N=D GFDQ >GMJ H9AJOAK= <A>>=J
=F;=K :=LO==F D=N=DK O=J= >GMF< LG := KA?FA>A;9FL +G KAR=9:D= <A>>=J=F;=K :=LO==F 9<B9;=FL D=N=DK O=J= G:K=JN=< 1@= K;GJ=K >GJ L@=
D=9JF=JK AF L@= @A?@=KL HJG\;A=F;Q D=N=D <A>>=J=< ;GFKA<=J9:DQ >JGE L@= K;GJ=K AF 9DD D=N=DK =P;=HL >GJ D=N=D 
1@= E=9F ;D9MK= D=F?L@ <A>>=J=< KA?FA>A;9FLDQ :=LO==F HJG\;A=F;Q D=N=DK 9K O=DD #   H   η  K #A? 
K@GOK L@= AF;J=9K=K AF *) <G FGL >GDDGO 9 DAF=9J H9LL=JF 9;JGKK HJG\;A=F;Q D=N=DK &F L@= DGO=KL LOG HJG\;A=F;Q D=N=DK L@= 9N=J9?=
D=F?L@ G> L@= ;D9MK=K HJG<M;=< :Q D=9JF=JK AK 9JGMF< \N= 9F< 9 @9D> OGJ<K 1@AK N9DM= JAK=K LG 9DEGKL KAP OGJ<K AF D=N=D  9F< KDA?@LDQ
GN=J KAP 9F< 9 @9D> AF D=N=D  &F D=N=D  *) N9DM=K <JGH 9?9AF LG L@= D=N=D G> D=N=D  1@= H9AJOAK= ;GEH9JAKGFK K@GO L@9L *) N9DM=K
9J= ;GFKA<=J9:DQ @A?@=J AF D=N=D  L@9F AF D=N=DK   9F< L@= 9<B9;=FL D=N=D  +G KAR=9:D= <A>>=J=F;= O9K >GMF< :=LO==F D=N=DK  9F< 
#GJ L@= HJGHGJLAGF G> ;GGJ<AF9L=< ;D9MK=K O= <A< FGL G:K=JN= 9 KA?FA>A;9FL GN=J9DD <A>>=J=F;= :=LO==F HJG\;A=F;Q D=N=DK
#   H   η  0DA?@LDQ GN=J GF= GML G> \N= ;D9MK=K HJG<M;=< :Q L@= D=9JF=JK AF D=N=D  O9K ;GGJ<AF9L=< K==
#A?  1@AK HJGHGJLAGF JAK=K LG 9JGMF<  AF D=N=D  :ML L@=F <JGHK MFLAD AL J=9;@=K ALK DGO=KL HGAFL AF D=N=D  9JGMF<  ,FDQ
LOG KAR=9:D= <A>>=J=F;=K :=LO==F HJG\;A=F;Q D=N=DK O=J= G:K=JN=<  vs  9F<  vs 
#GJ L@= D9KL KQFL9;LA; ;GEHD=PALQ E=9KMJ= E=9F D=F?L@ G> FGMF H@J9K= L@= GN=J9DD <A>>=J=F;= :=LO==F HJG\;A=F;Q D=N=DK O9K KA?
FA>A;9FL #   H   η  )=9JF=JK AF D=N=D  HJG<M;= FGMF H@J9K=K OAL@ GF 9N=J9?= 9JGMF<  OGJ<K K==
#A?  &F D=N=DK  9F<  L@AK N9DM= @9K JAK=F LG 9JGMF<  9F< AF D=N=DK  9F<  AL AK ;DGK= LG L@J== 0AP KA?FA>A;9FL <A>>=J=F;=K :=
K AF<A;9L=< :Q L@= D9J?= ;GF\<=F;= AFL=JN9D >GJ L@AK HJG\;A=F;Q D=N=D AF #A? 
#GJ J=>=J=F;= OAL@  H9AJOAK= ;GEH9JAKGFK 9HHDQAF? GF>=JJGFAK ;GJJ=;LAGF OGMD< 9EGMFL LG <ANA<AF? L@= L@J=K@GD< >GJ KA?FA>A;9F;= αD=N=D :Q  =?
α  :=;GE=K α 

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246
Fig. 1. *=9F D=F?L@ G> 0MFAL K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
Fig. 2. 0M:;D9MK= J9LAG K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
Fig. 3. *=9F D=F?L@ G> ;D9MK= K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
LO==F H9AJK G> HJG\;A=F;Q D=N=DK O=J= >GMF< 1@= H9AJOAK= ;GEH9JAKGFK ;D=9JDQ K@GO L@9L *)+- K;GJ=K ;9F := <ANA<=< AFLG LOG <AKLAF;L
‘?JGMHK’ D=N=DK   9F<  GF L@= GF= @9F< 9F< D=N=DK  9F<  GF L@= GL@=J
1MJFAF? LG E=9KMJ=K G> D=PA;9D ;GEHD=PALQ >GJ $MAJ9M<K AF<=P 9 KA?FA>A;9FL GN=J9DD =>>=;L G> HJG\;A=F;Q D=N=D O9K >GMF<
#   H   η  K #A?  K@GOK L@= D=9JF=JK AF D=N=DK  9F<  G:L9AF K;GJ=K G> 9JGMF<  9F< L@AK N9DM=
JAK=K OAL@ 9HHJGPAE9L=DQ  HGAFLK :=LO==F L@= J=E9AFAF? ;GFK=;MLAN= D=N=DK LG 9JGMF<  AF D=N=D  &F LGL9D =A?@L KAR=9:D= <A>>=J

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246 
=F;=K O=J= >GMF< :=LO==F HJG\;A=F;Q D=N=DK 4= >GMF< <A>>=J=F;=K >GJ LOG 9<B9;=FL H9AJK G> HJG\;A=F;Q D=N=DK  vs  9F<  vs  GL@
D=N=DK  9F<  <A>>=J ;GFKA<=J9:DQ >JGE 9DD GL@=J HJG\;A=F;Q D=N=DK 9F< 9DKG L@= <A>>=J=F;= :=LO==F D=N=DK  9F<  AK KA?FA>A;9FL
1@= GN=J9DD H9LL=JF >GJ %!! L@= K=;GF< D=PA;9D ;GEHD=PALQ E=9KMJ= AK >9AJDQ KAEAD9J LG L@= GF= O= G:K=JN=< >GJ $MAJ9M<K AF<=P
K== #A?  DKG @=J= L@= GN=J9DD =>>=;L G> HJG\;A=F;Q D=N=D AK KA?FA>A;9FL #   H   η  =N=F L@GM?@ L@=
=>>=;L KAR= AK ;GFKA<=J9:DQ KE9DD=J %!! K;GJ=K ;GFKAKL=FLDQ JAK= >JGE  LG  >JGE D=N=D  LG D=N=D  &F ;GFLJ9KL LG $MAJ9M<K AF
<=P FG ;GFKA<=J9:D= <A>>=J=F;= O9K >GMF< :=LO==F D=N=DK  9F<  :ML 9DD GL@=J H9AJK L@9L QA=D<=< KA?FA>A;9FL <A>>=J=F;=K >GJ $MAJ9M<K
AF<=P 9DKG <G KG >GJ %!!
#GJ *1)! L@= \F9D D=PA;9D ;GEHD=PALQ E=9KMJ= O= 9DKG >GMF< 9 KA?FA>A;9FL GN=J9DD =>>=;L G> HJG\;A=F;Q D=N=D GF L@= K;GJ=K
#   H   η  1@= DGO=J =>>=;L KAR= ;GEH9J=< LG $MAJ9M<K AF<=P 9F< %!! AK 9DKG J=]=;L=< AF L@= KDA?@LDQ
>=O=J 9F< D=KK KLJGF?DQ KA?FA>A;9FL H9AJOAK= ;GEH9JAKGFK #GJ *1)! O= <A< FGL \F< ;GFKA<=J9:D= <A>>=J=F;=K :=LO==F 9<B9;=FL D=N=DK
AF KHAL= G> ;GFKAKL=FLDQ JAKAF? K;GJ=K OAL@ JAKAF? HJG\;A=F;Q D=N=D AF;J=9KAF? >JGE 9JGMF<  AF D=N=D  LG 9JGMF<  AF D=N=D  K== #A?

#AF9DDQ O= DGGC 9L L@= J=KMDLK >GJ * & GMJ E=9KMJ= G> EGJH@GDG?A;9D ;GEHD=PALQ 1@= GN=J9DD <A>>=J=F;= :=LO==F HJG\;A=F;Q D=N=DK
AK KA?FA>A;9FL #   H   η  &L AK ;D=9J >JGE #A?  L@9L L@= G:K=JN=< <A>>=J=F;= E9AFDQ DA=K :=LO==F L@=
DGO=KL HJG\;A=F;Q D=N=D 9F< 9DD GL@=J D=N=DK ;GE:AF=< 1@= GFDQ ;GFKA<=J9:D= H9AJOAK= <A>>=J=F;=K 9J= G:K=JN=< :=LO==F D=N=D  9F<
9DD GL@=J D=N=DK 1@AK E=9FK L@9L 9DKG L@= <A>>=J=F;= :=LO==F L@= 9<B9;=FL D=N=DK  9F<  AK KA?FA>A;9FL
5.2. Which complexity measures correlate best with L2 pro>ciency?
&F GJ<=J LG =N9DM9L= O@A;@ ;GEHD=PALQ E=9KMJ=K K@GO L@= KLJGF?=KL =>>=;L G> ) HJG\;A=F;Q D=N=D O= ;9D;MD9L=< 0H=9JE9F ;GJJ=
D9LAGF ;G=>\;A=FLK :=LO==F L@= K;GJ=K GF =9;@ E=9KMJ= 9F< L@= HJG\;A=F;Q D=N=D G> L@= D=9JF=JK 19:D=  K@GOK L@9L L@= ;GJJ=D9LAGF
AK KA?FA>A;9FL 9F< HGKALAN= >GJ =A?@L GML G> FAF= E=9KMJ=K OAL@ L@= KLJGF?=KL ;GJJ=D9LAGFK >GMF< >GJ $MAJ9M<K AF<=P ρ  >GD
DGO=< :Q LOG KQFL9;LA; E=9KMJ=K *)+- 9F< *)0 OAL@ ρ  9F< ρ  9F< 9FGL@=J D=PA;9D E=9KMJ= %!! ρ 
,FDQ >GJ L@= ;GGJ<AF9LAGF J9LAG L@= ;GJJ=D9LAGF ;G=>\;A=FL O9K FGL KA?FA>A;9FL 1@AK AK FGL KMJHJAKAF? KAF;= L@= K;GJ=K GF L@AK E=9KMJ=
>GDDGO 9F AFN=JL=<3K@9H=< J9L@=J L@9F 9 DAF=9J H9LL=JF K== #A? 
HH=F<AP K@GOK L@= -=9JKGF ;GJJ=D9LAGFK :=LO==F L@= <A>>=J=FL ;GEHD=PALQ E=9KMJ=K *9FQ G> L@=K= ;GJJ=D9LAGFK 9J= HGKALAN= 9F<
KA?FA>A;9FL O@A;@ 9L D=9KL AF H9JL ;9F := 9LLJA:ML=< LG L@=AJ K@9J=< ;GJJ=D9LAGF OAL@ HJG\;A=F;Q 1@= @A?@=KL ;GJJ=D9LAGFK 9J= >GMF<
:=LO==F L@= D=PA;9D ;GEHD=PALQ E=9KMJ=K %!! 9F< $ r  9F< %!! 9F< *1)! r  O@A;@ 9DD L9J?=L D=PA;9D <AN=J
KALQ DKG L@= ;GJJ=D9LAGF :=LO==F L@= KQFL9;LA; E=9KMJ=K *)0 9F< 0 / AK @A?@ r  O@A;@ AK FGL KMJHJAKAF? ;GFKA<=JAF? L@=
KLJM;LMJ9D AFL=J;GFF=;L=<F=KK G> L@=K= LOG E=9KMJ=K A= 0MFALK ;9F := E9<= DGF?=J :Q AF;DM<AF? EGJ= KM:;D9MK=K 4= 9DKG >GMF<
LOG KA?FA>A;9FLDQ F=?9LAN= ;GJJ=D9LAGFK :=LO==F / GF L@= GF= @9F< 9F< 0 / r− 9F< *)0 r− GF L@= GL@=J
J=]=;LAF? L@9L KH=9C=JK @9N= LG ;@GGK= :=LO==F ;GGJ<AF9LAGF 9F< KM:GJ<AF9LAGF 9K ;D9MK=DAFCAF? E=;@9FAKE
GFKA<=JAF? ALK @A?@ ;GJJ=D9LAGF OAL@ :GL@ $ 9F< *1)! O= <A< FGL AF;DM<= %!! AF L@= GJ<AF9D DG?AKLA; J=?J=KKAGF EG<=D OAL@
HJG\;A=F;Q D=N=D 9K <=H=F<=FL N9JA9:D= DKG *)0 O9K D=>L GML <M= LG @A?@ ;GJJ=D9LAGFK OAL@ 0 / 9F< LG 9 KGE=O@9L D=KK=J =PL=FL
*)+- #AF9DDQ O= 9DKG <A< FGL AF;DM<= / KAF;= L@AK E=9KMJ= O9K >GMF< LG @9N= 9 ;D=9JDQ FGFDAF=9J J=D9LAGFK@AH OAL@ HJG\;A=F;Q
1@= K;GJ= L=KL <G=K FGL AF<A;9L= L@9L L@= HJGHGJLAGF9D G<<K 9KKMEHLAGF G> GMJ ;MEMD9LAN= DG?AL EG<=D AK NAGD9L=< χ  <>  
H   +9?=DC=JC=K /G>  AF<A;9L=K L@9L 9JGMF< LOG L@AJ<K G> L@= N9JA9F;= AF HJG\;A=F;Q D=N=D AK =PHD9AF=< :Q L@= EG<=D
19:D=  ;GFL9AFK L@= H9J9E=L=J =KLAE9L=K >GJ L@= GJ<AF9D DG?AKLA; J=?J=KKAGF EG<=D
1@= EG<=D ;GFL9AFK L@J== KA?FA>A;9FL HJ=<A;LGJK $ 0 / 9F< * & =9;@ L9J?=LAF? ;GEHD=PALQ AF 9 <A>>=J=FL DAF?MAKLA; <GE9AF A=
D=PA;9D KQFL9;LA; 9F< EGJH@GDG?A;9D ,> L@=K= L@J== $ AK L@= KLJGF?=KL HJ=<A;LGJ β− >GDDGO=< :Q 0 / β− 9F< * &
β− 1@= ;GFLJA:MLAGFK G> L@= L@J== J=E9AFAF? HJ=<A;LGJK *)  *)+- 9F< *1)! 9J= FGL KA?FA>A;9FL AF L@= EG<=D
6. Discussion
6.1. Can complexity measures discriminate between pro>ciency levels?
$=F=J9DDQ KH=9CAF? L@= J=KMDLK G> L@AK KLM<Q ;GF\JE L@9L ) KH==;@ ;GEHD=PALQ E=9KMJ=K ;9F <AK;JAEAF9L= :=LO==F D=9JF=JK 9L <A>
>=J=FL HJG\;A=F;Q D=N=DK =N=F L@GM?@ O= 9DKG G:K=JN=< ;GFKA<=J9:D= <A>>=J=F;=K 9;JGKK E=9KMJ=K 9F< 9;JGKK HJG\;A=F;Q D=N=DK )GGCAF?
EGJ= ;DGK=DQ 9L L@= J=KMDLK H=J ;GEHD=PALQ <AE=FKAGF GMJ \F<AF? L@9L EGJH@GDG?A;9D ;GEHD=PALQ ;GMD< GFDQ <A>>=J=FLA9L= :=LO==F L@=
DGO=KL D=N=D 9F< 9DD @A?@=J D=N=DK AK AF DAF= OAL@ != D=J;I 9F< %GMK=F   HGL=FLA9D =PHD9F9LAGF >GJ L@AK AK L@= DAEAL=< J9F?= G>
AF]=;LAGF9D EGJH@GDG?Q 9>>=;LAF? L@= N=J:9D KQKL=E AF HJ=K=FL<9Q "F?DAK@ J=KMDLAF? AF 9 DAEAL=< FME:=J G> HGKKA:D= >GJEK J=RAF9
 -9DDGLLA  +=N=JL@=D=KK EGJH@GDG?A;9D ;GEHD=PALQ 9F< L@= EGJH@GDG?A;9D ;GEHD=PALQ AF<=P AF H9JLA;MD9J 9HH=9JK LG := 9F
9HHJGHJA9L= AF<A;9LGJ G> "F?DAK@ ) HJG\;A=F;Q 9L =9JDQ KL9?=K G> <=N=DGHE=FL
/=?9J<AF? D=PA;9D ;GEHD=PALQ GMJ KLM<Q ;GF\JEK L@9L D=PA;9D <AN=JKALQ E=9KMJ=K $MAJ9M<K AF<=P 9F< %!! AF H9JLA;MD9J 9J= 9:D=
LG <AK;JAEAF9L= :=LO==F 9<B9;=FL HJG\;A=F;Q D=N=DK != D=J;I  )M  1@= L@J== D=PA;9D <AN=JKALQ E=9KMJ=K AF;DM<=< AF L@AK
KLM<Q K@GO=< 9 ?J9<M9D AF;J=9K= :=LO==F D=N=DK  LG  G> L@= &")10 KH=9CAF? L=KL O@A;@ ;GJJG:GJ9L=K /=9< 9F< +9LAGF’K 
 &F 9;;GJ<9F;= OAL@ L@= <=>9MDL EG<=D KH=;A\;9LAGF AF 00 F=?9LAN= H9J9E=L=J =KLAE9L=K >GJ 9 HJ=<A;LGJ AF<A;9L= L@9L @A?@=J K;GJ=K >GJ L@= ;GJJ=KHGF<AF? ;GEHD=P
ALQ E=9KMJ= 9J= 9KKG;A9L=< OAL@ @A?@=J HJG\;A=F;Q D=N=DK

UNCORRECTED PROOF
 B. Bulté and H. Roothooft / System xxx (xxxx) 102246
Table 3
GJJ=D9LAGFK :=LO==F ;GEHD=PALQ E=9KMJ=K 9F< HJG\;A=F;Q D=N=D  H    H    H  
0H=9JE9F;GJJ=D9LAGF;G=^;A=FLρ
0QFL9;LA;;GEHD=PALQ
Mean length of AS-unit 
Subclause ratio 
Mean length of clause 
Coordination ratio −
Mean length of NP 
Lexical complexity
Guiraud's index 
HD-D 
MTLD 
Morphological complexity
MCI-verbs 
Fig. 4. GGJ<AF9LAGF J9LAG K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
Fig. 5. *=9F D=F?L@ G> +- K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
\F<AF?K *GJ=GN=J O= >GMF< L@9L 9DD <AN=JKALQ E=9KMJ=K ?9N= JAK= LG KA?FA>A;9FL <A>>=J=F;=K :=LO==F HJG\;A=F;Q D=N=DK :ML GFDQ
$MAJ9M<K AF<=P 9F< %!! ;GMD< <AK;JAEAF9L= :=LO==F KGE= 9<B9;=FL D=N=DK D=N=DK  9F<  9F<  9F<  >GJ $MAJ9M<K AF<=P 9F< GFDQ
D=N=DK  9F<  >GJ %!! K AF != D=J;I  L@=J= O=J= FG KA?FA>A;9FL <A>>=J=F;=K AF D=PA;9D ;GEHD=PALQ :=LO==F L@= LOG @A?@=KL
D=N=DK  9F<  AF GMJ KLM<Q 1@AK @GO=N=J ;GFLJ9KLK OAL@ (9F?  O@G ;GF;DM<=< L@9L <A>>=J=F;=K AF D=PA;9D ;GEHD=PALQ E9AFDQ
E9FA>=KL=< L@=EK=DN=K :=LO==F "#/ D=N=DK  9F<  9F<  9F<  O@A;@ ;9F := K9A< LG ;GJJ=KHGF< LG &")10 :9F<K  9F<  &L
K@GMD< := FGL=< @=J= L@9L (9F?  9DKG AF;DM<=< E=9KMJ=K G> D=PA;9D <=FKALQ 9F< KGH@AKLA;9LAGF
#GMJ G> GMJ \N= KQFL9;LA; ;GEHD=PALQ E=9KMJ=K A= E=9F D=F?L@ G> 0MFAL ;D9MK= 9F< FGMF H@J9K= 9F< L@= KM:;D9MK= J9LAG
K@GO=< 9F GN=J9DD KA?FA>A;9FL =>>=;L >GJ HJG\;A=F;Q D=N=D O@=J=9K L@= ;GGJ<AF9LAGF J9LAG <A< FGL 1@= >9;L L@9L L@= E=9KMJ= G> KMHJ9

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246 
Fig. 6. $MAJ9M< K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
Fig. 7. %!! K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
Fig. 8. *1)! K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
;D9MK9D ;GEHD=PALQ A= E=9F D=F?L@ G> 0MFAL K@GO=< L@= @A?@=KL FME:=J G> KA?FA>A;9FL <A>>=J=F;=K :=LO==F HJG\;A=F;Q D=N=DK AK AF
DAF= OAL@ HJ=NAGMK KLM<A=K != D=J;I  %GMK=F  $9F  &O9K@AL9 =L 9D  1@= KA?FA>A;9FL <A>>=J=F;=K :=LO==F HJG\
;A=F;Q D=N=DK O= >GMF< >GJ E=9F D=F?L@ G> FGMF H@J9K= 9F< LG 9 D=KK=J =PL=FL E=9F D=F?L@ G> ;D9MK= 9J= EGJ= MF=PH=;L=< != D=J;I
 %GMK=F  =N=F L@GM?@ AL K@GMD< := 9<<=< L@9L FGL E9FQ HJ=NAGMK KLM<A=K AF;DM<=< E=9KMJ=K G> ;D9MK9D 9F< H@J9K9D ;GEHD=PALQ
&F L@= HJ=K=FL KLM<Q E=9F D=F?L@ G> 0MFAL ;D9MK= 9F< FGMF H@J9K= FGL GFDQ J=KMDL=< AF 9F GN=J9DD KA?FA>A;9FL <A>>=J=F;= :=LO==F
HJG\;A=F;Q D=N=DK :ML L@=Q ;GMD< 9DKG <AKLAF?MAK@ :=LO==F LOG 9<B9;=FL D=N=DK D=N=DK  9F<  &F != D=J;I 9F< %GMK=F’

UNCORRECTED PROOF
 B. Bulté and H. Roothooft / System xxx (xxxx) 102246
Fig. 9. * &N=J:K K;GJ=K H=J HJG\;A=F;Q D=N=D OAL@ KA?FA>A;9FL +,3 HGKL@G; H9AJOAK= <A>>=J=F;=K  H    H    H  
Table 4
-9J9E=L=J =KLAE9L=K >GJ GJ<AF9D DG?AKLA; J=?J=KKAGF
-9J9E=L=J "KLAE9L= 0L9F<9J<"JJGJ 0L9F<9J<AK=<=KLAE9L=β 49D< χHN9DM=
&FL=J;=HLK
    
    
    
    
0 / −  −  
*)     
*)+- −  −  
$−  −  
*1)!     
* & −  −  
 H    H    H   +9?=DC=JC=K /   ))   0GE=JK !   /,  
K  <9L9 E=9F D=F?L@ G> 0MFAL ;GMD< <AKLAF?MAK@ :=LO==F D=N=DK  9F<  G> L@= >GMJ HJG\;A=F;Q D=N=DK MK=< AF L@= KLM<Q :ML FGL
:=LO==F L@= L@AJ< 9F< L@= EGKL 9<N9F;=< D=N=D O@A;@ ;9F := ;GFKA<=J=< LG := KAEAD9J AF GMJ <9L9 O@=J= FGF= G> L@= E=9KMJ=K ;GMD<
<AKLAF?MAK@ :=LO==F L@= LOG @A?@=KL D=N=DK 1@= \F<AF? L@9L L@= KM:;D9MK= J9LAG ?9N= JAK= LG 9F GN=J9DD KA?FA>A;9FL <A>>=J=F;= :=LO==F
D=N=DK ;GF\JEK 0==<@GMK= =L 9D’K  KLM<Q O@A;@ 9DKG MK=< &")10 KH=9CAF? L=KL <9L9 9F< AK 9DKG AF DAF= OAL@ GL@=J HJ=NAGMK KLM<A=K
!= D=J;I  %GMK=F  (9F?  4@AD= 0==<@GMK= =L 9D  <A< FGL AFN=KLA?9L= :=LO==F O@A;@ D=N=DK L@= <A>>=J=F;=K ;GMD<
:= >GMF< GMJ H9AJOAK= ;GEH9JAKGFK K@GO L@9L =N=F L@GM?@ KM:GJ<AF9LAGF AF;J=9K=K DAF=9JDQ >JGE D=N=DK  LG  AL ;9FFGL <AK;JAEAF9L=
:=LO==F 9<B9;=FL D=N=DK
6.2. Which complexity measures correlate best with pro>ciency?
1@= J=KMDLK G> L@= GJ<AF9D DG?AKLA; J=?J=KKAGF 9J= FGN=D AF ;GEH9JAKGF LG L@= HJ=NAGMK KLM<A=K GF L@= J=D9LAGFK@AH :=LO==F ) KH==;@
;GEHD=PALQ 9F< ) HJG\;A=F;Q O@A;@ O= <=K;JA:=< 1@=Q K@GO L@9L GF= D=PA;9D $MAJ9M<K AF<=P GF= KQFL9;LA; KM:;D9MK= J9LAG 9F<
GF= EGJH@GDG?A;9D ;GEHD=PALQ E=9KMJ= EGJH@GDG?A;9D ;GEHD=PALQ AF<=P  N=J:K =E=J?=< 9K KA?FA>A;9FL HJ=<A;LGJK G> ) HJG\;A=F;Q
LG?=L@=J =PHD9AFAF? 9F =KLAE9L=< LOG L@AJ<K G> L@= N9JA9F;= AF HJG\;A=F;Q D=N=D 1@AK 9F9DQKAK AF<A;9L=K L@9L AL AK OGJL@O@AD= LG ;GE:AF=
<A>>=J=FL ;GEHD=PALQ <AE=FKAGFK 9F< E=9KMJ=K L9HHAF? AFLG N9JAGMK 9KH=;LK G> ;GEHD=PALQ O@=F L@= 9AE AK LG 9KK=KK ) HJG\;A=F;Q
$=F=J9DDQ KH=9CAF? $MAJ9M<K AF<=P G> D=PA;9D <AN=JKALQ =E=J?=< >JGE GMJ KLM<Q 9K L@= :=KL GN=J9DD HJ=<A;LGJ G> ) HJG\;A=F;Q DKG AF
3=JKHGGJ =L 9D’K  KLM<Q G> ) OJALAF? $MAJ9M<K AF<=P O9K K@GOF LG := GF= G> L@= E=9KMJ=K L@9L ;GMD< <AK;JAEAF9L= :=KL :=LO==F
D=9JF=JK OAL@ <A>>=J=FL HJG\;A=F;Q D=N=DK 9F< L@AK 9;JGKK 9 OA<= J9F?= G> D=N=DK ,MJ <=L9AD=< :=LO==FD=N=D 9F9DQK=K >GJ L@= <A>>=J=FL
E=9KMJ=K 9DKG K@GO @GO=N=J L@9L L@= J=D9LAGFK@AH :=LO==F ;GEHD=PALQ E=9KMJ=K 9F< ) HJG\;A=F;Q AK FGL 9DO9QK DAF=9J 9F< L@9L
<A>>=J=FL E=9KMJ=K E9Q := EGJ= K=FKALAN= LG ;@9F?=K AF HJG\;A=F;Q 9L <A>>=J=FL HJG\;A=F;Q D=N=DK
6.3. Limitations
1@AK KLM<Q @9K 9 FME:=J G> DAEAL9LAGFK #AJKL L@= &")10 <9L9 O= MK=< 9J= FGL DGF?ALM<AF9D O@A;@ E=9FK O= ;GMD< GFDQ ;@9J
9;L=JAK= ) <=N=DGHE=FL9D H9LL=JFK AF :JG9< KLJGC=K 9L L@= ?JGMH D=N=D 9F< FGL E9C= 9FQ ;D9AEK 9:GML AF<ANA<M9D ) <=N=DGH

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246 
E=FL 1@AK AEHDA=K O= @9< LG <AKJ=?9J< AF<ANA<M9D N9JA9LAGF LG 9 D9J?= =PL=FL 9K O=DD 9K AF<ANA<M9D <=N=DGHE=FL9D H9LL=JFK O@A;@ @9N=
:==F K@GOF LG N9JQ ?J=9LDQ 9;JGKK D=9JF=JK MDLV  %GMK=F  3Q9LCAF9 =L 9D  0=;GF< FG ;GJJ=;LAGFK >GJ EMDLAHD= L=KLAF?
=? GF>=JJGFA O=J= 9HHDA=< LG L@= H9AJOAK= ;GEH9JAKGFK 9;;GEH9FQAF? L@= +,3K =N=F L@GM?@ L@AK AK G>L=F J=;GEE=F<=< #A=D<
 #MLMJ= KLM<A=K ;GMD< 9AE >GJ D9J?=J K9EHD= KAR=K H=J HJG\;A=F;Q D=N=D AF GJ<=J LG AF;J=9K= L@= KL9LAKLA;9D HGO=J G> L@= L=KLK &F
;J=9KAF? L@= K9EHD= KAR= OGMD< 9DKG := :=F=\;A9D >GJ L@= ?=F=J9DAK9:ADALQ G> L@= J=KMDLK 1@AJ< =N=F L@GM?@ L@= K;GJ= L=KL AF<A;9L=< L@9L
L@= HJGHGJLAGF9D G<<K 9KKMEHLAGF MF<=JDQAF? GMJ ;MEMD9LAN= DG?AL EG<=D O9K FGL NAGD9L=< KM;@ 9 EG<=D 9KKME=K =IM9D =>>=;LK G> <=
H=F<=FL N9JA9:D=K 9;JGKK <A>>=J=FL D=N=DK G> L@= AF<=H=F<=FL N9JA9:D= 1@= <=K;JAHLAN= KL9LAKLA;K AF<A;9L= L@9L KM;@ 9 EG<=D ;9FFGL >MDDQ
<G BMKLA;= LG L@= <AN=JK= H9LL=JFK G:K=JN=< >GJ L@= <A>>=J=FL ;GEHD=PALQ E=9KMJ=K #AF9DDQ HJG\;A=F;Q D=N=D AK GH=J9LAGF9DAK=< AF L@AK
KLM<Q 9K &")10 D=N=D O@A;@ AK <=L=JEAF=< GF L@= :9KAK G> KM:B=;LAN= J9LAF?K G> KH=9CAF? L9KCK AF;DM<AF? L@= EGFGDG?M=K L@9L ;GFKLALML=
GMJ <9L9K=L *GJ=GN=J L@= JM:JA;K MK=< >GJ L@= KM:B=;LAN= 9KK=KKE=FL G> HJG\;A=F;Q D=N=D AF;DM<= J=>=J=F;=K LG ;GEHD=PALQJ=D9L=< >9;
LGJK &L ;9FFGL := JMD=< GML L@9L 9L D=9KL H9JL G> L@= 9KKG;A9LAGF :=LO==F HJG\;A=F;Q D=N=D 9F< ;GEHD=PALQ K;GJ=K >GMF< AF L@AK KLM<Q AK
;9MK=< :Q L@AK ;GFF=;LAGF
7. Conclusions
1@= HJ=K=FL KLM<Q GF L@= J=D9LAGFK@AH :=LO==F FAF= ;GEHD=PALQ E=9KMJ=K 9F< \N= <A>>=J=FL D=N=DK G> GJ9D HJG\;A=F;Q 9K E=9KMJ=<
:Q L@= &")10 KH=9CAF? L=KL ;GF\JEK HJ=NAGMK KLM<A=K O@A;@ @9N= >GMF< L@9L D=9JF=JK 9L @A?@=J D=N=DK G> HJG\;A=F;Q L=F< LG HJG<M;=
EGJ= ;GEHD=P D9F?M9?= "N=F L@GM?@ O= >GMF< @A?@=J ;GEHD=PALQ K;GJ=K AF @A?@=J HJG\;A=F;Q D=N=DK >GJ E=9KMJ=K G> D=PA;9D KQFL9;LA;
9F< EGJH@GDG?A;9D ;GEHD=PALQ L@= G:K=JN=< H9LL=JFK <A>>=J KM:KL9FLA9DDQ 9;JGKK E=9KMJ=K &> O= GFDQ ;GFKA<=J <A>>=J=F;=K :=LO==F 9<
B9;=FL HJG\;A=F;Q D=N=DK O= G:K=JN=< 9 KA?FA>A;9FL AF;J=9K= AF EGJH@GDG?A;9D JA;@F=KK 9K E=9KMJ=< :Q L@= EGJH@GDG?A;9D ;GEHD=PALQ
AF<=P :=LO==F D=N=DK  9F<  AF D=PA;9D <AN=JKALQ $MAJ9M<K AF<=P :=LO==F D=N=DK  9F<  9F< AF GN=J9DD KQFL9;LA; E=9F D=F?L@ G>
0MFAL ;D9MK9D E=9F D=F?L@ G> ;D9MK= 9F< H@J9K9D ;GEHD=PALQ E=9F D=F?L@ G> FGMF H@J9K= 9K O=DD 9K D=PA;9D <AN=JKALQ $MAJ9M<K
AF<=P 9F< %!! :=LO==F D=N=DK  9F<  4= <A< FGL G:K=JN= KA?FA>A;9FL <A>>=J=F;=K AF ;GEHD=PALQ :=LO==F L@= @A?@=KL LOG HJG\;A=F;Q
D=N=DK AF GMJ <9L9K=L A=  9F<  &F 9<<ALAGF O= >GMF< L@9L L@= $MAJ9M< AF<=P L@= KM:;D9MK= J9LAG 9F< L@= EGJH@GDG?A;9D ;GEHD=PALQ
AF<=P 9HHDA=< LG N=J:K O=J= KA?FA>A;9FL HJ=<A;LGJK >GJ HJG\;A=F;Q D=N=D AF GMJ GJ<AF9D DG?AKLA; J=?J=KKAGF EG<=D =PHD9AFAF? 9JGMF< LOG
L@AJ<K G> L@= N9JA9F;= AF HJG\;A=F;Q D=N=D
4AL@ L@AK KLM<Q O= <A< FGL AFL=F< LG E9C= ;D9AEK 9:GML L@= AF@=J=FL N9DM= GJ N9DA<ALQ G> ;GEHD=PALQ E=9KMJ=K 9K E=9KMJ=K G>
;GEHD=PALQ /9L@=J GMJ 9AE O9K LG \F< GML O@A;@ ;GEHD=PALQ E=9KMJ=K K@GO KA?FA>A;9FL <A>>=J=F;=K :=LO==F D=9JF=JK OAL@ <A>>=J=FL
HJG\;A=F;Q D=N=DK GJ AF GL@=J OGJ<K O@A;@ E=9KMJ=K 9J= HGL=FLA9DDQ ?GG< AF<A;9LGJK G> ) HJG\;A=F;Q 9F< HGL=FLA9DDQ ) <=N=DGH
E=FL &F L@AK K=FK= GMJ J=KMDLK 9J= AF>GJE9LAN= >GJ >MLMJ= KLM<A=K MKAF? ;GEHD=PALQ E=9KMJ=K 9K G:B=;LAN= AF<A;9LGJK G> ) D=9JF=J
HJG\;A=F;Q 1@=Q 9DKG @9N= AEHDA;9LAGFK >GJ D9F?M9?= L=KLAF? =N=F L@GM?@ L@= D9:GMJAFL=FKAN=F=KK G> LJ9FK;JA:AF? 9F< ;G<AF? GJ9D
<9L9 9J= 9F G:KL9;D= LG 9MLGE9L=< 9F9DQK=K KAF;= ;MJJ=FL 9MLGE9L=< ;GEHD=PALQ LGGDK 9J= ?=9J=< LGO9J<K L@= 9F9DQKAK G> OJALL=F D9F
?M9?= GJ L@GJGM?@DQ ;D=9F=< MH 9F< ;9J=>MDDQ LJ9FK;JA:=< N=JKAGFK G> GJ9D <9L9 +=N=JL@=D=KK G:B=;LAN= ;GEHD=PALQ 9F9DQK=K ;9F := 9
MK=>MD 9<<ALAGF LG KM:B=;LAN= HJG\;A=F;Q J9LAF?K 9DKG >GJ D9F?M9?= L=KLAF? HMJHGK=K
Funding
1@AK J=K=9J;@ <A< FGL J=;=AN= 9FQ KH=;A\; ?J9FL >JGE >MF<AF? 9?=F;A=K AF L@= HM:DA; ;GEE=J;A9D GJ FGL>GJHJG\L K=;LGJK
CRediT authorship contribution statement
Bram Bulté: GF;=HLM9DAR9LAGF *=L@G<GDG?Q 0G>LO9J= #GJE9D 9F9DQKAK Hanne Roothooft: GF;=HLM9DAR9LAGF #GJE9D 9F9DQKAK
&FN=KLA?9LAGF /=KGMJ;=K !9L9 ;MJ9LAGF
Acknowledgements
1@AK H9H=J J=HGJLK GF J=K=9J;@ MKAF? <9L9 HJGNA<=< :Q 9E:JA<?= "F?DAK@ )9F?M9?= KK=KKE=FL
Appendix D. Supplementary data
0MHHD=E=FL9JQ <9L9 LG L@AK 9JLA;D= ;9F := >GMF< GFDAF= 9L @LLHK<GAGJ?BKQKL=E
Appendix A. Descriptive statistics
Table A.1
!=K;JAHLAN= KL9LAKLA;K E=9FK OAL@ KL9F<9J< <=NA9LAGFK :=LO==F :J9;C=LK
-JG\;A=F;QD=N=D

F  

F  

F  

F  

F  
1GL9D
F  
0QFL9;LA;;GEHD=PALQ

UNCORRECTED PROOF
 B. Bulté and H. Roothooft / System xxx (xxxx) 102246
Mean length of AS-unit 











Subclause ratio 











Mean length of clause 











Coordination ratio 











Mean length of NP 











Lexical complexity
Guiraud's index 











HD-D 











MTLD 











Morphological complexity
MCI 











Appendix B. ANOVAs
Table B.1
/=KMDLK +,3K
# H "_=;LKAR==L9 
0QFL9;LA;;GEHD=PALQ
Mean length of AS-unit   
Subclause ratio   
Mean length of clause   
Coordination ratio   
Mean length of NP   
Lexical complexity
Guiraud's index   
HD-D   
MTLD   
Morphological complexity
MCI   
Appendix C. Correlations between complexity measures
Table C.1
-=9JKGF ;GJJ=D9LAGFK :=LO==F ;GEHD=PALQ E=9KMJ=K  H    H    H  
0 / *) / *)+- * & $ %!! *1)!
*)0   −     
0 / − −  −   
*)      
/ −    
*)+-    
* &   
$  
%!! 
References
::9K (@MK@AC $  %M@L9   &FN=KLA?9LAF? KQFL9;LA; ;GEHD=PALQ AF "#) D=9JF=JK’OJALAF? 9;JGKK ;GEEGF "MJGH=9F >J9E=OGJC G> J=>=J=F;= D=N=DK   9F<
 HHDA=< )AF?MAKLA;K <GA9HHDAF9EQ 9EQ
?J=KLA   F9DQKAK G> GJ<AF9D ;9L=?GJA;9D <9L9 F< =< +=O 6GJC 4AD=Q
A:=J !  39JA9LAGF 9;JGKK KH==;@ 9F< OJALAF? 9E:JA<?= 9E:JA<?= 2FAN=JKALQ -J=KK
A:=J ! $J9Q   -GGFHGF (  0@GMD< O= MK= ;@9J9;L=JAKLA;K G> ;GFN=JK9LAGF LG E=9KMJ= ?J9EE9LA;9D ;GEHD=PALQ AF ) OJALAF? <=N=DGHE=FL 1=KGD .M9JL=JDQ
 –
A:=J ! $J9Q   0L9HD=K 0  -J=<A;LAF? H9LL=JFK G> ?J9EE9LA;9D ;GEHD=PALQ 9;JGKK D9F?M9?= =P9E L9KC LQH=K 9F< HJG\;A=F;Q D=N=DK HHDA=< )AF?MAKLA;K 
–
J=RAF9 3  -9DDGLLA $  *GJH@GDG?A;9D ;GEHD=PALQ AF OJALL=F ) L=PLK 0=;GF< )9F?M9?= /=K=9J;@  –

UNCORRECTED PROOF
B. Bulté and H. Roothooft / System xxx (xxxx) 102246 
MDLV   %GMK=F   !=\FAF? 9F< GH=J9LAGF9DAKAF? ) ;GEHD=PALQ &F %GMK=F  (MAC=F #  3=<<=J & "<K !AE=FKAGFK G> ) H=J>GJE9F;= 9F< HJG\;A=F;Q
&FN=KLA?9LAF? ;GEHD=PALQ 9;;MJ9;Q 9F< ]M=F;Q AF 0) HH – EKL=J<9E 'G@F =FB9EAFK
MDLV   %GMK=F   GF;=HLM9DARAF? 9F< E=9KMJAF? K@GJLL=JE ;@9F?=K AF ) OJALAF? ;GEHD=PALQ 'GMJF9D G> 0=;GF< )9F?M9?= 4JALAF?  –
<GABBKDO
MDLV   %GMK=F   0QFL9;LA; ;GEHD=PALQ AF ) OJALAF? &F<ANA<M9D H9L@O9QK 9F< =E=J?AF? ?JGMH LJ=F<K &FL=JF9LAGF9D 'GMJF9D G> HHDA=< )AF?MAKLA;K 
– <GAAB9D
MDLV  %GMK=F  -A=JJ9J< *  39F !9=D= 0  &FN=KLA?9LAF? D=PA;9D HJG\;A=F;Q <=N=DGHE=FL GN=J LAE= –L@= ;9K= G> !ML;@KH=9CAF? D=9JF=JK G> #J=F;@ AF
JMKK=DK 'GMJF9D G> #J=F;@ )9F?M9?= 0LM<A=K  – <GA0
GFFGJ)AFLGF '  -GDAG  GEH9JAF? H=JKH=;LAN=K GF ) OJALAF? *MDLAHD= 9F9DQK=K G> 9 ;GEEGF ;GJHMK 'GMJF9D G> 0=;GF< )9F?M9?= 4JALAF?  –
JGKL@O9AL= -   DGF?ALM<AF9D EMDLA<AE=FKAGF9D 9F9DQKAK G> "- OJALAF? !=L=JEAFAF? "- ;GMJK= =_=;LAN=F=KK 'GMJF9D G> "F?DAK@ >GJ ;9<=EA; -MJHGK=K 
–
!= D=J;I   1@= <=N=DGHE=FL G> D=PA;9D ;GEHD=PALQ AF K=;GF< D9F?M9?= 9;IMAKALAGF  ;JGKKDAF?MAKLA; KLM<Q G> ) #J=F;@ 9F< "F?DAK@ "2/,0) 6=9J:GGC 
–
!= D=J;I   %GMK=F    ;JGKKDAF?MAKLA; H=JKH=;LAN= GF KQFL9;LA; ;GEHD=PALQ AF ) <=N=DGHE=FL 0QFL9;LA; =D9:GJ9LAGF 9F< <AN=JKALQ 1@= *G<=JF )9F?M9?=
'GMJF9D  –
!= D=J;I   %GMK=F   1@= <=N=DGHE=FL G> EGJH@GDG?A;9D ;GEHD=PALQ  ;JGKKDAF?MAKLA; KLM<Q G> ) #J=F;@ 9F< "F?DAK@ 0=;GF< )9F?M9?= /=K=9J;@ 
–
!=JJ /  ,J<AF9D J=KHGFK= EG<=DAF? OAL@ L@= ),$&01& HJG;=<MJ= -JG;==<AF?K G> L@= 00 ?DG:9D >GJME  ;GF>=J=F;= 9JQ +  00 &FKLALML= &F;
"DDAK /  9JC@MAR=F $ -  F9DQKAF? D=9JF=J D9F?M9?= ,P>GJ< ,P>GJ< 2FAN=JKALQ -J=KK
#A=D<   !AK;GN=JAF? KL9LAKLA;K MKAF? 0-00 J< =< )GF<GF 09?=
#GKL=J - 1GFCQF   4A??D=KOGJL@ $  *=9KMJAF? KHGC=F D9F?M9?=  MFAL >GJ 9DD J=9KGFK HHDA=< )AF?MAKLA;K  –
#JA?AF9D "  4=A?D= 0  "PHDGJAF? EMDLAHD= HJG\D=K G> ) OJALAF? MKAF? EMDLA<AE=FKAGF9D 9F9DQKAK 'GMJF9D G> 0=;GF< )9F?M9?= 4JALAF?  –
$9F 7  GEHD=PALQ E=9KMJ=K L9KC LQH= 9F< 9F9DQLA; =N9DM9LAGFK G> KH=9CAF? HJG\;A=F;Q AF 9 K;@GGD:9K=< 9KK=KKE=FL ;GFL=PL )9F?M9?= KK=KKE=FL .M9JL=JDQ
 –
$MAJ9M< -  -JG:DWE=K =L EVL@G<=K <= D9 KL9LAKLAIM= DAF?MAKLAIM= !GJ<J=;@L /=A<=D
$QDDKL9< % $J9F>=D<L ' =JF9J<AFA -  (UDDCNAKL *  )AF?MAKLA; ;GJJ=D9L=K LG ;GEEMFA;9LAN= HJG\;A=F;Q D=N=DK G> L@= "#/ 1@= ;9K= G> KQFL9;LA; ;GEHD=PALQ
AF OJALL=F ) "F?DAK@ ) #J=F;@ 9F< ) &L9DA9F "2/,0) 6=9J:GGC  –
%9OCAFK '   #ADAHGNA[ )  JAL=JA9D >=9LMJ=K AF ) "F?DAK@ 0H=;A>QAF? L@= J=>=J=F;= D=N=DK G> L@= GEEGF "MJGH=9F >J9E=OGJC  9E:JA<?= 9E:JA<?=
2FAN=JKALQ -J=KK
%GJKL *  GDDAFK )  #JGE >9A:D= LG KLJGF? %GO <G=K L@=AJ NG;9:MD9JQ ?JGO 9F9<A9F *G<=JF )9F?M9?= /=NA=O  –
%GMK=F  (MAC=F #  3=<<=J & "<K  !AE=FKAGFK G> ) H=J>GJE9F;= 9F< HJG\;A=F;Q GEHD=PALQ 9;;MJ9;Q 9F< ]M=F;Q AF 0)  EKL=J<9E 'G@F
=FB9EAFK -M:DAK@AF?
%MDKLABF ' %  )9F?M9?= HJG\;A=F;Q AF F9LAN= 9F< FGFF9LAN= KH=9C=JK F 9?=F<9 >GJ J=K=9J;@ 9F< KM??=KLAGFK >GJ K=;GF<D9F?M9?= 9KK=KKE=FL )9F?M9?=
KK=KKE=FL .M9JL=JDQ  –
&O9K@AL9 +  0QFL9;LA; ;GEHD=PALQ E=9KMJ=K 9F< L@=AJ J=D9LAGF LG GJ9D HJG\;A=F;Q AF '9H9F=K= 9K 9 >GJ=A?F D9F?M9?= )9F?M9?= KK=KKE=FL .M9JL=JDQ 
–
&O9K@AL9 + JGOF  *;+9E9J9 1  ,’%9?9F 0  KK=KK=< D=N=DK G> K=;GF< D9F?M9?= KH=9CAF? HJG\;A=F;Q %GO <AKLAF;L HHDA=< )AF?MAKLA;K  –
'9JNAK 0  9HLMJAF? L@= <AN=JKALQ AF D=PA;9D <AN=JKALQ )9F?M9?= )=9JFAF? 0MHHD  –
(9F? ,  )AF?MAKLA; 9F9DQKAK G> KH=9CAF? >=9LMJ=K <AKLAF?MAK@AF? ?=F=J9D "F?DAK@ =P9EK 9L "#/ D=N=DK 9E:JA<?= "F?DAK@ /=K=9J;@ +GL=K  –
)=;D=J;I - "<EGF<K   %ADLGF % "<K  *=9KMJAF? ) HJG\;A=F;Q -=JKH=;LAN=K >JGE 0)  D=N=<GF *MDLADAF?M9D *9LL=JK
)M 5   ;GJHMK:9K=< =N9DM9LAGF G> KQFL9;LA; ;GEHD=PALQ E=9KMJ=K 9K AF<A;=K G> ;GDD=?=D=N=D "0) OJAL=JK’D9F?M9?= <=N=DGHE=FL 1=KGD .M9JL=JDQ  –
)M 5  1@= J=D9LAGFK@AH G> D=PA;9D JA;@F=KK LG L@= IM9DALQ G> "0) D=9JF=JK’GJ9D F9JJ9LAN=K 1@= *G<=JF )9F?M9?= 'GMJF9D  –
*9DN=JF ! @AH=J= + /A;@9J<K   !MJTF -  Lexical diversity and language development: Quanti>cation and assessment %GMF<EADDK -9D?J9N= *9;EADD9F
*; 9JL@Q -  '9JNAK 0  3G;<  L@=GJ=LA;9D 9F< =EHAJA;9D =N9DM9LAGF )9F?M9?= 1=KLAF?  –
*; 9JL@Q -  '9JNAK 0  *1)! NG;<! 9F< %!!  N9DA<9LAGF KLM<Q G> KGH@AKLA;9L=< 9HHJG9;@=K LG D=PA;9D <AN=JKALQ 9KK=KKE=FL =@9NAGJ /=K=9J;@ *=L@G<K
 –
*A;@=D *  GEHD=PALQ 9;;MJ9;Q 9F< ]M=F;Q AF ) HJG<M;LAGF &F)G=O=F 0  09LG * "<K 1@= JGMLD=<?= @9F<:GGC G> AFKLJM;L=< K=;GF< D9F?M9?= 9;IMAKALAGF
HH – )GF<GF /GMLD=<?=
+=9JQ0MF<IMAKL   0QFL9;LA; ;GEHD=PALQ 9L EMDLAHD= HJG\;A=F;Q D=N=DK G> ) $=JE9F KH==;@ &FL=JF9LAGF9D 'GMJF9D G> HHDA=< )AF?MAKLA;K  –
,JL=?9 )  0QFL9;LA; ;GEHD=PALQ E=9KMJ=K 9F< L@=AJ J=D9LAGFK@AH LG ) HJG\;A=F;Q  J=K=9J;@ KQFL@=KAK G> ;GDD=?=D=N=D ) OJALAF? HHDA=< )AF?MAKLA;K 
–
,JL=?9 )  &FL=JD9F?M9?= ;GEHD=PALQ  ;GFKLJM;L AF K=9J;@ G> L@=GJ=LA;9D J=F=O9D &F (GJLE9FF   0REJ=;K9FQA  "<K )AF?MAKLA; ;GEHD=PALQ 0=;GF<
D9F?M9?= 9;IMAKALAGF AF<A?=FAR9LAGF ;GFL9;L HH – =JDAF <= $JMQL=J
-9DDGLLA $  # !=\FAF? J=\FAF? 9F< <A_=J=FLA9LAF? ;GFKLJM;LK HHDA=< )AF?MAKLA;K  –
-9DDGLLA $   KAEHD= NA=O G> DAF?MAKLA; ;GEHD=PALQ 0=;GF< )9F?M9?= /=K=9J;@  –
/=9< '  +9LAGF -  F AFN=KLA?9LAGF G> L@= D=PA;9D <AE=FKAGF G> L@= &")10 KH=9CAF? L=KL &FL=JF9LAGF9D "F?DAK@ )9F?M9?= 1=KLAF? 0QKL=E &")10 /=K=9J;@
/=HGJLK   
/=K;@=J +  GEHD=PALQ  H@ADGKGH@A;9D GN=JNA=O )GF<GF 1J9FK9;LAGF -M:DAK@=JK
0==<@GMK= - %9JJAK  +9=: /  SKLYF=D "  1@= J=D9LAGFK@AH :=LO==F KH=9CAF? >=9LMJ=K 9F< :9F< <=K;JAHLGJK  EAP=< E=L@G< KLM<Q &")10 /=K=9J;@ /=HGJLK
,FDAF= 0=JA=K  –
0HG=DE9F *  3=JKHGGJ *  !QF9EA; H9LL=JFK AF <=N=DGHE=FL G> 9;;MJ9;Q 9F< ;GEHD=PALQ  DGF?ALM<AF9D ;9K= KLM<Q AF L@= 9;IMAKALAGF G> #AFFAK@ HHDA=<
)AF?MAKLA;K  –
1@GE9K *  KK=KKE=FL G> ) HJG\;A=F;Q AF K=;GF< D9F?M9?= 9;IMAKALAGF J=K=9J;@ )9F?M9?= )=9JFAF?  –
39KQD=LK , $AD9:=JL /  *9F;@XF / *  !A_=J=FLA9D ;GFLJA:MLAGF G> GJ9D 9F< OJALL=F EG<=K LG D=PA;9D KQFL9;LA; 9F< HJGHGKALAGF9D ;GEHD=PALQ AF ) H=J>GJE9F;=
AF AFKLJM;L=< ;GFL=PLK &FKLJM;L=< 0=;GF< )9F?M9?= ;IMAKALAGF  –
3=JKHGGJ * 0;@EA< *  5M 5   <QF9EA; MK9?= :9K=< H=JKH=;LAN= GF ) OJALAF? 'GMJF9D G> 0=;GF< )9F?M9?= 4JALAF?  –
3Q9LCAF9 + %AJK;@E9FF %  $GD;@=J #  0QFL9;LA; EG<A\;9LAGF 9L =9JDQ KL9?=K G> ) $=JE9F OJALAF? <=N=DGHE=FL  DGF?ALM<AF9D D=9JF=J ;GJHMK KLM<Q 'GMJF9D
G> 0=;GF< )9F?M9?= 4JALAF?  –
4GD>=.MAFL=JG ( &F9?9CA 0  (AE %6  0=;GF< D9F?M9?= <=N=DGHE=FL AF OJALAF? *=9KMJ=K G> ]M=F;Q 9;;MJ9;Q 9F< ;GEHD=PALQ %GFGDMDM 2FAN=JKALQ G>
%9O9AA 0=;GF< )9F?M9?= 1=9;@AF?  MJJA;MDME =FL=J
69F? 4 )M 5  4=A?D= 0  !A_=J=FL LGHA;K <A_=J=FL <AK;GMJK= /=D9LAGFK@AHK 9EGF? OJALAF? LGHA; E=9KMJ=K G> KQFL9;LA; ;GEHD=PALQ 9F< BM<?E=FLK G> OJALAF?
IM9DALQ 'GMJF9D G> 0=;GF< )9F?M9?= 4JALAF?  –
6GGF %  )AF?MAKLA; ;GEHD=PALQ AF ) OJALAF? J=NAKAL=< &KKM=K G> LGHA; HJG\;A=F;Q 9F< ;GFKLJM;L EMDLA<AE=FKAGF9DALQ 0QKL=E  –