An analysis of multimodal cues of interruption in dyadic spoken interactions

Abstract

Interruptions are integral elements of natural spontaneous human interaction. Both competitive and cooperative interruption serve a distinct role in the flow of conversation. This paper analyzes their differences with features, change and activeness, employing audio, visual, and disfluency data. These features are able to capture differences between the two types of interruptions better than average feature values of any single modality. Also, discriminant analysis shows that the use of multimodal cues provides a 21% improvement in classification accuracy between the two types of interruptions relative to the baseline while any individual single modality cue does not provide significant improvement.

Full text

An Analysis of Multimodal Cues of Interruption in Dyadic Spoken Interactions
Chi-Chun Lee, Sungbok Lee, Shrikanth S. Narayanan


  !""#! 
{chiclee,sungbokl,shri}@usc.edu
Abstract
             
  $  %      
    &$
'   (    &   change
activeness,     $ 
'              &   
&        
$ & 
       )*+   
&&
   &  
$
1. Introduction
,               
       $  '-.
/*0 &            
.. &
          
.     .  $ 1   
          &    
          -  
-$
2 ,    &  3    
             /)0$  4  .
                  
($ &
                 
$
 &&
  -.          3  
   
              
$ 5 /60      
      &  7  
$
 
            &  &
.$  4         
        &      &
.& 
   &$  '        
                 
          
          
 $  2, 8/90 (
,   &
$  :& , 
    
   $ 2       
            
                
.$8;/<0( 
   &&
           
 .      $ 4
                  
$
;        
        &    
              
     /= >0$  ; &    

$'?4@/#0&
            
-     $  : (   
  (      &      
        $  2  

& 
  $             
    &    &    
          
$
'  (&  
) , 
  6   &. 
9$
2. Research Methodology
4           &    &    
7    $  :    
 A: /!0
               B 
           &    &    
    C$ ' 
   D D        
$ :   
           &  
        &    /*"0      3  
  &    &    &  
$
2.1. Database and Annotation
: ?4@  $&
          
,$ '  & 
 -
              
      $  :         
        $  '    
  $       =*
.)   <6    6  
&   D    
x , y , z 

 . $ '  .  &         
       &          
    $  '          
D  &      $  '    &
   $ 
 6$*$6 &   
  $            
      &        
  $  '  &      
            D$  4
  &  ,            
$ ' E'/**0&
       &
  $  

&?4@**66
*=&D.$
       &
.  &  & . 
     F    
      .    $  BC
/*)0$' 
(  /*60$, 
&
Competitive Interruption
?F)GH G$
2FH&$$$
Cooperative Interruption
?F&& & H&$
2FH $$$
& &
  $  %.      ,    
$'*
    $  '          
         
             
&.$
'*FSummary of Interruptions
  '
? 6!*= *>> <=)6
2 ==6) 6**# !><"
' *"<9# 9#)< *<6>6
2.2. Feature Extraction
'    , F
 F     F     
 $%  
      &        
   &             
 $  :          
$  ;&  &      
   .G    
.$ ' ,
$
    &
 change activeness, 
    &          &  
$ Change        
&     
  &         $  Activeness 
               
&$
2.2.1. Speech-Intensity
1& *" &&&
  6"      @    /*90$  '       

•?,D-&
•?,&
•?D-&
•?&
•change D-&
•activeness &
changeD-&
Iw=Ifew−Ifsw
*
&
few, fsw

&$activeness
)

Iov =
∑
i=fsovI
feov
∣
Ii−Ii−I
∣
Teov −Tsov
)
&
feov , fsov

   
Teov , Tsov
  
$
2.2.2. Hand Motions
;              .
?4@$'

•1activeness D-&
•1change D-&
•activeness D-&
•change D-&
    6 .       
.
.$'&activeness
Vk=
∑
i=fswI
few

xi−xi−IJyi−yi−IJ zi−zi−IJ
Te−Ts
6
&
xi, yi, z i
          
.     
Te−Ts
   &$'
& 
&  
$
;&              
            -
 &. &
Vk

Vk
  $  '         &
                 &    
$Activeness,
rw

rw=V1
〈V〉,
& 
〈V〉 =
∑
k=1
totw
Vk
totw
 9
V1
           &      
 6 
totw
 
&$
Change        &     
  & 
&$ ' 3 &   
      $
'   
$  ; &  .-   &  . K  9  
 
x , y , z 

  .       
 2*$
2  *       D
x , y , z
  
x , z
,      &$          G
$'
2*Fxample of clustering of right hand
motions into 4 regions

,    
              
$  &  &
    &    
     
  $  ' change       
  F  *             
  &    &    "   &$  '
  &   
$
2.2.3. Disfluencies
:. *
     " &   
$:
&
    &            
 $ '       & 
(/*<0
•false start:   .        

•repetition: .
•filled pause: BC BC BC BC
2.2.4. Feature Normalization
         (  &      
        D      &
.-$ 2 

F
    .  &  
Fref
    

Fref =
∑
sbj
∑
neu
F
numsbj∗numneu
<
&
sbj
neu
    D  .     
$  
numsbj
numneu
      
D        D$
'(
Fnorm

Fnorm =F
Csbj
&
Csbj =
∑
neu
Fsbj
numneu
∗1
Fref
=
&
Csbj
(D$'
( 
&($
3. Results and Discussion
'  ,            &  &  
3
•Does each feature listed in Section 2 behave differently
for the two types of interruptions?
•Can we obtain a better discriminating power by
incorporating multimodal cues?
;  two samplet-test, two proportions test,
fisher's exact test-      (,    
3$
3.1. Hypothesis Testing
4             
3 &
              $
    .  & 
    -       . 
$:,
           $  '  )   
                 
)$
3.1.1. Speech-Intensity
'
        D-  &       
  &  &          
$  :           
 $ 
                 ,
$ '  &            
(    $ '   change 
activeness     &     
&.'&
       

$
3.1.2. Hand Motions
' ' )  
              $ '
               
              
 $ E  change    fisher's exact
test &two sample
proportions test$ :  &D    .
 L   
.&$ %  &    
&&&$
3.1.3. Disfluencies
'p-value two proportions test$')
 &   
           $ 
:( 
       &  
  .   
&
.3.$
3.2. Discriminant Analysis
&  
@& 
•Intensity-only Features
•Hand Motions-only Features
•Combination of Both Modalities
' 6         
$ '
             &  
      6$*$  2  '  *     
          &  .
'): Summary Results of Interrupting Utterances
M ;? 
?, ?
 
 
E
Word Overlap Word Overlap Left Right Left Right
 =>$>< >"$# ="$9# =*$9! !*$!) **$<> )$#= )$<< *< *< 69
 =<$9) =#$66 <!$6# ="$)* >*$6! #$"" *$=< )$*< * 6 >
p-value 0.05 0.013 "$*# "$"! 0.007 0.02 0.02 "$)< 0.006 "$"> 0.016

               & 
     $       
              
            
  $  ' %,G ? 
"$"<   
$'   
 &$
3.2.1. Intensity-only
'               ,   
 change   activeness. ':.G
    "$!"9         G  
"$">"$' 
  &     '  6  #!$=+      
            )#+  
        $  :
                  
                  
     
($
3.2.2. Hand Motions-only
'         G activeness change 
    G change.     G  changep-
valueN"$"< &
 $' :.G  "$#<!  
 G "$"*9$2 '
6     
$ 
           
,
$
3.2.3. Combination
'  :.G        "$>#)        
"$*"$2'6  
$
;&                
       
        *9+  )*+     
    >!$< +$  '          
          
    (   
$-&&  
  F,
  Gchange. % D  & &
   >*$)+ &
$
4. Conclusions and Future Work
4              
            
 $  '       &
         &  

    
  $  :           
     $$   &   & 
   $ 
             
$' &
 
      
&            
$4 
  6    &            
$ ' (
    &   
$
 &&.&
  ?4@              
$'&&
   & &    
          &.$      &  
        
$;&          
/*=0              &    
        ,     
&  $  2            
&. 
        &    .G  
$  '            
             &  
$& &
               
                
$'
&.$
5. Acknowledgment
'    &             E2  
$
6. References
/*0 $ B1'..'
  C Journal of Personality and Social
Psychology,)6F)#6-!) *!>)
/)0 $  %  @$5$  5    $  E  O1-
       -
 OICASSP ; ;   )"">  $
) $=#<-=##$
/60 P$  5$ B        F 
         &-  -
C Journal of Pragmatics *9 ##6-!"6 *!!"
/90 $  8 BM( .  F   
    C   Proc. Second SIGdial
Workshop on Discourse and Dialog $*= *-*" )""*
/<0 2$8$@$;$ B1
C Proc. NAACL HLT 2007 1E8 
)""> *>-)9
/=0 $  ?E Hand and Minds: What Gestures Reveal about
Thoughts,$@   *!!)
/>0 $; B$;?
C AISB ; Q$ )""<$
/#0 $% ?$% $$ $Q(( $?& $Q 
P$E$ $ $$E O?4@F
   O P
1 )"">$
/!0 $;  A  $ :  B,  1   
 C Language and Sex: Difference and
Dominance,%' E; 1& 
?FE&; *!><
/*"0 5  4.    1    -  B?
F      ,  ?    
C Social Psychology Quarterly, $ =<  $* 
6#-<<
/**0 :$?  2 Syllabification Software, '  .  E
@5  E  
' P*!!>$FLL&&&$$LLL
/*)0 ?$  Q  BR          
C Proc. of the Eurpspeech,$*6=>R*6>" )""*
/*60 ;$A$ 8-8 1$8 $ 8$? 8$A 
B       F    
    'SC Journal of Intercultural
Communication Research,$69 $9 )66-)<9 $)""<
/*90 @$%$:. B@  
 C @ 
  E  '  1  *6)  *!!= 
FLL&&&$$
/*<0 @$$;P$2$$B  
 .F?.T .
C Computational Linguistics )<9F<)<R<>* *!!!
/*=0 $% A$  ?$5 $ E  $E 
O1,F
 O '       
@ $*< $6 $*"><-*"#= ?)"">$
Table 3: Summary of Classification Result
  4
 *""$"+ "$"+ =<$>+
- #!$=+ )#$"+ =#$<+
;?- <9$)+ ##$"+ =<$#+
 #!$=+ ="$"+ 79.5%