PreprintPDF Available

Abstract

Online hate speech is a critical and worsening problem, with extremists using social media platforms to radicalize recruits and coordinate offline violent events. While much progress has been made in analyzing online hate speech, no study to date has classified multiple types of hate speech across both mainstream and fringe platforms. We conduct a supervised machine learning analysis of 7 types of online hate speech on 6 interconnected online platforms. We find that offline trigger events, such as protests and elections, are often followed by increases in types of online hate speech that bear seemingly little connection to the underlying event. This occurs on both mainstream and fringe platforms, despite moderation efforts, raising new research questions about the relationship between offline events and online speech, as well as implications for online content moderation.
Oine Events and Online Hate
 !"#$
%&'((&()*"+&",&-&+&").//#,0
%&()*"+&",&-&+&").//#,0
.1.+&").,0
2'3))*((4%&'("+&",&-&+&").
//#,0
#".,0
5. (6"7 
Abstract
8&(&(&'( 7&"!*7&9*&&"(&* &
:* &(&(& ( &;&-&-+&*("
!* &&"&(  (&< *'3
((!*&* 3&":*+( (-& *(&
&"&3=3&(>&(( &:*+
< ;&&""-( ('?37 !&(&
3&(!*&"&@((' &"-A&
((!*&* 3&":* &* 'B&&"7
('!'&!7;&- &(7
&*&('3&(* '
8& 9*&*(&'( 7&"!*("!8&
"3&CD*&  E &( & &-& ((**&'(&* &:*
7(&7**! *'*( &;&!-&"
? 7&(**&' &9((-
&*"'-((FG0'*&('-&(3&"D<
-&((>@(C,.&2&"(" 
&""- !37 !&(&(FG(&C&
(-3!7 &(&*&&C&-&
(&*FD>D=GA&((&(&('&!7;&&""-
 &((( &(&&!"&&" 
  
+3 (('!7&( ;&-"
-(&("+3(37&"'HI7 &
((;&&""-J)(' &B(*&*-3&"
:*J0;&-37 !&(& &( 
-J8((!C&  !;&- **!3&
(**&' !&"("&*&" "J
%&7C* &"&<(" ('" &"&(+&
379('F=DKG9&'"7C3(&(&3&"&(!&
(*(&3&"*3(FLDGM&7C 
7 3*(&* &:**&* *  :*
FD/G0(-3 A7&@7!3* & (&'(
&"*  ('3&(F>G((-7&*&'7
*&'"$&(&&C-*'(!7*   
3&":*( *(*&-(&<('3(&  
!@  @3&(37&";&-
+( (*(*&- 3&(!&( &""3(&
* &:* (&3&"'-"3(+( (
-& *(&&"&3=3&(&"#L*&&N"&D
"" 73*#/&(**&'>(&* &:*-
(3L*8(- -"$&7&( ('-
*  *&*:*O$(!CPC 2"*O- 
3(Q-&" "R&(&"&(7D*  
:*!A"* (A&7(&(7 
!< 3*  :*( !(&3&"! "33
(!&"7!97&(;&-37 
! &B3&($& (('B!"&!(('"
&(**&'(:*F#D=G7&"
N9(-3&&-&!F#D>G
(&(7&&*&C&!!3 ?;&&""
-
Data and Methods
8 (('B!"&!& '3&"&(**&'M(&* &
:*B& &-& *E&(**&'3&CD*&  (3
"$(!C(A"* **"! (+
& '< ( & &(**&'!&"7!*&"(  (&! &
" &&2+&(  (**&& (**&&3*
3/*((**&&(  ($&&
(7 < (&QR(7 3 -&&3
,& . " &"(&*((( &")*3
'("& &SQ!R(*$(&& "&"&*
Q&9*'&* T(&& '&&*RA *&'37
&(**&&(**&7* *&"(&&+& '< 
#/&(**&'&(  && 
7/L )(*!//7( 
(**&'&"(*!&'3*  ** +*- D
N"&D""!&""U.*("")(8 &( 
93#L*&&  &( &*"-&   &A2-& 
&3*' &&!'3 (**&'(&9:*
8 ( 3=3(H("'"(" &"&" 
& 'T9&'Q2T8R&**&"'&(&T& '&T'&*QNT2TR
7'D*&'*A2-&  &'&3*'!77 <
3(+(3(!(&*-&73
(**&'7!-  &'"&!3*(
Q" (D((R
A((&&" 37& *( 7
(& (3=3(+& * &'"&
!7* &(&3& (" &'"&!7D3
&(!( (&(0( &&(&!(  (&&"
!7/ =3(2&&" &( *
(  S2-&  &'&3*'!( &"(  &&"

+ (( ""&(('30"3*
!( &,& ! & &(&3,&'(!
3 &(&3N& 3N"&DC&"(&+
*C*'!""&(('3
,&""&* - !FKG7& &># &
*(& L>L 3*(+(* 3*(3>* 7&
&B&"(&<(' 9'* A!3*&"*  
7C(&<7&NA*! &"FLGA* U(((" 3*L=V
LKV  &"3(A2-&  &'&3*'
(*&"3*(3* 7   (&!&"&" &
3*(3* 7(A !7! =*(&
&""&*&"&* (37&((&<7  
(&"&-3(
Results
+!"&&!3(&" &&!'33(7&& 
%03$&"77*(& (3(3*
(**3(&(**&'7(C &(&*7&(&
=*&&M &&"&'"3*(**&' & (&
(7&%A(**&'? &( & *
3 (97&(7 & 0!/V3
(& *3(%. &(73(&3
((D(( 7&&*M&7C&'-( 
7&9('!&""  'D*&'*7&(&7C"'-A*&"
( &&( NT2TS*(&(&""(&""
"'"(&<(&("
#

 !"##
$#%
+9 7((" -'*$&"&("&
(&(**&'-'*%07* &
(3 &(#/(**&'0('-&&(**&' &B
*'(!  37C 7 &(=D 
&"-"A*!3 *7  - 
& &(&"!!>=V3*!>///////// &
A7(&!&C&('-&H&MT// &
-*!//AC;&- &( & &"& 
7QRM#C&&"3"$ !M&&&(W( &"
"& !(C&-M@QMR*-*S QR-*!//,
('%773* &"7
-7&(&M&*& &(
&"& 3& (';&('-&('-&&&
(**&'&( *'(
%.7-& &( &"7-("3
(& ( ( 27  &"-&( -
"$&%)7**!3(
A2-& -&3!:*
>
(& &*& &(&-'*A7'-*
((( &"-*' !-
&
#'(# #
(#$(#)
%(#
+('&"7&((" -'*!3(&"(3
($&"7* &(3(
M-((&"!;& &(B(&(S73(
"("&'*D& &" & +& '3-"
&C&&('-&((&"&// 37&" HQR
7&(&"& '*&'*SQR$!L7&(&**&"'SQR
M7&((" 2T8NT2T '*&'*S QR-*!
7&(&"&" 2T8 &**&"'#
A2-& -&3!:*
#(!C&(<*("& 7&&7&&
@3(QX///R "!C&'*D&
=
*++
((#
,-.!/0%
+*-&7 3*&  &"&C (( 
(& 7&37&";&-HQR&'32&
Y*&*&SQR(&&! 3AC ("& !&(&7
"*!3*&3""N,&SQR"
$ *  &"S QR-*!//,('>
+3(9&-N(&$&"7("&&
(37&"3-( &B3( 
&B7*&-3(3(//! -D
&"-"&-$&"37'-("&
3(3(3(?(-$7&"&*&&'
>N- 7&"!&(& @7 &B( 
*!&&'-+3* *&7&* 
&(&(<*&C&7 -23
&
K
-3(&( &"&<(7&"&(&&"&QL/VR
 'D*&'*Q>#VR2'"&"&9 &7"
2*!&(7&&'D*&'*3( ('27!& 
&'A("&(('-& &"ACD(! (&&&
73-7 & H"&(&'D&**&"'(7&
'-&@("&
A"&(&('-& &" & 37  3"
$  ('  &"&"A3(&(&( !
#/V! ! 3*& ! !7& !&
&-A&&&&""&-"'-('&*
"*3!&(+&&&"7-&3(3*
3(&(  *'(&'*(&2T8Q=#VRNT2TQ>/VR
" Q#/VR 'D*&'*Q/VR+&$ U  7"
3* !&"!(&&&&&&'-(7'&-
-&339*"  9&'
A//,('&'"(,&C-7-
9*& ('7(  &(**&'*&"(&'(&'3&
A&$&"7*&(-*&-37
&2** &!3('7"&(&&"&*3
7&(&2*!&(S&!&--&N 
 ('N(')Q-*!R ('&"" ('
3& 7&!0(& %Q-*!=R7"&(&
2T8(Q-//VR &**&"'(Q#/VRS7-3" 
37 2*77-3(&&"23" 
& ' 9&'7*& &"(*&"S&"7-3
(& &(!"(3*&"'DAY
&"& **&"7& "3&'("(( & '
 -&C7&&**&"'7*&(*&"&& !&
/>!?& U-&(&(&(  ('7 
* ,&**&"'&(A&"7-3" (!
" 7 &(%& P*I&! *-&73
-2'""(&&733 &"(*&"
&(((" '-&@!3 ?('A&*!
!(3(( &-&"  3*&&"&*& 
- "&& (* & &"$ U Q
$&"R
L
12+(2+#((
(
/
(('-&&( "9?$ U 73(&*
&&-$&"#7&*&3$&"!!C 7!
:*=A@("37-@(:*
!((*C*E&3 M&&"&'-"
&(&($(!C8$(!C &-"3(&&"(
(&( !3(3/7&& 3$ U  *& &"
- Q#9R*83((&'D*&'*"  
2T8&( !"*$(!C &";&-+!-
&*&@! A"*H-"&(&(("7&
*!!&(&-3 -
7C?-8PC7-7'-&@('
-!(@ ,&'(K
=2"*&9(  3*$&"#!(7" & &"
&& *C*&"3&3(!("&('-&
KA&(&2T8('-&PC&*& D! 
-

3%4,56)+
(5(4
Discussion
8< &"--&*&('3( (''A<&&
(&" "7&"!*B(!*&* 3&":*
8- &  &-*3!"-"3////C 
 #////    #///*&7C3 -*
9*&( ('-& (& A!*  :*FKDLG7
< :*7 & &( &"*  (
&(  &&( B(&&!*  :*'( &"
( 33//0"*:*&(&"(**&@ *-&"
( *&(&((&(:*Q39*
2$&"KR)&B!*&*:**-(&"7&
-*3&":*(( A"*Q2$&"= LR8&9*&
C7*&"D*  :*?!&"*- 3**&*
:*F>G7&(*!('!!&( &(*C
2&3((&('7*&*:*U(* '
B(-("3&(2'(< &"&-
('$&"&-&< &"3 (39*&(A!

 < &"3&(&(*  :*7 !@3
  &"3( &' 7&(:*(!*B('-&* '"
(P3(&( 3(Q"((* 
9*&(R3*3(Q"9--& R -&"
&-3*&(&(;&-2 &'"&-7&(C
C7*&"(:*C&33(&-&*(3&
*&"'*&(&(+9*& 7*&(&(
:* 3**&*:*7*3**&"3&":*J)
*&-  9*  !&"*(37&""
7&*J0?(*&"' 3*&(&(((
("J)&(!(**9*37&*&(&J
( &C&&(37&";&-&*& 3&"
:*+C73*&7C&((("37&"
;&-FG! 7(*&3&((
:* 3(7&(& &*70? 3
"$ 39*"&(&&(&!*Q&
*!3R7(!&"&(7
$(!CQ$&"#RA&&'(&C&""&-$(!CU&( @'
(* 'A&*&('3&3:*& !(&
7(3 &"(& !&(&(3&":**!
 &('-3'&*&&(&7:*&79&
3(
$& *&*7< &(( &B&";&
-& &B *'*(D&&'-7+*&"((&
3;&-&*3@3(37*$&
7 !;&-( &!!37 !&"&<(&(&(
Q&-&--&"3"3(R! 7&@('3*&
(**&'$9*M(//&-&P(C&(3
03&(D0*&(7** A&*AC&&"737 !
'-* &(&&&(**&'7(C Z&("
('* 3"$ 7*0( 3;&-&
&37 ! &(&(&&(! &( 
;&-  &&'-&(CA&'3&*& 
AC&DC! (&&!-3&0& 3;&-&
37 !&(& ! (( 3&(!&  
'3**&" &'3&&';&- "
"&9&- *&"& &(&*&*N-3&(-
"D'"B(@ -*3&(2 & 
* 3"$  ,N('!-3&2*!
&&'-39*&(" &"(7 &( &"M

"&-7-7( !E(3(*
3&(&(  &"'*&( &"39*2T8
7&(3(7 -& &((('&3&(!&
 (
+3(9& &B'&!7& &-& ;&- &
(J0 & &3&'&! (3&!! 
9&'"7C& F/DG7(E(C3(*!* &
@'2*!(!-* -&3&(';&
-  &&(3-&* &$9*C&&"
3A(&- &@@'&,'* &&7C37 &
Q!(&((  &"'*7*,E& &('7(&"
<(C 73.82)DL *&(R !(*&"&<(*& &"
37 $ * A&*&&' N,! (&&
(&- * &@'!3'*M ,('
A!-'""* &@'*!3C3(9&
7@3&(37&"& &-& ;&- &B
+37C7&&-'"&&!&&73(*9&
@!- &0'(&*'337C&
&-'"7&((*&C!37 !!  *&"
& &(&*&(( 3&(&C7&&'3
7&((&"" !(-*&C!37
!((( &3(
8 3(7&*&*&'A<&*3&
(**&'&7&*(*&-&&*7&7C
(-&(*+ !&-7-( *3**& ('-
&(**&'7&((&" < &" 
((&&*& !&((**&'7& '<  '&
("-& &-& 7:*+(&33*'&
!7;&- 3(*3*&&
(**&'!7(&33*7&'& (
&("A&("3(&* &:*&- (
("&"07:**" (* 'B("& &-&  
(**&'(*-&"3*:*:*&- ( 
(7 & ((A(C&" (&" :*&&*& 
!*D3D-&( &-(((2&3&!('
("3&((< (&**3((&
'-3("
0( &*&'37C&& 73(&3(!7
!- ;& &*+-&7 (& 7&&C&

&( &( !- ((  !'- &""
-7 (&! $7&" 3"$ 39*"
&(&(& ((Q$&"R&(  *
3( $ (&(*( &"&  &" &"
(( &(&&(7 ;&-
+(( !'"*(7C*&! !@  
'&!7;&- &(+-( ( 7& D
"&"&3&(Z(3(*&(**&'
  &-3:*+--&  -& (""(*9'&
!7;&- &!7 &B3& !7
*   3&":*A&&*'3((
*' &(&& ""-"&3*&'"'"&($&
(*  !&(&"7(33;&- B* 
!"* 37&"&"&-( B(3;&-&
(*! &W( &( *&(C-- ! 7&(3
""!  & *&'"'B&(&(-
 &('-3;&(&*FD>D=G'9&3;&&""-
!37 !! (( 3&(&( (&*3
 &&'-A& !(B(3;&- &B
3:*?&*&(* *&*:*( 
 -(&B!*'(!-&""&" -*3&"
:*
#
References
FG8C0I7 IC&N[&M4[[%Q/RN9&
*""(&* &2(7
N* %!&&"&*& 
FG%4+&&*MQ/>R, *H& '3&"(!A7&@(
*'( ((&'(+8)3D#
FGM\P4(7.Q//R$*"(&*HA7&@ 'D*&&
'*(%9:*1;<*
FG+&&*M%- 0&I48Q//RI&*(&H0'D
(C 'DM&*(&* & &(3;&(& &"&
""- (&* #8$=<QRLD=
F#G(*& 04+&" MQ/=0&R0-( ('&"
""(&"2>,#'
QD/R
F>G$%4Q/KR0-*'( ('3(&
9$?$#(-$@9.3QRD/
F=G&- M&(CM )&.$!&(&- 2"*+!
/>]0&"A"3I&8&(&M &^A(=<*<BB<;C$DM(
@HTT9&-"T!T>//==/L 
FKG0&+3%I& M@7+&&*/K]AN*0*",H
)('"I(7&A _8&"U""N*! &"^01&-HK//=L#
F.GM(@HTT9&-"T!TK//=L#
FLG*E)E&(&"`!&M&M&E!-&(  -E-&( 
*& &'/#I( ('7&(***! &"2%( &"
32'.3(+ +& +!.*&2'+ 
+& +!.3(&".**&@"LZ/
F/G.&C&!A0(&A*M   &."/>
0!&-"")('&8&,.2%( &"3#2'
.3(+ +& +!2'+ +& +!.3(&"
.**&@"#Z#
FG%4+&&*MQ/#R.!(7&@H0&('3
*(&(&<(' ''(* &"3&(  (&&*C&"7
BQRD
FG"1&"&$&"+"I" ./)('"B&-
7-&&(3 &(--"(7&@(2%( &"3
>
0.M&'(3(23*' C7 "*"*"LK/ZLK
M&I2,00.M
FG`"`4Q/LRI( ('H0- !*J("&"(
3"&7&@#E%<Q#RL#DL#
FG)&"$.&*&0)U8@$%((&M4A(&MQ/=RI*
*HI( ('3(!C2F$
$%-F+$B.QK>DL#R
F#G$`"M!-!&0Y&IM&%
)N".4+(Q/>R7&("3 -&
"""H22 ! *3&Q>LR#LD>
F>G$`"MM&%)-C
%4+(Q/LRI& &&(  '- *&(3"!&
(":3B*Q===R>D>#
F=G$!&N8 `"M
M&%+(4Q//RA&(*''!7D 'D
-((&'-&7:3G&Q=KR/D
FKG(& &PA*C4-2Q/*!R8'<('3*'D
! 28+$?HI)(
)%Q#D#KR&"&I& !"
FLG)-&."M+P4A-PQ/KRH%D&&"3 
!& &('3*3""  &"A(A(G<<1G<3
F/G"& A%4P'Q/L0"R-3&&-&*
2&<;F+++J$?F#$(:'
?QKDK=R
FGM&@AQ/R.&"&N9*&*  &(&(F#
2K#D
FG(".-&&(AM&4C)Q/KR)"(H
0('("& )L
FGMMQ//R.*!& ",&-&%
FG(& &PA*C4-2Q/*!R8'<('3*'D
! 28+$?HI)(
)%Q#D#KR&"&I& !"
F#G+3A.* )!)".M&040MQ//
8(!RA3*HD3DD""(&"2
=
&<&<$+?:H
)#QKD#R
F>GM\P4(7.Q/R$&"a*3H(&* & 
(&*8++#;QRD>=
F=GP)0&C N.I /b&"D+&"(&M & %&'(,b
(01&-)82H/#T3&T#
FKGM"P4%&&Q//R&"D+&"A!H0  * 
('-F#8J#L/>/L>=>=
FLGI&* &I*&0.0M!&M(& )M4+@)
Q/RN9*&&"(*'3 &((A!:#
GQR
F/G@+4N*MQN RQ///R?#$#
.*!& ",&-&%
FG.MQ/R$#8,%893 
List of Supplementary materials:
 ).('
 A&&")
 M(&&"M  M ('
 0* A&(0&
# 0 &'
K
ResearchGate has not been able to resolve any citations for this publication.
ResearchGate has not been able to resolve any references for this publication.