PreprintPDF Available

Challenges of Deplatforming Extremist Online Movements: A Machine-Learning Approach

Authors:
Preprints and early-stage research may not have been peer reviewed yet.

Abstract

Online extremist movements are increasingly using social media communities to share content, spread their ideologies, recruit members, and mobilize offline activities. In recent years, mainstream platforms, including Twitter and Facebook, have adopted policies to remove or deplatform some of these movements. Yet online extremists are well-known for their abilities to adapt, self-censor, and migrate across online platforms. How successful have these extremist movement deplatformings been? To answer this question, we begin by training a classifier to identify content generated by four prominent extremist movements: white supremacists, patriot/militia groups, QAnon, and Boogaloos. After doing so, we use this classifier to analyze approximately 12 million posts generated by about 1500 online hate communities across 8 social media platforms, including both mainstream and alternative platforms. We find that the deplatformings of Boogaloos and QAnon by mainstream platforms were initially highly successful, but that both movements were able to find ways to re-introduce their content on these platforms. These findings highlight the challenges of movement-based deplatforming, and they point toward important implications for content moderation.


  
!"#$%&'
'()*+"$,$-. ,$*'/'00
-12+'
'( *+"$,$-. ,$*'/'00-
12+'
'/3/,$*'/'-12+'
%'"$/-12+'
'-12+'
/$'4+5 6$7''
2#5
89++.+$ $+++)
$++#+#:).)'; 
++<+$=7>&#?.+.
<++1+.+'9+7@?71#)
1@+$<+'A71.
9++.+<+$#B=7)7#$# $
C)1 $# 1+9++.+57
+D+)$E2!$'2F$7
C 9+ +$# #00
++)G+<+$#++).
<+',C<+$1!$E2# ++<+
7) $ 1##+.+7#C7 @
<+'=C$$$$1+.+@#
<+$ 7++)1+)'
 
=#+19++.$>) '
2$ 1#++).+<+.
$++)1?@+1+++#7
++#+$:).)'=).)
:.H@IJ'&$1+ +?+++
<+&#?=7>.$C K+
+.+1$1+1)# 
1<+$H@%J'K1$9+
..)1+.)$+'
*<+$7?B( 1<+$.1C 1
C<+CH@%IJ'=+
$1<+$#  $K1<+$)+.+
#  $K+)++).<+',$
 )C1 1<+$'
=C@#<+$77<++.#
.$)'(+1+<+$L+.1-''
(*=+17$ M0>?-''/L1
$ '*<+$$@C+ $C # 
$'(+. 1+
N<+#7$17$ . N $$ 
1<+'2 @#<+$7<+#
1 1+$@$'&9+
00&#?#1A<+'41$
$$17'&<+C)
17+.7.# $ '+1
9#+#  + )$$$>+ 
1)'
=C 1<+$+.+@#''+.O
) P7)$$1 $.
)$'&9+7+#7+@00&#?
7+.79+!$+.+'
=<+$1.1+$'=C#.C)'
(<++C #7$.+.+'
= Q7+.++ 
++)#++)FK+$ $ '
=+.+7 +)+ 
$'= F$7+L7.)$N$
7 1++)7+.+<+ '! 
++10019+&#?)C.
++)1!$<+'=+.+@+$
# )$7++)7$ #.
n influential
s
? 7?7#R$+'+ 77+.+S
##.C1
# 1#7<+'&9+
!$17$+.19 !$++)+
<+!$&#?++)
+.+'
 +.+@#<+$'*+.+<+$
977+.+.
<+OPB=7)7C.+$$+
+71$@7$9++.+'=7
$71+++)7+.+T+ 1
++).#<+'*$7 9
77+.+@+$17$
<+$'= #+77$1
++)19+1'8%I0
++)71+G<+7+++
++)1+0U$*+#0'=) 
#+1++).$7?71+
). 17++)+<+H%@UJ'
8..$'&7). +++
<+&#?=7>.1+)7
).$ ++<+"#=$+
%/'=779+
+.+7  1@O++<+P7 ?+
1 O).<+P)$+#C '
1# 1<+7  <+$ ++
<+ ).<+) 7$+$)'
& #+S7?H0@J
7.1+.+<+$H@%J' 7#
C$  C 9
7@+$'

8)#$# )1 $19++.+
',%
+.+# 7++)$#+$
4$@$$9++.+7 #$'
=!$ $+.+7++#1$
$1+$$#$$1-''.7'V
9++.+!$)$+.) $# 
)$1+.A7+7 7++7
)$ O'$'.7 $'P'!$#
T
focuses
VKontakte, Rumble, Bitchute,
how
b
affects the content on
Using this data set,
removed
subsequently
: Boogaloos, Patriot/ Militia Groups, QAnon, and White Nationalists/ White Supremacists
)@$.+)@@$@$'8:+1+>)@@
.$++1007>1+
?7 M>?-''/'=!$+.+1+
$)T++)1!$.#
+# +$ )9$ '
?!$E2+.+#$+'=+.+..
C1 # )+$1+ +
;)CWEX'&7#.E$@?$-''$.+Q
7$  )+$7+$117'=
+.+# '&71
+.+) $).<++#G?#$ +.
7++<+ 7?17$00-''4)'= 
.#?.$@C1:.HGJ'
;)!$E2717+N9++.+
7$;+'=C7
+7+ +)+)1 W7)'X,
)D+ 17O7 CP
$19.. '8# 
$F..) 91.77
.+$1+$+))'=
+.+. + 
W.+X'=$. 151+.7$
1W)4X)1.
71 @@1 $1"+ '
=.++)7+.+#:@
YYY@))@+)$+$'
?7+7)+)$$#$
+.W(X$1+:7@#1;'=+.+
 1+ #+ $$1)
-''$.+#1- ))
$7'++ .$#$ 7'
!7 + #<1#$$.+ K1+$
$)+7-'=1
+.+.+)R:T.
++)#)$$ '=  
$$Q)+$1+)$$
'(.)++#1+#+$+'
= + 1+7+ D)$'"$
++#F+'=$.7$+#+
 7$72+R$'+1+1+$$
%
Much of the content posted by this movement, and many of the key actors, have been deplatformed by mainstream social media
+.+8Y(! ==(',+1
$+ #+9)1+.+
17)D+'=+.++)
7!$#>)$##)1
.7'
;0U009$@7$9+++.++1
++)71++.++<+5&#?
"#=$+'V +<+K.+N
++)1?@+1$&#?=$+'
=<+7# 7?7#+$++#
1+.+ ',#$# $<+1
+?7#7+.+'=7)1 
++)#$$+.+', ?1+++)
++)77  1$'
, ++)# .7$+)
++1  C11+.+#
#.'2 ++ 7+#$1++
+.+7$'8 ++) 
9 )C791+.+7
$'&9+1E2++ #)C 
E2@C C+.+'2
++ ?7W==+( X
E2#$  1$@7$9+7
$';7%U++)$
'=;)1+)$'
;1+<+$ 7#H0@J# )$
#$1++)1+$<+',)C
++)# $+$#$;'
8++ +<+1++)',
++  1+10+
++ '&7C
OP71.1-/$$
+$*+1)$TO#P
+&$$+ O''9+)+D
)+P'=+)17++ ++ 7
++ $',)C%I0++)
 '=;)1+)
'
!70U*+#07
++)$+#)1+++',+.@
4$@$$# $"$S/+$$*'8
91+++$.'=;.
and had public discussions
assessed
s
evaluated
s a hate community
using this approach
and our sampling procedure
1+)#)1++)9<+',
$$)1'2$1+#
-#1-'')#
11414$@?$',
+?+)#$$)1'
277# ;77
7'2 7+
7+11<+')1 $1+)7
'1+)#7'-+7'2
 +',#..1+;!'

= 7C1+919#?71
++ @ '4++ @ )19
++ $. $++'2++)7
.++ @ $$G0@0@5%0%G
+1+',+
1+1G+7K$C)9)
+'4+1 19+$1+.+)$
## 9#$1+.+7##)+
'
,+1+1G+#@1+$
C1+1$)'8C
+) 7?$!4=9+#$HMJ7 1U'Z'=
;.)1+)$$G+7+
11+1)$7+ 
)1+7$'
!
A.$#1+$C$+71 
%I0++)##.';7CUI0++ @
 1.$+'=9+ +
++'
,#$ $$@.# +$##)$# 
$+'& 7.$##)++)
7C1 #$11+.+'27&$
$.$## )+@717)D+
+$+.+S$$7+++#'8 $. 
.$## $.++ 77)D+
7$ #7'%'M'+++7(DV)+.+7
.$#$#7'''97E27#$)+@
## 10'#+#100-''4)$#
M
from the
0' '& .$## 
++)771+71+!$+.+7). 7
$ 0'0'=;..1C$<+@# @<+#'

 !   
"
,#$ $<+$# 1$!$+.+'=+.+
) $7$ &#?$$#   +1
00'&7$1:....$!$&#?#$
<+$!$2HJ'V ++)#&#?$
$7+.$)+$+ 
$';&#?7+?1C+$
!$++)7+!$@+'&#?
)+.$!$++)$++100'
;+&#?S+.1!$++)9 
$1.7N++)'V .7$ 
7&#?'=+##
I
and remaining at this elevated level throughout 2021
$1+.$+.+)  $1+
<+'8+!$++)7+.++#7
$$$'(++ 7#
!$&#?++)'
;1&#?S<+$1!$+.+71779
!$!$@?&#?#$$2100'=
?#&$7#C.$## 
++)7?&#?7!$++)';7)$
G0++)+ Q7!$+.+
$191+ ';0U 00
7$C!$'*$!$7
$$#+>)++#7R$71
&#?++)'&1+
$7+#1+%/7+.
!$'8.91!$%/++
$ &#?7#$1
007!$$++'
"#!$
% !   
G
new, coded
;2007$!$&#?
++)77# +.)'!$
@+$ $++100C#$$1
$ '#1?7@.';#
&#?S$$K$++71
'!$&#?++)
+). 71   '
;07.!$&#?++)
$C ';1+7# 1
!$@+$&#?<+S+)K'=.)$
7+ 9+++)C$
## 1$!$';+$+)+
## #. 
'
8.71C&#?++)# 
)). !$++)$)+'
=919.1+$+C))
1.7+++$!$? 1
$+++)!$$)+';)$ 7
1.7O+W#$XW#$$X
P#71@$&#?S7
1'
?7 1+$$!$@+$
.$7+.+).++)'&$7
1+$?1+++)1$!12=#
&+49.O2=&P-''$.+$ $71$$
71$1!$++? '=#>+F+$
1A7? 1!$) ++
!$++'&$%)1+$1++
7$1.9 !$)++A7
OFP$R$7A7O#>+FP O#>+$P
9+)1!$O$P'
=7$$&#?S<+$1!$
+.+'&7.$.<+$7) K).
$!$&#?.10070'
#))..1+C@.71
.&#?++)$C+1!$@
+$&#?0',K)$C$
'
U
preventing a full reemergence of the Boogaloo movement
over
(Aug 2020 - Dec 2021)
, meaning these communities were almost certainly posting Boogaloo content
conclusions
&'!(# 
""
0
)!(#
 ""

,) # 1$E2'&7$ M0>?
-''/#=7>&#?K+.E2
++)1+<+'&$#77.$
## 1++)#$CE2.)+'=?#7
.$1&#?++)$#7=7>7"#
).<+$## E2+.+'
;0UE27). ++"#7+.+7)
$ ).).<+'A7.$100
? 7$>)-''4)1 E2$+
++<+'=#&$7#=7>&#?
7.$##)4)1
F+7100@'
&7$'M +1<+$ &#?=7>7
+9'8=7>#  
 F M# 0.1E2$ 7 
70U'$+1+1=7>++)
).$##)1#$E2++)0
+)$$1+)$ 1+1 '8&#?
7)E2#@.$?7
E2.)+0'

QAnon Movement Deplatforming
2021
QAnon
a
levels of QAnon content
entirely
*+),-%.-!%/
/,

81#$$$ 1$+<+L7
#+1 <+L)17K). 
+.+1';7.1C1
#+597<+$1)+.+K).+.$
7+.+',# C$$+)1 
11+$@7$9++.+', $+$
1++)7$1<+'
,.? C$'&7C<+$1!$E2
717# $97+.+S
++)<+'=+ 7<+#
)1 ++)7+.++.+O''+ 1
++)$P#7+.+7
7<+'7C$ +F
<+$+ +.+ @
# 7@.'=$$
+7K).)$+.$) 
7 ++).'+.+S
@+$ ',1#)).

content
with
spikes in posting activity
in the two cases that we studied
)..19+!$7#$&#?
++)0++)9 Q7!$'
=C$$$$1+.+@#<+$1
<+$+$ ' 77)<+$#K).
+' .$<+$.@).K
 .$9+).<+) )$+9
HJ# 1'
,++.+<+$) 1
9+
+..)+'89)1+ #F)
F>)17<+? .
1$<+$';1+$#F9+$
+.1+++<+ $).<+
++<+7 >#17$'=
+#  1';$$7++
<++).<++ #?1?
##771))>+
++';19  +$##>#+7
9+OP.+.) ##)K
' $..$$$# 9++.+
).<+#>#<+S1+K1
$+.++$'
2#)17?+)$)Q 19@#
+ 9++'2++)+19@#9
++17+$+$.'=
 7!$7F)$## 
.+ ++1+.A7'
$C)+$L77?79 '
$977#!$@+$
&#?0'49+$.++)+ 71+
)$ !$++';+++7
#9++++)77
.++)'=$$ !$$+9 
)$#.)+# )$#$$
 ++'&+.
+7)1+9@#'
8 1++)'&#)1 )
)1++)+1+'=$ 1+
<+. $$'=?$$<+
+# +@1@.. ';1#
)$ 1C + +1
).1$ '81++)+
%
H
Some
as
. However, policies banning movements require significant maintenance;
learn to
plot their
repost violative content
s
+.771'2F.+1# .++#
1+771 #4$@$$++)
<+7+C)1++)',.+ 1
++).++)7$ '8
C$+#++)7)C',11+
)#7)+<+$.9
7K 17+1+
++)#711+1+17?7
)$ '
2+)C$1C $# 
++)+ +$11',
C)1 1 1$ 1
++)+711 $.1
+#+ '=C$# $ 
? +#+11 1$'
2C+)17? 711#7
<+$';771+ 
# !$E2 F<+$
+7+## +? $
.'

8
!
HJ8?2'A7'A?4'[V'\[[('O0%P'49
+$ $+';' 0 '
4+"(#$+'
HJV]Y'\7/'O00P'&+$+5=7>)@+ 
)+')''12&3&'
HJ,+V''!('.2'A'\8'O00P'A+52)@
!?)@V++1: $ 
$$.+'%#4$ 5OPU@I'
H%J!'!$/'".='V'\! ?*'O0GP'*$52
)$'6'78'
HJV]Y'\7/'O0P'&$R+15+
+'47)3O%P@MI'
HMJY*'2'?4'/'A'0'^$@,$V()-^
23.'*8;50'D1'D'
HIJ82'/)/'! '\ Y'O0GP'=K19+.
1';)))9
O''P'
HGJ2'V'A'2#4'!?#'*/14'_>'\$
"'O0P'-$K1<+$7?';&)$:
;'$""O'GI@UP'
HUJ.'! /'$*'\!?+2'O0P'4.)$K).1
<+$+)$ =7>')$:<
$79*O//,P@0'
H0J"!'\!$'O00P'/$9++5/$1
$++)+)' 09"OPM@U'
HJ"'O0GP'! $5/+.)$+)
+'2:0' "OP%%U@%'
HJ' '''''"#''''\'&'
O0P'87?+/8;*@U1
.+<+''(7OP@G'
HJV>='O0P'/$.9++'9
=>5OP@I
H%J!('\,+V''O0P'/ #7>52)1
+C)))+$1 +?$' 0
OP@%'
M
HJ"$3$!&$,$A$/ '0'*)$K.
7.1. .$@7>';($1
2/V)1;1+)?7$+$+$UG0LUG%
VA;-2'2/V'
HMJ_$_'\'O0UP'A)52.#+B$$
1$7>'';OPU@U%'
HIJ*$&'/+2'*S8>&'(V'\=V'O0IP'A+
+5A)1#?';9$
$  ?9%)'$@O'GM@UP'
HGJ!$='(!'\Y)'O0U2$P'.1.+'
;"39A)$:9$)'2!
) :O'G%@G%IP'
HUJ$2'2'?)4'!#('$'(!'!'$'\=?
'2'O0P'=+$=7>B80M-)+$
F+'+ 4'5OPI@0%'
H0J'&'_$V'# .'"#2'EA''V('
*'4'$/'\, 'O0MP'7$ 1.
$$$5;;# ''&*"OMUP%U@%M'
HJ'&' ''''_$V'V('*.?
('\, 'O0UP'A). +1$#
$ '2*&OIIIPM@M'
HJ'&'''' '"#'48'_$V'
V(', '\'O00P'=+))#7@)@
.).7'2*B"OIGP0@'
HJ.'! /'$*'\!?+2'O0P'4.)$K).1
<+$+)$ =7>')$:<
$79*O//,P@0'
H%JA#V'A+A','\,>*''O0P'*<+$
(S). 1$+'2)'C"OP$0'
HJ/!'\_ !'O00P'&#?+.)@$.+
`!$S$'2#$24&00'
HMJ'8>V'" '*'V'/*''''\ .'O0UP'#52
# )+#$'D77D353"'
HIJ2'V'A'2#4'!?#'*/14'_>'\$
"'O0P'-$K1<+$7?';&
""O'GI@UP'
I
HGJ!?>'O00P'E25)+1.?  '%
,5'
HUJVV'O00%P''/+#$-. ('
H0JA"'4'8'*/14'Y');'+'\
!?#'O0IV P'Y??$++52++ 1%S
) 1+K7#';9)))9$
;':'
HJ$@/a/'O0GP';%1-
E 'A>-Y'
G
ResearchGate has not been able to resolve any citations for this publication.
ResearchGate has not been able to resolve any references for this publication.