ArticlePDF Available

TSB-UAD: an end-to-end benchmark suite for univariate time-series anomaly detection

Authors:

Abstract

The detection of anomalies in time series has gained ample academic and industrial attention. However, no comprehensive benchmark exists to evaluate time-series anomaly detection methods. It is common to use (i) proprietary or synthetic data, often biased to support particular claims; or (ii) a limited collection of publicly available datasets. Consequently, we often observe methods performing exceptionally well in one dataset but surprisingly poorly in another, creating an illusion of progress. To address the issues above, we thoroughly studied over one hundred papers to identify, collect, process, and systematically format datasets proposed in the past decades. We summarize our effort in TSB-UAD, a new benchmark to ease the evaluation of univariate time-series anomaly detection methods. Overall, TSB-UAD contains 13766 time series with labeled anomalies spanning different domains with high variability of anomaly types, ratios, and sizes. TSB-UAD includes 18 previously proposed datasets containing 1980 time series and we contribute two collections of datasets. Specifically, we generate 958 time series using a principled methodology for transforming 126 time-series classification datasets into time series with labeled anomalies. In addition, we present data transformations with which we introduce new anomalies, resulting in 10828 time series with varying complexity for anomaly detection. Finally, we evaluate 12 representative methods demonstrating that TSB-UAD is a robust resource for assessing anomaly detection methods. We make our data and code available at www.timeseries.org/TSB-UAD. TSB-UAD provides a valuable, reproducible, and frequently updated resource to establish a leaderboard of univariate time-series anomaly detection methods.
TSB-UAD: An End-to-End Benchmark Suite for Univariate
Time-Series Anomaly Detection
 
  

 
  

 
  

  
  

 
   

  
  


          
      
         
           
        
       
         
          
        
        
        
        
    13766    
       
        18 
   1980     
       958  
     126 
        
        
    10828     
       12 
        
         
    
       
      
  
          
         
        


        
      
         
         
       


 
          
      
             
         
    
         

       
        
     
  

      




      
         
         
        
    



   
        
   







        
        
          
         
         
           
         
        
          
         
       
        
        
          
          
        
       
        
        





   





  
         
        
        
        
       
         
        
       
        
        
      
       
        
         
           
OPPORTUNITY IOPS SVDB Daphnet MGAB MITDB
Occupancy ECG GHL SensorScope NASA-MSL SMD
KDD21 NASA-SMAP NAB Genesis Dodgers YAHOO
                   
  red                
         
    



  
 13766       
         
         
        
18     1980   
        
         
         
        
       126 
 958        
     
        
       
         
        
          
        90 
       
        



         
   92     
 10828       
        
          
        
         
        
      
        
         
           
         
         
          
      
         
       
    
         
   12    
            
         
        
        
          
      
         
         
         
         
        
      
       
        
         
        
        
       
          
         
         
          
       18 
       
      
        
        
         
       
        
     
        
        
        
      
          
       
 
 
      
        


          
        

   
         

     

  
         
         
             
         
           
       




        
          
     







      
        
     
      



 
 

     


       
          



      
       
   

     
         






     
  

 

  
           
         

      
       
          
 

   
   
     


 
        
       


         
      
   




 
           
         
         


      
 

 
         


      
         
     

  
     

   


       
      
        
       
         
      
    
          
         
       
        
        
        
         
          
        
          
         
    
       
         
1200
0300 600 900
𝑃𝑜𝑖𝑛𝑡
𝑎𝑛𝑜𝑚𝑎𝑙𝑦
20
0510 15
𝑎𝑎𝑛𝑜𝑚𝑎𝑙𝑦 𝑜𝑢𝑡𝑠𝑖𝑑𝑒 𝑡ℎ𝑒
ℎ𝑒𝑎𝑙𝑡ℎ𝑦 𝑟𝑎𝑛𝑔𝑒
1200
0300 600 900
𝐶𝑜𝑙𝑙𝑒𝑐𝑡𝑖𝑣𝑒
𝑎𝑛𝑜𝑚𝑎𝑙𝑦
𝑐𝑎𝑛𝑜𝑚𝑎𝑙𝑦 𝑖𝑛𝑠𝑖𝑑𝑒 𝑡ℎ𝑒
ℎ𝑒𝑎𝑙𝑡ℎ𝑦 𝑟𝑎𝑛𝑔𝑒
20
0510 15
1200
0300 600 900
20
0510 15 20
0510 15
𝐶𝑜𝑛𝑡𝑒𝑥𝑡𝑢𝑎𝑙 𝑎𝑛𝑜𝑚𝑎𝑙𝑦
𝑏𝑎𝑛𝑜𝑚𝑎𝑙𝑦 𝑜𝑢𝑡𝑠𝑖𝑑𝑒 𝑡ℎ𝑒 𝑙𝑜𝑐𝑎𝑙
ℎ𝑒𝑎𝑙𝑡ℎ𝑦 𝑟𝑎𝑛𝑔𝑒
𝑎. 1 𝑇𝑖𝑚𝑒 𝑠𝑒𝑟𝑖𝑒𝑠
𝑎. 2 𝐷𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑡𝑖𝑜𝑛
𝑐. 1 𝑇𝑖𝑚𝑒 𝑠𝑒𝑟𝑖𝑒𝑠
𝑐. 2 𝐷𝑖𝑠𝑡𝑟𝑖𝑏𝑢𝑡𝑖𝑜𝑛
𝑏. 3
𝑏. 2
𝑏. 1 𝑇𝑖𝑚𝑒 𝑠𝑒𝑟𝑖𝑒𝑠
𝑃𝑜𝑖𝑛𝑡-𝑏𝑎𝑠𝑒𝑑 𝑆𝑒𝑞𝑢𝑒𝑛𝑐𝑒-𝑏𝑎𝑠𝑒𝑑
0
20
𝑉𝑎𝑙𝑢𝑒𝑠
𝐹𝑟𝑒𝑞𝑢𝑒𝑛𝑐𝑦
        
        
          
         
         
          
         
       
        
          
           
        
          
       
        
         
        
      
   
        
        
    



  
         
          
        
           
       
     

   



        100
        
          
        
     
       
        
       
       
          
        
       300   
         
        
          
        
           
          
      
  

     
        
        
         
         
        
    
        
        
         
        
        


    
    
       

  
         
        
         
         
         
        
         
        
         
        
         
        
        
       
          
          
        
      
    
       
           
          
         
         
         
        
        
        
         
    
           
        
         
         
          
          
       
     

 
        
       
       
           
         
         
    1     
          
        
     
         
         
       
        
         
    

    
          
         
       
         
         
        
        
        
         
         
        
       
         
        
          
        
          
         
       
         
          
        
       
        
  
         
           




       
       
        
         
         
       
        
           
        
         
        
         
         
       
    
        
       
        
       
       
        
     
18
  
         
       
       
  






     
      
      
     
      
      
      
      
      
      
      
      
     
      
      
      
      
      
         
       
 
    18  
        1980  
         
        
         
        8 
       10 
        
         
         
      >0.8 
         
         
           
        
       
         
      
         
          
          
        
     


       
          
     


      
      
    
  47 
       

       
         


      
     


      
      
         

       
       
          
    
  

    
        
        
         
        


     
       
    


       
         
       

     
          
       


        
         
       


    
           


     
       
        


     
      
       
        
     


     
     
       
       


     
       
      


      
      
   
 
     
        
       


        
          
     958     126
       

 
        
       
 
    
     

     
        
         
        
       92 
  10828       
         
        
        
          
           
          
          
           
  
    
          
       
          
       
       
       
      12   
          
         
        
   
    
       
        
            
        
        
        
         
        
        
           
          
       

  
           
          
           
        
          
         
    



    
       
 

      
         
        
         



      
   
    
10
     
         
       
       
  






   
   
   
   
   
   
   
   
   
   
   
 
=
  
 
ˆ
=
(ˆ
=|)
     

 
 
    


( + )/
2      

        
        
           
        
          
          
             
         
   
   

     
=/

   
 
  

  
 
<
   

   
     
      
=
20
  
   
=/
    
    
   
  
    
      
      128      
       

  
           
          
         0
.
65 
       
       126   958
         
          
        10
       
     
   
         
        
       
       
          
  =(0, 1, ..., )  
4.3.1 Global Transformations:     
         
         
         
        
          
           
       
        
        
  
      
      
, [
1
, ]

  
0=
0
=
=1
   
   
=+ ··
  


     
N (
0
,
1
), [
0
, ]
 
     
=+ ··
 
          
          
   

  
·
  
         
=+
5
         
    
= ()
   
      

    

    
     
 

         
==F1(F () F ())
      
        
        
1
2
          
   
=[0:/21, /2:+12]
4.3.2 Local Transformations:     
       
       
     
 

     


        
      
          
         
           
      
4.3.3 Subsequence Transformations:     
           
        
         
         
          
           
        
           
          
          
        
        
         
           
         
        
        
          
       
        
      
          
          
      
   
     
           
         
   
  = /( +),

  
 = /= /( + ),
 
 
 = /= /( + ).
 
         
 =
2
·  ·/(   +).
   
        

         
         
           
         
         
          
        
           
         
         
        
      
   
  
        
       
          
         
          
           
         
         
        
      

      

      
 
         
    
1200
0300 600 900
𝑎𝑆𝑖𝑛𝑔𝑙𝑒 𝑎𝑛𝑜𝑚𝑎𝑙𝑦
1200
0300 600 900
𝑏𝑀𝑢𝑙𝑡𝑖𝑝𝑙𝑒 𝑎𝑛𝑜𝑚𝑎𝑙𝑦
1200
0300 600 900
𝑏. 1 𝑀𝑢𝑙𝑡𝑖𝑝𝑙𝑒 𝑑𝑖𝑓𝑓𝑒𝑟𝑒𝑛𝑡 𝑎𝑛𝑜𝑚𝑎𝑙𝑦
𝑏. 2 𝑀𝑢𝑙𝑡𝑖𝑝𝑙𝑒 𝑠𝑖𝑚𝑖𝑙𝑎𝑟 𝑎𝑛𝑜𝑚𝑎𝑙𝑦
𝐴
𝐴
𝐴
𝐴𝐴
1200
0300 600 900
𝑐𝑆𝑖𝑛𝑔𝑙𝑒 𝑛𝑜𝑟𝑚𝑎𝑙𝑖𝑡𝑦
1200
0300 600 900
𝑑𝑀𝑢𝑙𝑡𝑖𝑝𝑙𝑒 𝑛𝑜𝑟𝑚𝑎𝑙𝑖𝑡𝑦
1200
0300 600 900
𝑑. 1 𝐸𝑥𝑎𝑚𝑝𝑙𝑒 1
𝑑. 2 𝐸𝑥𝑎𝑚𝑝𝑙𝑒 2
𝐴
𝐴
𝐴𝐴
𝐴
𝑁
𝑁
𝑁
𝑁
𝑁
𝑁
𝑁
          
         
         
        
         
           
          
         
        
       
       
 
    
       
          
         
        
  

     

          
         
       
      
         
          
         
           
        
         
         
         
          
        
        
          
         
         
          
       
          
        
         
 


      
        
   
       
         
         
 


(, )
    
 

  
 ()=min(, )
 
  ()=E(, )   
=
E[ ()]
E[ ()] .
            
           
         
            
         
         
      

           
         
         
=
E, ,[(, )]
E, ,[(, )]
          
      
     

            
        
          
        


        
=
min, (, )
E, ,[(, )]
            
         
         
         
          
        
       
 
           
12          
            
      



 
          
        
          
        
         
         
         

   13766      
 1980     18   958  
  126    10828    92
         
        

         
        
          
         

      
         
        
        
     

       
    

  
           
            
  

     
        


        
              
  

    
      


         
        
 
    
         
     

  
        
        
 

   

 


      
          
       
          
 
      
        
          
         
      
         
         
           
          
     
<
5%   
           
         
        
         
         
          
           
             
            
        
          
       

          
         
           
           
          
           
              
            
            
         
(a) Measures standard
deviation
when we inject lag
(b) Measures standard
deviation when we
inject noise
(c) Measures standard
deviation when we vary
normal/abnormal ratio
0.4
0.3
0.2
0.1
0.0
Accuracy standard deviation
Precision
RPrecision
Recall
Rrecall
Precision@k
F
RF
AUC-PR
AUC-ROC
Precision
RPrecision
Recall
Rrecall
Precision@k
F
RF
AUC-PR
AUC-ROC
Precision
RPrecision
Recall
Rrecall
Precision@k
F
RF
AUC-PR
AUC-ROC
          
           
    
     
           
       
       
         
           
      
        
      
          
         
      
      
 
         
      12    18 
           
         
         
         
           
         
         
             
         
       
     
         
           
           
            
         
          
        

       
 
        
         
         

      
 
 
    
   
  
[−
0
.
25
,
0
.
25
]
[−
0
.
05
( ()
()),
0
.
05
( () ())]

[
0
.
01
,
0
.
2
]

       
         
          
        
           
         
           
      
         
           
        
          
           
           
      
   
   12    18    
         
          
  
   
=() +
3
()
     0   
          
        
        
      
          
      

 
        
         
           
       
          
         
         
         
          
          
           1980
        
         
          
          
          
        
         
         
         
           
         
        
       
         
        
          
          
       
           
      
        
         
           
          
          
          
     
         
        
           
       
        
       
        
      
     
       
        
        
    
  
         
          
          
         
        
          
          
         
          
          
          
         
          
         18            
            
           
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
     
     
           
        
        
             
        
      
          
         
        
        
          
         
          
        
         
          
        
          
          
          
          
          
           
        
          
          
         
Dodgers MGAB SensorScope SMAP+MSL ECG NAB YAH OO
(a) NORMA: AUC(b) IForest: AUC
(b) 92 synthetic datasets:
(a.2) NORMA vs IForest(a.1) NORMA vs POLY
(a) 126 artificial datasets:
           
          =
0
.
05
         
         
        
        
      

          
        
           
         
           
         
        
         
          
          
         
        
        
        
         
       
         
         
          
          
          
          
         
        
          
          
         
        
        
         
       
Dodgers MGAB SensorScope SMAP+MSL ECG NAB YAH OO
(a) NORMA: AUC(b) IForest: AUC
          
      
          
          
        
          
          
           
          
        
   
           
        
      
         
           
         
       
           
        
         
             
          
      