Conference PaperPDF Available

Markov Chain Score Ascent: A Unifying Framework of Variational Inference with Markovian Gradients

Authors:

Abstract and Figures

Minimizing the inclusive Kullback-Leibler (KL) divergence with stochastic gradient descent (SGD) is challenging since its gradient is defined as an integral over the posterior. Recently, multiple methods have been proposed to run SGD with biased gradient estimates obtained from a Markov chain. This paper provides the first non-asymptotic convergence analysis of these methods by establishing their mixing rate and gradient variance. To do this, we demonstrate that these methods–which we collectively refer to as Markov chain score ascent (MCSA) methods–can be cast as special cases of the Markov chain gradient descent framework. Furthermore, by leveraging this new understanding, we develop a novel MCSA scheme, parallel MCSA (pMCSA), that achieves a tighter bound on the gradient variance. We demonstrate that this improved theoretical result translates to superior empirical performance.
Content may be subject to copyright.
   
  
    
 󰞂
 
msca8h@sogang.ac.kr
 󰝭
 
jisuoh@sogang.ac.kr
  
  
jacobrg@seas.upenn.edu
  
 
adji@princeton.edu
 
 
hongseok@sogang.ac.kr

       
            
          
          
         
            
           
            
        
         
          
      

            
             
          
             
           
         
             
      
      
            
         
              
            

󰞓󰄰󰞖

󰣏        
󰢺        
 
        
              
             
            
       
            
           
            
         󰇵󰃼  
              
 󰃼             
           
             
           
                
              

               
               
              
         
           
           
               
           
                
           
             
            
        
 
           
           
·                 
            
¸              
       
¹           
          

      
              
          
              
            
󰃼󰃼󰁝󰁓 󰃼󰃼󰁝󰁓
 󰁓󰃟  
            
󰞓󰄰󰞖
           
            
            
               
              
      
      
 󰇵󰅍
󰣏󰇵󰅖󰅌󰅍󰇋󰅍󰇘
 󰈪󰅖󰅌󰇘   
 
󰇵 󰅍 󰇋󰅍 󰇘
󰇘   
󰇵󰅌
󰅍󰇐󰇵󰅕󰅌 
󰇵 󰣏󰅍󰇋󰅍 󰇘
󰇘   
󰅌󰅍󰇐󰅍󰇐󰈥 
Notation󰅌󰇵       󰇵      󰣏  
  󰅍󰇵      󰅍󰅎     󰅎 
  
    
             
          
            
󰃼󰁜󰁓 󰃼󰃼󰃼󰃼 󰃼󰇵󰅖󰅌 󰃼󰁝󰁓
 󰇵󰅖󰅌          󰃼󰁝󰁓     
          
             
                  
           
         
         
             
   
            
            
            
               
            
          
        
   󰁟󰁓󰁠󰁟󰁔󰁠󰁟󰃙󰁠     
    󰁟󰁓󰁠󰁟󰁔󰁠󰁟󰃙󰁠
           
󰁓
󰃙󰃙
󰃶󰁞󰁓 󰁟󰃶󰁠 󰁓
󰃙󰃙
󰃶󰁞󰁓󰁟󰃶󰁠
           
󰂪 󰂪 
       
             
                
            󰁟󰁓󰁠󰁟󰃙󰁠 
       
            
              
            
 󰃶
󰃶
   
       
       
             
              
              
              
           
               
              
  󰁝󰁓            
             
                
            󰁓󰃟󰅍    
            
            
              
              
   󰅍󰅍         
           
           
             
           
      
                
                
          
  
          
         
       󰞂    󰞂
             
           
   
 
        󰟒󰞃󰟬
                  
            
          
              
   
     󰞂  󰞂   
          󰞂     
          
            
󰁔   
              
           
   
          󰃼󰃼 󰇵󰇵
            
      󰃼       
            
        
         
󰃳
󰄫󰅄󰃳
󰄫󰅄
 󰃼󰃼            
            
 󰃳
 󰃙󰁝󰁓
󰁔󰄁󰣏󰁜󰃙󰁝󰁔󰃳 󰃼󰅁󰁔󰃼󰁝󰁓󰁔
 󰞂󰟒 
       
            
       󰞂        
             
         
        
          󰃼    
         
             
            
󰃼󰅁󰁔
󰁔󰃼󰁝󰁓󰁔󰁓
󰃙󰁝󰁓 󰄷󰅍󰃼󰁝󰁓󰁝󰁕󰝢󰁔 󰄣󰇵󰅖󰅌󰃙󰁝󰁓󰁔
󰁔
 󰄰 󰞂󰞂       
  󰈰󰅍󰈩󰇲󰅍  󰁔
       
      󰁓󰃙󰁝󰁓       
       󰁔     
              
     󰁔       

   
            
           
           
                 
             
              
           
  󰃼            
           
               
              
             󰞂  
              
󰃶
󰅄󰃶󰅄󰅄󰅄󰃶󰟒󰅄
      󰅄󰅄
󰃶󰞏
󰄁
󰁔󰃶󰁝󰁓 
󰃝󰄁󰅄
󰅄
        
󰃳
󰅄󰃙󰃳󰁝󰁓󰁜󰁓
󰁟󰁓󰁠󰅄󰁟󰁓󰁠󰃙󰃳󰁝󰁓󰁜󰁔
󰁟󰁔󰁠󰅄󰁟󰁔󰁠󰃙󰃳󰁝󰁓󰁜󰃙
󰁟󰃙󰁠󰅄󰁟󰃙󰁠
 󰃼󰁟󰁓󰁠
󰃼󰁟󰁔󰁠
󰃼󰁟󰃙󰁠
󰃼          
  
 󰇬
󰇬󰇒  󰇵󰈺󰅍
󰅍󰇵󰅖󰅌󰅍
󰅌󰇺󰣏󰅕󰇳󰇵󰇒 󰅍
󰅍
 󰄰 󰁔
󰃙󰅍󰃙
󰃶󰁞󰁔󰃶󰁝󰁓
󰃵󰁞󰁓 󰁟󰃶󰁠
󰃼󰁟󰃵󰁠
󰃼󰃼󰁝󰁓   
     󰞂󰟒     

       
             
           󰞂  
        󰞂   
               
              
         󰞂    
        
       
   󰁟󰁓󰁠
󰁒󰁟󰃙󰁠
󰁒
  󰁒
  
  󰃼
 
 
󰁟󰃶󰁠
󰃼󰇵󰅖󰅌󰁟󰃶󰁠
󰃼󰁝󰁓

󰁓
󰃙󰃙
󰃶󰁞󰁓󰁟󰃶󰁠
󰃼
󰃼󰃼󰁝󰁓 󰃼󰃼󰁝󰁓

       
       
        
  󰞂   
 󰞂     
     
      
       
        
       
      
     
            
          󰁓󰃙 
      󰞂
           
            
             
        
         
󰃳
󰅄󰃳
󰁟󰁓󰁠󰅄󰁟󰁓󰁠󰃳
󰁟󰁔󰁠󰅄󰁟󰁔󰁠󰃳
󰁟󰃙󰁠󰅄󰁟󰃙󰁠
 󰁟󰁓󰁠󰁟󰁔󰁠󰁟󰃙󰁠          
  
 󰇬
󰇬 󰇵󰈺 󰅍
󰅍󰇵󰅖󰅌󰅍󰅌
󰇒󰅌
󰇒 󰅌
󰇺󰣏󰇵󰅍
󰅍
 󰄰󰞂󰟒    
       
             
󰞂            
                 
           
            
              
             
pMCSA
Variance
10−2
10−1
100
101
102
Iteration
1 2k 4k 6k 8k
JSA
Iteration
1 2k 4k 6k 8k10k
MSC
Iteration
1 2k 4k 6k 8k10k
MSC-RB
Iteration
1 2k 4k 6k 8k10k
          
             
     󰁕   󰁙    
󰁕󰁖󰁗󰁘󰁙         
         
SGD
pMCSA(ours)
JSA
MSC
MSC-RB
FinalKL
0
20
40
60
Stepsize(γ)
10−3 10−2 10−1 100
Momentum
Stepsize(γ)
10−3 10−2 10−1 100
Nesterov
Stepsize(γ)
10−3 10−2 10−1 100
ADAM
Stepsize(γ)
10−3 10−2 10−1 100
             
             
󰁖             
            
       
 

    





      
     
     
     
      
    
      
     
     
      
     
              
            
             
             
         

  
          
           
          
               
              
           
          
            
           
  https://github.com/Red-Portal/KLpqVI.jl
          
󰟐   
     
yacht    󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁗  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁖
concrete    󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔
airfoil    󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓
energy    󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔
wine     󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓
boston     󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁔
sml     󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔
gas     󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁕
  󰤝         
         
            
           
 
            
              
               
             󰞂
           
            
            
             
            
      󰁔     
            󰞂
           
          
              
         
           
           
               
            
    
airfoil
μ
−4 −2 0 2 4
pMCSA
ELBON=1
ELBON=10
gas
μ
−4 −2 0 2 4
      
       
       
      
     
     
     
       
     
      󰁖
      
   
      
 
      
     
       
           
    airfoil  energy       nat
  nat   gas          
          nat   
              
     
          
󰟐   
    
yacht    󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁗  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁗
airfoil    󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔
boston     󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁕
energy    󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁗
concrete    󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁔
wine     󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁓  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔
gas     󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁔  󰝴󰁒󰅂󰁒󰁕  󰝴󰁒󰅂󰁒󰁖  󰝴󰁒󰅂󰁒󰁔
  󰤝         
         
            
           
             
            
            
              
              
               
           
    
            
             
           
       󰁖      
          
          
         
         gas    
               
             
  gas        
          
              
                
               
              
 
 
          
              
                
             
              
               
             
     
            
     󰁔       
      
             
           
           
           󰁔
             
              
            
             
           
             
           
               
           
               
             
             
 󰃼            
              
  

           
           
             
      
             
           
          
            
              
            
    
         
           
              
             
            
           
             
              
              
               
             
         
            
            
        
    
              
         
            
           
           
  
              
               
           
         


           
       
           
      
          
 
           
         
          
           
  
            
       
          
     
           
    
           
         
           
      
           
         
     
            
           
         
            
        
         
         
   
            
   
          
          
          
     
            
           
       
            
          
    
            
          
 
          
           
        

            
     
           
          

            
         
 
           
           
      
            
           
           
           
          
 
          
           
   
            
           
      
         
          

           
          
    
            
    
            
  
        
         
            

         
            
          
          
  
            
           
     
         
     
           
         
     
           
           
         
          

          
            
          
           
    
           
       
            
        

              
           
           
   
           
         
            
       
            
     
              
     
           
  
          
           
      
             
      
          
          
  
          
  󰁔    
           
           
           
      
            
            
           
             
     
           
        
           
           
     
           
        
          
    

          
  
           
       
           
          
       
         
           
       
            
           
         
           
   
         
           
             
         
           
    
          
   
          
           
 
           
           
 
          