Variational Bayesian Method
Introduction
变分贝叶斯方法是一类解决贝叶斯推断中难以求解的积分计算问题的方法。一般地，这个概率模型包含三部分，可观察变量，隐藏变量和参数。三种随机变量之间的关系可以用一个概率图描述。VB主要由两种用途：
- 提供分析隐藏变量后验的解析逼近方法（构造变分函数）。
- 提供计算可观察变量边缘似然（marginal likehood，或者成为证据，evidence）下界的方法，可以用于模型选择，边缘似然高的模型学习出来的概率更能表现数据分布。
Compare With Others Method
MCMC
VB可以视为MC采样（例如Gibbs采样）的替代方法，MC算法把那以求解的积分计算考虑成采样估计问题，VB把这个问题转化为优化问题。一般地，要达到相似精度VB比MC更加快。但是相比Gibbs采样，更新方程可能相对复杂。EM
VB可以视为EM算法的扩展。EM对参数后验的估计是点估计，对隐藏变量才是真实的后验估计。VBEM则同时对参数与隐藏变量的真实后验进行估计。
VAE=EM
VAE问题可以简单描述为下面的优化问题：
$$
\phi^{\star}, \theta^{\star}=\arg max_{\phi, \theta} \mathcal L_{ELBO}
$$
边缘似然可以写为：
$$
\begin{align}
\log p_{\theta}(x) &= \log \int p_{\theta}(x|z)p(z)dz \\
&= \log \int \frac{q_{\phi}(z|x)}{q_{\phi}(z|x)} p_{\theta}(x|z)p(z)dz \\
&= KL(q_{\phi}(z|x)\|p(z|x) )+\mathcal L_{ELBO} \\
& \geq -KL(q_{\phi}(z|x) \| p(z))+\mathbb E_{q_{\phi}}[\log p_{\theta}(x|z)]
\end{align}
$$
把VAE的参数求解阶段化，分为类似与EM算法的E-step与M-step。
- E step
这一步可以理解为，VAE编码阶段，变分逼近隐变量后验分布。
$$
\begin{align}
\phi^{t+1} &= \phi^{t}+\eta \nabla_{\phi} \mathcal L_{ELBO}
\end{align}
$$
- M step
这一步可以理解为，VAE解码阶段，模型参数的点估计。
$$
\begin{align}
\theta^{t+1}&=\theta^{t}+\eta \nabla_{\theta} \mathcal L_{ELBO} \\
&=\theta^{t}+\eta \mathbb E_{q_{\phi}}[ \nabla_{\theta} \log p_{\theta}(x|z) ]
\end{align}
$$
