条件似然函数为：

(1−3)<script type="math/tex" id="MathJax-Element-69">(1-3)</script>

  隐藏层各神经元的条件概率为：

(1−4)<script type="math/tex" id="MathJax-Element-70"> (1-4)</script>

  可视层各神经元的条件概率为：

(1−5)<script type="math/tex" id="MathJax-Element-71"> (1-5)</script>

   若 b<script type="math/tex" id="MathJax-Element-73">b</script>，c<script type="math/tex" id="MathJax-Element-74">c</script>，W<script type="math/tex" id="MathJax-Element-75">W</script> 均为训练好的参数。对于样本集中任意一个样本点 xi=(xi,1,xi,2,...,xi,n)<script type="math/tex" id="MathJax-Element-76">x_{i}= ( x_{i,1},x_{i,2},...,x_{i,n} )</script> (n为属性个数)，其属性值 xi,j<script type="math/tex" id="MathJax-Element-77">x_{i,j}</script> 对应可视层神经元 vj<script type="math/tex" id="MathJax-Element-78">v_{j}</script>。根据公式(1-4)，将样本点 xi<script type="math/tex" id="MathJax-Element-79">x_{i}</script> 所有属性值代入公式(1-4)，可得特征提取后的样本点 x′i<script type="math/tex" id="MathJax-Element-80">x_{i}^{'}</script> 。
   接下来介绍如何对RBM进行训练得到参数 b<script type="math/tex" id="MathJax-Element-81">b</script>，c<script type="math/tex" id="MathJax-Element-82">c</script>，W<script type="math/tex" id="MathJax-Element-83">W</script> 。

2. 受限玻尔兹曼机（RBM）训练过程——对比散度算法（CD-k）
   学习RBM的任务是求出参数的值，来拟合给定的训练数据。Hinton[1]提出了RBM的一个快速学习算法，即对比散度(Contrastive Divergence，CD)。由于CD-k算法中（k表示采样次数），当k=1时，即只进行一步吉布斯采样，就能达到很好的拟合效果[2]。故一般采用CD-1算法的形式，来拟合各参数的值，如图2。

图2 CD-1

   对于初学者来讲，在训练RBM的过程中，并不了解如何根据样本点 xi=(xi,1,xi,2,...,xi,n)<script type="math/tex" id="MathJax-Element-101">x_{i}= ( x_{i,1},x_{i,2},...,x_{i,n} )</script> (n为属性个数)来设置对应可视层 v<script type="math/tex" id="MathJax-Element-102">v</script> 的状态，以及如何设置隐藏层神经元的状态。此处提供一种常用的方法，并做简要说明：
   对于训练集 S<script type="math/tex" id="MathJax-Element-103">S</script> 中所有样本点 (x1,x2,...,xN)<script type="math/tex" id="MathJax-Element-104">( x_{1},x_{2},...,x_{N} )</script>（N为训练样本点的个数），计算在第 j<script type="math/tex" id="MathJax-Element-105">j</script> 个属性下所有样本点的最大值 maxi∈N(xi,j)<script type="math/tex" id="MathJax-Element-106">\underset{i\in N}{max}(x_{i,j})</script>，以及最小值mini∈N(xi,j)<script type="math/tex" id="MathJax-Element-107">\underset{i\in N}{min}(x_{i,j})</script>，当xi,j−mini∈N(xi,j)maxi∈N(xi,j)−mini∈N(xi,j)<script type="math/tex" id="MathJax-Element-108">\frac{x_{i,j}-\underset{i\in N}{min}(x_{i,j})}{\underset{i\in N}{max}(x_{i,j})-\underset{i\in N}{min}(x_{i,j})}</script> 大于阈值 δj,1<script type="math/tex" id="MathJax-Element-109">\delta _{j,1}</script> 时，则对应可视层神经元状态处于激活状态，即“1”，否则为“0”。将可视层神经元状态值，此时只有“0”和“1”，代入至公式（1-4），得到隐藏层神经元的激活概率，当激活概率大于阈值 δj,2<script type="math/tex" id="MathJax-Element-110">\delta _{j,2} </script> 时，隐藏层神经元的状态值为“1”，否则为“0”。阈值 δj,1<script type="math/tex" id="MathJax-Element-111">\delta _{j,1}</script> ，δj,2<script type="math/tex" id="MathJax-Element-112">\delta _{j,2} </script> 的设定，可以根据数据集的不同有所不同，亦或是随机产生[0,1]上的随机数，作为 δj,1<script type="math/tex" id="MathJax-Element-113">\delta _{j,1}</script> ，δj,2<script type="math/tex" id="MathJax-Element-114">\delta _{j,2} </script> 的值。

• 参考文献：
  [1] Hinton G E. Training products of experts by minimizing contrastive divergence[J]. Neural Computation, 2002, 14(8):1771-1800.
  [2] Bengio Y. Learning Deep Architectures for AI[J]. Foundations & Trends® in Machine Learning, 2009, 2(1):1-127.
  [3] 张春霞, 姬楠楠, 王冠伟. 受限波尔兹曼机?[J]. 工程数学学报, 2015(2):159-173.