什么是BP算法？

我们以图1所示的全连接神经网络来说明BP算法的工作原理，其中最左边是输入层，最右边是输出层，中间部分为隐含层。图中每一条边对应一个权重，基于这一权重，后一层节点计算前一层节点输出的加权和，经过一个激活函数后形成本层输出。如果权重选择得足够合理，则可以建立一个由输入到输出的映射，基于此实现某种人工智能任务。图1所示的是一个识别猫、狗、兔和鸟4种动物的宠物识别系统，输入是宠物的图像，每个输出节点代表一种宠物。当输入某一宠物的图片时，该宠物对应的输出节点将产生比其它节点更强的激发值，从而实现宠物识别。

1.基于误差的迭代学习

神经网络需要选择合适的权重才能得到期望的输出，那么这个权重如何选择呢？随机尝试显然不太行得通，一种思路是依据当前网络的输出与期望目标之间的误差来对网络权重进行调整，使得网络输出逐渐接近我们的期望值。可以用淋浴系统调节过程来类比这一权重选择过程。

图2：基于“误差”的冷热水调节

当我们想洗澡时，需要调节到一个合适的温度和合适的水量，这是我们的期望目标，而冷热水的阀门可以认为是权重。通过调节阀门的大小，可以让输出的水温和水量逐渐接近我们的目标。

可以通过如下过程实现调节：首先打开阀门，用手试探水的温度和水量，如果水温低，则调大热水或者调小冷水阀门；如果水量小，可以同时调大冷水和热水的阀门。每次操作时仅做小量调节，之后用手试探温度和水量是否合适。经过这样多次试探和调整后，就可以得到我们希望的水温和水量。

对神经网络的调节也可以采用类似的方法：首先查看当前网络输出和目标输出之间的差异（相当于试探水温和水量），基于这一差异对权重做微小调整（相当于调节阀门），使这一差异尽可能减小。重复这一过程，即可慢慢趋近目标输出。这一过程是基于误差的迭代学习。

2.梯度下降法

那么，究竟要如何对权重进行调节呢？这涉及到一个梯度的概念。我们定义网络的输出和理想目标之间差异为E，这一差异是所有网络权重w的函数，其取值因w的变化而变化。数学上，定义E对w的变化率为梯度。可以证明，当w发生变化时，在梯度方向E的取值提高最明显。因为我们的目标是使E下降，那么最佳的调节方向就是E对w的负梯度方向,这类似于发现水温过高，要反向调节热水阀门。按负梯度方向调节权重，使得输出与目标误差更小，这一方法称为梯度下降法。写成权重更新公式如下:

3.BP算法

图3：BP算法从最后一层开始计算E对权重的偏导数

我们以多层全连接网络介绍了BP算法。事实上，BP算法可应用于绝大多数网络结构（如卷积神经网络、递归神经网络等），是神经网络的通用训练算法。