bp神经网络原理简述(bp神经网络原理公式)

扫码添加渲大师小管家，免费领取渲染插件、素材、模型、教程合集大礼包！

大家好，今天来介绍bp神经网络原理简述的问题，以下是渲大师小编对此问题的归纳和整理，感兴趣的来一起看看吧！

bp神经网络原理

BP神经网络被称为“深度学习之旅的开端”，是神经网络的入门算法。
各种高大上的神经网络都是基于BP网络出发的，最基础的原理都是由BP网络而来，另外由于BP神经网络结构简单，算法经典， 是神经网络中应用最广泛的一种。

开始发展——在人工神经网络的发展历史上，感知机网络曾对人工神经网络的发展发挥了极大的作用，它的出现曾掀起了人们研究人工神经元网络的热信者潮。单层感知网络（M-P模型）做为最初的神经网络，具有模型清晰、结构简单、计算量小等优点。

只能解决线性可分——但是，随着研究工作的深入，人们发现它还存在不足，例如无法处理非线性问题，即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数，仍然只能解决哗宴解决线性可分问题．不能实现某些乱坦银基本功能，从而限制了它的应用。
多层前馈网络——增强网络的分类和识别能力、解决非线性问题的唯一途径是采用多层前馈网络，即在输入层和输出层之间加上隐含层。

BP神经网络登场——20世纪80年代中期，David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分别独立发现了误差反向传播算法，简称BP，系统解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。人们把采用这种算法进行误差校正的多层前馈网络称为BP网。
BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。

bp神经网络算法介绍

1、BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是应用最广泛的伍雹神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。

　　2、BP神经网络算法是在BP神经网络现有算法的基础上提出的，是通过任意选定哪橘芹一组权值，将给定的目标输出李毕直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。

一文彻底搞懂BP算法：原理推导+数据演示+项目实战（上篇）

反向传播算法（Backpropagation Algorithm，简称BP算法）是深度学习的重要思想基础，对于初学者来说也是必须要掌握的基础知识！本文希望以一个清晰的脉络和详细的说明，来让读者彻底明白BP算法的原理和计算过程。

全文分为上下两篇，上篇主要介绍BP算法的原理（即公式的推导），介绍完原理之后，我们会将一些具体的数据带入一个简单的三层神经网络中，去完整的体验一遍BP算法的计算过程；下篇是一个项目实战，我们将带着读者一起亲手实现一个BP神经网络（不使用任何第三方的深度学习框架）来解决一个具体的问题。

图 1 所示是一个简单的三层（两个隐藏层，一个输出层）神经网络结构，假设我们使用这个神经网络来解决二分类问题，我们给这个网络一个输入样本 ，通过前向运算得到输出 。输出值 的值域为 ，例如 的值越接近0，代表该样本是"0"类的可能性越大，反之是"1"类的可能性大。

为了便于理解后续的内容，我们需要先搞清楚前向传播的计算过程，以图1所示的内容为例：

输入的样本为：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

第一层隐藏层有三个神经元： 、 和 。该层的输入为：

以 神经元为例，则旁敏其输入为：

同理有：

假设我们选择函数 作为该层的激活函数（图1中的激活函数都标了一个下标，一般情况下，同一层的激活函数都是一样的，不同层可以选择不同的激活函数），那么该层的输出为： 、 和 。

第二层隐藏层有两个神经元： 和 。该层的输入为：

即第二层的输入是第一层的输出乘以第二层的权重，再加上亮困第二层的偏置。因此得到和的输入分别为：

该层的输出分别为： 和 。

输出层只有一个神经元 ：。该层的输入为：

即：

因为该网络要解决的是一个二分类问题，所以输出层的激活函数也可以使用一个Sigmoid型函数，神经网络最后的输出为： 。

在1.1节里，我们已经了解了数据沿着神经网络前向传播的过程，这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为 ，其中 是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于神经网络中各层参数（权重 和偏置 ）的偏导数。

假设我们要对第 层隐藏层的参数 和 求偏导数，即求 和 。假设 代表第 层神经元的运键枝输入，即 ，其中 为前一层神经元的输出，则根据链式法则有：

因此，我们只需要计算偏导数 、 和 。

前面说过，第k层神经元的输入为： ，因此可以得到：

上式中， 代表第 层神经元的权重矩阵 的第 行， 代表第 层神经元的权重矩阵 的第 行中的第 列。

我们以1.1节中的简单神经网络为例，假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数，则有：

因为偏置b是一个常数项，因此偏导数的计算也很简单：

依然以第一层隐藏层的神经元为例，则有：

偏导数 又称为 误差项（error term，也称为“灵敏度”） ，一般用 表示，例如 是第一层神经元的误差项，其值的大小代表了第一层神经元对于最终总误差的影响大小。

根据第一节的前向计算，我们知道第 层的输入与第 层的输出之间的关系为：

又因为 ，根据链式法则，我们可以得到 为：

由上式我们可以看到，第 层神经元的误差项 是由第 层的误差项乘以第 层的权重，再乘以第 层激活函数的导数（梯度）得到的。这就是误差的反向传播。
现在我们已经计算出了偏导数 、 和 ，则 和 可分别表示为：

下面是基于随机梯度下降更新参数的反向传播算法：

单纯的公式推导看起来有些枯燥，下面我们将实际的数据带入图1所示的神经网络中，完整的计算一遍。

我们依然使用如图5所示的简单的神经网络，其中所有参数的初始值如下：

输入的样本为（假设其真实类标为"1"）：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

假设所有的激活函数均为Logistic函数： 。使用均方误差函数作为损失函数：

为了方便求导，我们将损失函数简化为：

我们首先初始化神经网络的参数，计算第一层神经元：

上图中我们计算出了第一层隐藏层的第一个神经元的输入 和输出 ，同理可以计算第二个和第三个神经元的输入和输出：

接下来是第二层隐藏层的计算，首先我们计算第二层的第一个神经元的输入z₄和输出f₄(z₄)：

同样方法可以计算该层的第二个神经元的输入 和输出 ：

最后计算输出层的输入 和输出 ：

首先计算输出层的误差项 ，我们的误差函数为 ，由于该样本的类标为“1”，而预测值为 ，因此误差为 ，输出层的误差项为：

接着计算第二层隐藏层的误差项，根据误差项的计算公式有：

最后是计算第一层隐藏层的误差项：

BP原理（前馈神经网络）

公式中的e叫自然常数，也叫欧拉数，e=2.71828…。e是个很神秘的数字，它是“自然律”的精髓，其中暗藏着自然增长的奥秘，它的图形表达是旋涡形的螺线。

e = 1 + 1/1! + 1/2! + 1/3! + 1/4! + 1/5! + 1/6! + 1/7! + … = 1 + 1 + 1/2 + 1/6 + 1/24 + 1/120+ … ≈ 2.71828

bp基本原理是：
利用前向传播最后输出的结果来计算误差的偏导数，再用这个偏导数和前面的隐藏层进行加权求和，如此一层一层的向后传下去，直到输入层(不计算输入层)，最后利用每个节点求出的偏导数来更新权重。

注意：隐藏层和输出层的值，都需要前一层加权求和之后 再代入激活函数 获得。

残差(error term) : 表示误差的偏导数

（注意：激活函数的导数中代入的值是前一层的加权值）
如果输出层用Purelin作激活函数，Purelin的导数是1，输出层→隐藏层：残差 = -(输出值-样本值)

如果用Sigmoid(logsig)作激活函数，那么： Sigmoid导数 = Sigmoid*(1-Sigmoid)
（Sigmoid指的是Sigmoid函数代入前一层的加权值得到的值，即输出值）
输出层→隐藏层：
残差 = -(输出值-样本值) * Sigmoid*(1-Sigmoid) = -(输出值-样本值)输出值(1-输出值)
隐藏层→隐藏层：
残差 = (右层每个节点的残差加权求和)* 当前节点的Sigmoid*(1-当前节点的Sigmoid)

如果用tansig作激活函数，那么：tansig导数 = 1 - tansig^2

残差全部计算好后，就可以更新权重了：

学习率是一个预枝空先设置好的参数，用于控制每次更新的幅度。

此后，对全部数据都反复进行这样的计算，直到输出的误差达到一个很小的值为止。

这里介猛凯瞎绍的是计算完一条记录，就马上更新权重，以后每计算完一条都即时更新权重。实际上批量更新的效果会更好，方法是在不更新权重的情况下，把记录集的每条记录都算过一遍，把要更新的增值全部累加起来求平均值，然后利用这个平均值来更新一次权重，然后利用更新孙返后的权重进行下一轮的计算，这种方法叫批量梯度下降(Batch Gradient Descent)。