偏差在神经网络中的作用

 

我意识到梯度下降和反向传播定理。 我没有得到的是：什么时候使用重要的偏见，你如何使用它？

例如，当映射AND函数时，当我使用2个输入和1个输出时，它不会给出正确的权重，但是，当我使用3个输入（其中1个是偏差）时，它会给出正确的权重。

我认为这种偏见几乎总是有帮助的。 实际上， 偏差值允许您将激活功能左移或右移 ，这对于成功学习可能是至关重要的。

这可能有助于看一个简单的例子。 考虑这个没有偏见的1输入1输出网络：

网络的输出通过将输入（x）乘以权重（w0）并通过某种激活函数（例如S形函数）传递结果来计算。

这是网络计算的函数，对于w0的各种值：

改变重量w0本质上改变了乙状结肠的“陡度”。 这很有用，但是如果你希望网络在x为2时输出0呢？ 只是改变S形的陡度并不会真正起作用 - 你希望能够将整个曲线向右移动 。

这正是偏见允许你做的。 如果我们向该网络添加偏见，如下所示：

...那么网络的输出变成sig（w0 * x + w1 * 1.0）。 以下是网络的输出对于w1的各种值的示例：

w1的权重为-5时，曲线向右移动，这使我们可以在x为2时输出0。

只是为了增加我的两分钱。

一种更简单的方法来理解偏差是什么：它与某个线性函数的常数b类似

y = ax + b

它允许您上下移动线路以更好地适应数据的预测。 如果没有b线，则始终通过原点（0，0），您可能会遇到较差的配合。

在ANN训练期间可以调整两种不同类型的参数，即激活函数中的权重和值。 这是不切实际的，并且如果只调整其中一个参数将会更容易。 为了解决这个问题，发明了一种偏见神经元。 偏置神经元位于一层，与下一层中的所有神经元连接，但在前一层中没有，并且它总是发射1.由于偏置神经元发射1，连接到偏置神经元的权重被直接添加到其他权重的总和（方程2.1），就像激活函数中的t值一样

这是不切实际的原因是因为你同时调整权重和价值，所以对权重的任何改变都可以抵消对前一个数据实例有用的值的改变...添加没有改变值的偏置神经元允许你要控制图层的行为。

此外，偏差允许您使用单个神经网络来表示相似的情况。 考虑由以下神经网络表示的AND布尔函数：

ANN http://www.aihorizo​​n.com/images/essays/perceptron.gif

  • w0对应于b。
  • w1对应于x1。
  • w2对应于x2。

    • 单个感知器可以用来表示许多布尔函数。

    例如，如果我们假设布尔值为1（真）和-1（假），那么使用双输入感知器来实现AND功能的一种方式是设置权重w0 = -3，并且w1 = w2 = 0.5。 这个感知器可以通过将阈值改变为w0 = -.3来表示OR函数。 事实上，AND和OR可以看作m个n个函数的特例：也就是说，感知器的n个输入中至少有m个必须为真的函数。 OR函数对应于m = 1，AND函数对应于m = n。 通过将所有输入权重设置为相同的值（例如，0.5），然后相应地设置阈值w0，使用感知器可以容易地表示任何m-n函数。

    感知器可以表示所有原始布尔函数AND，OR，NAND（1 AND）和NOR（1 OR）。 机器学习 - 汤姆米切尔）

    阈值是偏差，W0是与偏差/阈值神经元相关的权重。

    链接地址: http://www.djcxy.com/p/32067.html

    上一篇: Role of Bias in Neural Networks

    下一篇: What are some good resources for learning about Artificial Neural Networks?