梯度下降法是一种致力于找到函数极值点的算法。前面介绍过，所谓“学习”便是改进模型参数，以便通过大量训练步骤将损失最小化。有了这个概念，将梯度下降法应用于寻找损失函数的极值点便构成了依据输入数据的模型学习。本文仅仅作为简单了解！
梯度下降算法的基本原理
梯度的输出是一个由若干偏导数构成的向量，它的每个分量对应于函数对输入向量的相应分量的偏导。
寻找损失函数的最低点，就像我们在山谷里行走，希望找到山谷里最低的地方。那么如何寻找损失函数的最低点呢？在这里，我们使用了微积分里导数，通过求出函数导数的值，从而找到函数下降的方向或者是最低点（极值点）。
损失函数里一般有两种参数，一种是控制输入信号量的权重(Weight, 简称 w ），另一种是调整函数与真实值距离的偏差（Bias，简称 b）。我们所要做的工作，就是通过梯度下降方法，不断地调整权重 w 和偏差b，使得损失函数的值变得越来越小。
假设某个损失函数里，模型损失值 L 与权重 w 有下图这样的关系实际模型里，可能会有多个权重 w，这里为了简单起见，举只有一个权重 w的例子。权重 w目前的位置是在A点。此时如果求出A点的梯度
$$ \frac{dL}{dw} $$
便可以知道如果我们向右移动，可以使损失函数的值变得更小。
前面一节介绍的学历和收入的关系，大概是下面的这样的示例：
在前面的学历和收入的例子中，直接使用的adam。
梯度下降法的过程
如上图所示，是一条曲线。曲线对应于损失函数。点表示权值的当前值，即现在所在的位置。
梯度用箭头表示，表明为了增加损失，需要向右移动。此外，箭头的长度概念化地表示了如果在对应的方向移动，函数值能够增长多少。如果向着梯度的反方向移动，则损失函数的值会相应减小。
了解学习速率及选择原则
梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率(learning rate)
合适的学习速率，损失函数随时间下降，直到一个底部不合适的学习速率，损失函数可能会发生震荡。
学习速率是—种超参数或对模型的一种手工可配置的设置。需要为它指定正确的值。如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代;如果太大，则算法可能会“跳过”极小值点并且因周期性的“跳跃”而永远无法找到极小值点。
在调整学习速率时，既需要使其足够小，保证不至于发生超调，也要保证它足够大，以使损失函数能够尽快下降，从而可通过较少次数的迭代更快地完成学习。
可通过将权值随机初始化来改善局部极值的问题。权值的初值使用随机值，可以增加从靠近全局最优点附近开始下降的机会。
Adma优化器
在前面的例子中，例子是如何使用adma对学历和收入的关系进行训练。那么adma到底是个啥呢？
1.Adam算法可以看做是修正后的Momentum+RMSProp算法.
2.Adam通常被认为对超参数的选择相当鲁棒
3.学习率建议为0.001
Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
参考资料：
