首先需要了解深度学习中过拟合以及欠拟合的基本概念,然后介绍Dropout抑制过拟合的基本原理以及代码演示。

过拟合和欠拟合的基本概念

在上一节中,提到了如何提高神经网络准确率,主要方法就是增加网络的复杂程度。空间参数尽可能多,系统越复杂,拟合得越好。虽然理论上是这样,但是实际中却会出现一个问题,那就是过拟合

在训练数据上得分很高,但是在测试数据上得分相对比较低。就是过拟合的典型特点。比较专业的说法是:一个假设在训练数据上能够获得比其他假设更好的拟合, 但是在训练数据外的数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合的现象。

这里有两张图,可以清楚地说出过拟合的情况:

过拟合的情况

与过拟合对应的,就是欠拟合。所谓欠拟合,就是指在训练数据上得分比较低,但是在测试数据上得分也比较低的情况。

拟合的分类

一个良好的模型,它应该是训练集上表现很好,测试集上表现也很好的。

Dropout层抑制过拟合原理

通过添加Dropout层可以抑制过拟合。

Dropout的基本原理是按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器

dropout的基本原理

为什么Dropout可以抑制过拟合?

(1)取平均的作用: 先回到标准的模型即没有dropout,我们用相同的训练数据去训练5个不同的神经网络,一般会得到5个不同的结果,此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结果就是数字9,其它两个网络给出了错误结果。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合,取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络,随机删掉一半隐藏神经元导致网络结构已经不同,整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合,一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。

(2)减少神经元之间复杂的共适应关系: 因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其它特定特征下才有效果的情况 。迫使网络去学习更加鲁棒的特征 ,这些特征在其它的神经元的随机子集中也存在。换句话说假如我们的神经网络是在做出某种预测,它不应该对一些特定的线索片段太过敏感,即使丢失特定的线索,它也应该可以从众多其它线索中学习一些共同的特征。从这个角度看dropout就有点像L1,L2正则,减少权重使得网络对丢失特定神经元连接的鲁棒性提高。

(3)Dropout类似于性别在生物进化中的角色:物种为了生存往往会倾向于适应这种环境,环境突变则会导致物种难以做出及时反应,性别的出现可以繁衍出适应新环境的变种,有效的阻止过拟合,即避免环境改变时物种可能面临的灭绝。

如何训练一个优秀的模型

首先开发一个过拟合的模型:

(1)添加更多的层。(2)让每一层变得更大。(3)训练更多的轮次

然后,去抑制过拟合:

(1) dropout。(2)正则化。(3)图像增强

抑制过拟合的最佳方法是通过增加训练数据或者缩小网络的规模。这里所说的方法是没有办法增加训练数据的话)

再次,调节超参数:(1)学习速率、(2)隐藏层单元数、(3)训练轮次。

超参数的选择是一个经验与不断测试的结果。
经典机器学习的方法,如特征工程、增加训练数据也要做。

构建网络的总原则

保证神经网络容量足够拟合数据。

一、增大网络容量,直到过拟合

二、采取措施抑制过拟合

三、继续增大网络容量,直到过拟合

如何在神经网络中添加Dropout层?

在神经网络中添加Dropout层

最终得到的效果也是显然没有过拟合的:预测的精度要高于训练组。

训练的效果

源代码:

import tensorflow as tf
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np

# 加载Fashion MNIST数据
(train_image, train_label),(test_image, test_label) = tf.keras.datasets.fashion_mnist.load_data()

# 改成独热编码
test_label_onehot = tf.keras.utils.to_categorical(test_label)
train_label_onehot = tf.keras.utils.to_categorical(train_label)

# 对于图片数据,进行归一化处理
train_image = train_image/255
test_image = test_image/255

# 神经网络模型的建立
model = tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))        #输入层,把图像扁平成28*28的向量
model.add(tf.keras.layers.Dense(128, activation='relu'))      # 添加隐藏层
model.add(tf.keras.layers.Dropout(0.5))
model.add(tf.keras.layers.Dense(128, activation='relu'))      # 添加隐藏层
model.add(tf.keras.layers.Dropout(0.5))
model.add(tf.keras.layers.Dense(128, activation='relu'))      # 添加隐藏层
model.add(tf.keras.layers.Dropout(0.5))
model.add(tf.keras.layers.Dense(10, activation='softmax'))    # 输出十个概率值,softmax概率分布

# 编译
model.compile(optimizer='adam',
              loss='categorical_crossentropy',   #输入数据的类别标签采用独热编码
              metrics = ['acc']
)

history = model.fit(train_image, train_label_onehot, epochs=10, validation_data=(test_image, test_label_onehot)) 

# 绘制准确率
plt.plot(history.epoch, history.history.get("acc"),label="acc")
plt.plot(history.epoch, history.history.get("val_acc"),label="val_acc")

# 绘制loss
plt.plot(history.epoch, history.history.get("loss"),label="loss")
plt.plot(history.epoch, history.history.get("val_loss"),label="val_loss")

参考资料:

深度学习|Dropout原理解析

理解dropout


博主个人公众号
版权声明 ▶ 本网站名称:陶小桃Blog
▶ 本文链接:https://www.52txr.cn/2022/Dropout.html
▶ 本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长进行核实删除。
▶ 转载本站文章需要遵守:商业转载请联系站长,非商业转载请注明出处!!

最后修改:2022 年 09 月 12 日
如果觉得我的文章对你有用,请随意赞赏