说明：本文依据《Sklearn 与 TensorFlow 机器学习实用指南》完成，所有版权和解释权均归作者和翻译成员所有，我只是搬运和做注解。

进入第二部分深度学习

第十一章训练深层神经网络

在第十章以及之前tf练习中，训练的深度神经网络都只是简单的demo，如果增大数据量或是面对更多的特征，遇到的问题就会棘手起来。

• 梯度消失（梯度爆炸），这会影响深度神经网络，并使较低层难以训练
• 训练效率
• 包含数百万参数的模型将会有严重的过拟合训练集的风险

本章中，教程从解释梯度消失问题开始，并探讨解决这个问题的一些最流行的解决方案。 接下来讨论各种优化器，与普通梯度下降相比，它们可以加速大型模型的训练。 介绍大型神经网络正则化技术。

# 常用的引入和初始化设定
import numpy as np
import os
import tensorflow as tf
# to make this notebook's output stable across runs
def reset_graph(seed=42):
 tf.reset_default_graph()
 tf.set_random_seed(seed)
 np.random.seed(seed)
import matplotlib
import matplotlib.pyplot as plt
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
# Where to save the figures
PROJECT_ROOT_DIR = "."
CHAPTER_ID = "deep"
def save_fig(fig_id, tight_layout=True):
 path = os.path.join(PROJECT_ROOT_DIR, "images", CHAPTER_ID, fig_id + ".png")
 print("Saving figure", fig_id)
 if tight_layout:
 plt.tight_layout()
 plt.savefig(path, format='png', dpi=300)

1.梯度消失/爆炸问题

什么是梯度消失/爆炸

传播误差的梯度，一旦该算法已经计算了网络中每个参数的损失函数的梯度，它就使用这些梯度来用梯度下降步骤来更新每个参数。

• 梯度消失：梯度往往变得越来越小，随着算法进展到较低层。 结果，梯度下降更新使得低层连接权重实际上保持不变，并且训练永远不会收敛到良好的解决方案。 这被称为梯度消失问题。
• 梯度爆炸：梯度可能变得越来越大，许多层得到了非常大的权重更新，算法发散。这是梯度爆炸的问题，在循环神经网络中最为常见。
• 深度神经网络梯度不稳定，不同的层次可能以非常不同的速度学习。

目前流行的激活函数sigmoid等，可以看到当输入值的范数变大时，函数饱和在 0 或 1，导数非常接近 0。

因此，当反向传播开始时，它几乎没有梯度通过网络传播回来，而且由于反向传播通过顶层向下传递，所以存在的小梯度不断地被稀释，因此较低层确实没有任何东西可用。

这样就导致了每一层之间的信息无法很好传递。

def logit(z):
 return 1/(1+np.exp(-z))
z=np.linspace(-5,5,200)
plt.plot([-5, 5], [0, 0], 'k-')
plt.plot([-5, 5], [1, 1], 'k--')
plt.plot([0, 0], [-0.2, 1.2], 'k-')
plt.plot([-5, 5], [-3/4, 7/4], 'g--')
plt.plot(z, logit(z), "b-", linewidth=2)
props = dict(facecolor='black', shrink=0.1)
plt.annotate('Saturating', xytext=(3.5, 0.7), xy=(5, 1), arrowprops=props, fontsize=14, ha="center")
plt.annotate('Saturating', xytext=(-3.5, 0.3), xy=(-5, 0), arrowprops=props, fontsize=14, ha="center")
plt.annotate('Linear', xytext=(2, 0.2), xy=(0, 0.5), arrowprops=props, fontsize=14, ha="center")
plt.grid(True)
plt.title("Sigmoid activation function", fontsize=14)
plt.axis([-5, 5, -0.2, 1.2])
save_fig("sigmoid_saturation_plot")
plt.show()

解决办法

Glorot 和 Bengio 提出需要信号在两个方向上正确地流动：在进行预测时是正向的，在反向传播梯度时是反向的。 我们不希望信号消失，也不希望它爆炸并饱和。

为了使信号正确流动，作者认为需要每层输出的方差等于其输入的方差。实际上不可能保证两者都是一样的，除非这个层具有相同数量的输入和输出连接，他们提出了折衷办法：随机初始化连接权重必须如公式所描述的那样。其中n_inputs和n_outputs是权重正在被初始化的层（也称为扇入和扇出）的输入和输出连接的数量。 这种初始化策略通常被称为Xavier初始化。

公式如下

在满足之前要求的每层输出的方差等于其输入的方差的情况下时n_inputs = n_outputs，公式可以简化为

现在发展出了不同的激活函数，logistic、He、Relu等。Tensorflow修改了部分方法名称。

• activation_fn变成激活（类似地，_fn后缀从诸如normalizer_fn之类的其他参数中移除）
• weights_initializer变成kernel_initializer
• 默认激活现在是None，而不是tf.nn.relu
• 不支持正则化的参数

2.非饱和激活函数

这里使用的使Relu作为激活函数，优点是对于正值不会饱和，而且计算速率更快。

但是存在的问题是Relu死区。

Relu死区

在训练过程中，一些神经元死亡，意味着它们停止输出 0 以外的任何东西。

在某些情况下，你可能会发现你网络的一半神经元已经死亡，特别是如果你使用大学习率。

在训练期间，如果神经元的权重得到更新，使得神经元输入的加权和为负，则它将开始输出 0 。当这种情况发生时，由于当输入为负时，ReLU函数的梯度为0，神经元不可能恢复生机。

使用leakyRelu

为了解决Relu死区问题，可以使用Relu函数的变体leaky RelU。

这个函数定义为LeakyReLUα(z)= max(αz，z)

超参数α定义了函数“leaks”的程度：它是z < 0时函数的斜率，通常设置为 0.01。这个小斜坡确保 leaky ReLU 永不死亡；他们可能会长期昏迷，但他们有机会最终醒来。

也有文献指出当alpha=0.2时，即是设定一个超大的超参数的性能更优（在大型的数据集中表现良好，但是在小数据集中会出现过拟合的现象）

def logit(z):
 return 1/(1+np.exp(-z))
z=np.linspace(-5,5,200)
#重置tf的图
reset_graph()
n_inputs=28*28
n_hidden1=300
X=tf.placeholder(tf.float32,shape=(None,n_inputs),name="X")
he_init=tf.variance_scaling_initializer()
hidden1=tf.layers.dense(X,n_hidden1,activation=tf.nn.relu,kernel_initializer=he_init,name="hidden1")
#超参数α定义了函数“leaks”的程度：它是z < 0时函数的斜率，通常设置为 0.01
def leaky_relu(z, alpha=0.01):
 return np.maximum(alpha*z, z)
plt.plot(z,leaky_relu(z,0.05),"b-",linewidth=2)
plt.plot([-5,5],[0,0],'k-')
plt.plot([0,0],[-0.5,4.2],'k-')
plt.grid(True)
props=dict(facecolor='black', shrink=0.1)
plt.annotate('Leak', xytext=(-3.5, 0.5), xy=(-5, -0.2), arrowprops=props, fontsize=14, ha="center")
plt.title("Leaky ReLU activation function", fontsize=14)
plt.axis([-5, 5, -0.5, 4.2])
save_fig("leaky_relu_plot")
plt.show()