ReLU函数，全称为Rectified Linear Unit，中文名称是线性整流函数，是一种人工神经网络中常用的激活函数，通常指代数学中的斜坡函数，即
f(x)=max(0,x)
。其对应的函数图像如下所示：
在神经网络中，ReLU函数定义了神经元在线性变换后的非线性输出结果。换言之，对于神经元的输入值 x ，使用ReLU函数的神经元会输出max(0,wTx+b) ，其中w 和b 是神经元的权重和偏置。
ReLU函数相比于传统的激活函数，如Sigmoid函数和Tanh函数，有以下几个优势：
- 仿生物学原理：生物神经元的信息编码通常是分散和稀疏的，在同一时间只有少数神经元处于活跃状态。ReLU函数可以使部分神经元输出为0，表示没有被激活，从而提高网络的稀疏性和运算效率。
- 避免梯度消失：Sigmoid函数和Tanh函数在输入值过大或过小时，导数趋于0，导致梯度下降法更新参数时变化很小，减缓网络收敛速度。ReLU函数在输入值为正时，导数恒为1，不存在梯度消失问题。
- 简化计算过程：ReLU函数没有指数运算等复杂操作，计算速度快。
ReLU函数也存在一些不足之处，如：
- 神经元坏死：当输入值为负时，ReLU函数输出为0，导致神经元不再对任何数据产生响应，无法参与后续的学习过程。这种现象被称为神经元坏死。
- 输出不以0为中心：ReLU函数的输出值都是非负的，这可能导致后一层神经元的输入值不以0为中心，影响收敛效果。