实现激活函数的节点或单元称为整流线性激活单元或简称ReLU。通常，对隐藏层使用整流器功能的网络称为整流网络。ReLU 的采用很容易被认为是深度学习革命中为数不多的里程碑之一。