WHCSRL 技术网

gel u activation function

GELU 是一种常见的激活函数,全称是“Gaussian Error Linear Unit”。其图像与ReLU和ELU对比如下:
https://arxiv.org/pdf/1606.08415.pdf
https://pytorch.org/docs/master/generated/torch.nn。格鲁.html


公式为: GEL< /span>U( x)= x< /span>Φ(x)
where Φ ( X ) φ(x) Φ(x)< /span>表示高斯分布的累积概率分布,即高斯分布在(-∞,x]区间的定积分。< br> 我们可以看看 Φ ( X ) φ(x) Φ(x)< /span> 功能图:
Phi
通常,一个版本的平均值为 1,方差为 1。 红色曲线

当方差为无穷大,均值为0时,GeLU等价于ReLU。 GELU 可以用作 RELU 的平滑策略。

推荐阅读