激活函数通过引入非线性在神经网络中发挥着不可或缺的作用。这种非线性使得神经网络能够根据输入开发复杂的表示和函数，而这是简单的线性回归模型不可能实现的。在神经网络的整个历史中，已经提出了许多不同的非线性激活函数。在这篇文章中，您将探索三种流行的函数：sigmoid、tanh 和 ReLU。读完本文后，您将了解到：为什么非线性在神经网络中很重要不同的激活函数如何导致梯度消失问题Sigmoid、tanh