在学习神经网络的过程中总会听到激活函数（激励函数），激活函数是神经网络中非线性的来源，如果去掉这些激活函数，那神经网络只剩下线性运算，那最终的效果就相当于单层的线性模型，本文主要从以下几个方面来讲解激活函数：

人工神经网络(Artificial Neural Network，即ANN)是由简单的神经元经过相互连接形成网状结构，通过调节各连接的权重值改变连接的强度，进而实现感知判断。