在不考虑收敛速度的前提下，是所有的非线性函数都能作为非线性激活函数么？

Question

假设由于损失函数最小值的存在性，所以只要通过迭代得到weights和bias就行了对吧？？？激活函数的考虑不过就是收敛速度的问题？

Answer 1

不需要处处可导，但需要仅有有限点处不可导。