由此可以看出，在训练CNN时，运用ReLU激活单元比Sigmoid激活单元要更好一些。缘由能够在于二者机制的差别，sigmoid在神经元输入值较大或许较小时，输入值会近乎0或许1，这使得许多中央的梯度简直为0，权重简直得不到更新。而ReLU虽然添加了计算的担负，但是它可以清楚减速收敛进程，并且也不会有梯度饱和成绩。
【编辑引荐】
Threejs开发3D地图实际总结
Java架构师与开发者提高效率的10个工具
现代前端开发技术栈
开发者必读 移动端页面优化的10个好办法
从零末尾了解Docker
甲骨文谷歌版权之战，你最常用的软件或许被
微软发布 Visual Studio 开展路途图，少量
科技行业薪酬最高的15种职位 看看你在哪一
StackOverflow 调查：富有国度盛行 Python
WebAssembly 再添一员猛将：将支持运用 Go
Java案虽已尘埃落定，但软件界的连锁反响才
倾听顺序员的心声真的很重要
Git 12岁了，为你送上12个Git 的运用技巧！
扎克伯格13年前写的Facebook网站代码，你见
颜值、才华和教育很重要，顺序员择偶不在乎
优秀的开发习气，我有几点小建议
