为啥神经网络里的BP算法花了那么久才被发明?

Roseblatt在五十年代就提出了感知机, 又过了将近30年, 多层神经网络的BP算法才得以普及。

而事实上这不过是微积分中链式法则的简单应用而已, 为什么要花这么久呢？

bengio在quora上这样回答道：

很多看似显而易见的想法只有在事后才变得显而易见。

在控制论中, 很早就开始应用链式反则来解决多层非线性系统。

但在80年代早期, 神经网络的输出是离散的, 这样就无法用基于梯度的方法来优化了。

这时Rumelhart和Hinton想到, 只要把输出做成平滑的(sigmoid), 就可以用链式法则来训练多层神经网络了。

所以这不仅仅是链式法则的问题, 而是要跳出离散输出的框框, 这种理念上变革并不容易。

版权声明：本文来源51CTO，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
原文链接：http://developer.51cto.com/art/201509/491116.htm
站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。

发表于 2021-05-16 05:59:00
阅读 ( 1125 )
分类：算法

为啥神经网络里的BP算法花了那么久才被发明?

你可能感兴趣的文章

精选的优质文章

0 条评论

官方社群

GO教程

推荐文章

猜你喜欢

随便看看