接下来,还是干点正事吧。
江寒打算进行一项重量级的研究。
这也是最近一段时间里,他想要完成的论文中,最重要的一篇。
在这篇论文里,江寒打算提出一个重要概念:“万能逼近定理”。
【一个前馈神经网络,如果具有线性输出层,和至少一层隐藏层,并且任意隐藏层的激活函数,具有“挤压”性质,例如使用了logistic函数、sigmoid函数……
那么,只要该网络拥有足够多的隐藏单元,就可以以任意的精度,来近似地表达任何从一个有限维空间到另一个有限维空间的Borel 可测函数。】
这就是著名的“万能逼近定理”,“人工神经网络”最重要的理论基础之一。
这个定理表明:
一个前馈神经网络就等于一个表示函数的万能系统。
无论计算机试图学习什么函数,都可以找到一个规模足够的MLP ,来表示这个函数。
换句话说,给定一个函数,必然存在一个前馈网络,能够近似表达该函数!
多层神经网络(感知机),在理论上来说,几乎可以完成任何学习任务!
但不存在一个万能过程,既能够验证训练集上的特殊样本,又能够选择一个函数,来扩展到训练集上没有的点……
即使MLP能够表示该函数,学习也有可能失败。
原因很简单:谁也不能保证,训练算法一定能够学得这个函数。
用于训练的优化算法,有可能找不到用于期望函数的参数值;
训练算法也可能由于过拟合而选择了错误的函数……
这也是没办法的事情。
普遍优越的机器学习算法?
抱歉,在这个世界上并不存在!
很明显,“万能逼近定理”正是对于“感知机如何处理非线性问题”的正面解答。
“多层感知机”那篇论文里,虽然也表明了类似的观点,但更多是直觉上、经验上的,并没有在理论上加以证明。
事实上,“万能逼近定理”的严格证明,用到了极其复杂的高等数学技巧。
江寒之前研究了很久,始终也没能攻克这个难关。
然而,今天也不知怎么了,竟然如有神助,只用了5个多小时,就找到了思路,并完成了证明。
好吧,估计这就是脑力提升的效果了。
现在自己的大脑,和那些一流科学家比,可能还有点差距,但在普通大学生里,应该算是特别强悍的一类了。
接下来,江寒就把完整的证明过程书写了下来,输入计算机形成文稿,再起个牛逼拉轰的名字,然后……
江寒将其妥善保存了起来。
先不急着扔出去。
等小号的《论感知机的局限——异或问题的无解》登刊之后,才是这一篇《万能逼近定理》问世的最好时机。
当然,如果《论感知机的局限——异或问题的无解》不幸被退回……
那就用小号将其扔到AMC的官方论坛上,曝个光,然后用大号把《万能逼近定理》投出去!
工作终于告一段落,江寒忽然感觉眼前有点发黑。
精神很疲倦,肉体有点匮乏,仿佛被掏空……
“这续航有点不太行啊,得想个办法解决一下……”
江寒自言自语。
想了想,他拿起座机听筒,拨了个内线电话。
“703的客人,您好,请问您有什么需求?”
一个好听的女子嗓音传来,好像就是那个年纪不大,有点好看的小前台。
江寒也不废话:“请帮我买些巧克力,要纯黑的,品牌在金丝猴和HKC中选。”
“数量呢?”
“100块。”
“好的,请稍等。”
那边还是很有专业素质的,什么都没问,直接照办。
二十分钟后,门铃响起。