谷歌研究员近日发布的论文,同时基于无限宽的深度神经网络DNN有利于研究深度学习的维度，提出了一种新的开源软件库“神经正切”(Neural Tangents)，允许研究人员像训练有限宽的神经网络一样容易地构建和训练无限宽的神经网络。其核心是：神经正切提供了一个易于使用的神经网络库，可以同时构建有限和无限宽的神经网络。
增加 DNN 的宽度会带来更有规律的行为，并使这些行为更易于理解。这是近年来深度学习研究领域的论证的重要理论观点。近期多项研究结果表明，能够变得无限宽的DNN聚合到另一种更简单的模型类别上的过程，并称为高斯过程。但推导有限网络的无限宽度限制需要大量的数学知识，并且必须针对研究的每种体系结构分别进行计算。有限宽的模型转换成相应的无限宽网络的好使至少几个月的时间。谷歌开源软件库“神经正切”解决了这一痛点。
使用神经正切，只需五行代码就可以构造和训练这些无限宽网络集成！ 训练过程如下所示
尽管无限宽网络集成是由一个简单的闭式表达控制的，但它与有限宽网络集成有显著的一致性。而且由于无限宽网络集成是一个高斯过程，它自然提供了闭合形式的不确定性估计(上图中的彩色区域)。这些不确定性估计与预测变化非常匹配：训练有限宽网络的大量不同的副本时观察到的结果（虚线）。
例如使用CIFAR-10数据集来比较图像识别上的三种不同的无限宽神经网络架构。
与常规训练不同的是，模型的学习动态是完全可以在闭合形式下进行处理的，这使研究者们对这些模型的行为有了前所未有的了解。
文章部分素材来源：雷锋网
来源：上海市大数据股份
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！