Nvidia发布cuDNN加速深度学习处理

Nvidia本月发布了cuDNN，这是一组优化的底层原语，旨在提升基于CUDA兼容GPU的深度神经网络（DNN）处理速度。该库旨在帮助开发者利用GPU的强大性能进行深度学习应用。cuDNN被其开发者描述为“非常易于使用”，但预计更多时候会通过如Caffe或Torch等高级工具包间接使用，编程工作量较小。Nvidia的官方基准测试显示，使用Caffe与cuDNN结合时，速度提升了10倍。

深度学习的背景与重要性

深度学习是当前人工智能（AI）领域最热门的话题之一。它指的是一类机器学习算法，通过结合多层人工神经网络和感知世界的分层表示，以更自主、通用和准确的方式学习抽象概念，如“人脸”或“猫”。深度学习的灵感来源于1962年神经生理学家和诺贝尔奖得主Hubel和Wiesel对猫视觉皮层的研究，并于1980年由Kunihiko Fukushima在其Neocognitron架构中提出作为人工系统。如今，深度学习系统被Google、Facebook、IBM、Microsoft、百度和NEC等领先的应用研究政府机构和商业公司广泛用于手写识别、语音识别、人脸检测、视频监控等领域。

深度学习的定义与发展

“深度”一词在深度学习和深度神经网络（DNN）中的使用较为新近。Facebook AI研究实验室主任、深度学习专家Yann LeCun在KDnuggets的采访中解释道，深度学习指的是任何能够训练系统使用超过2或3个非线性隐藏层的学习方法。2003年左右，Geoff Hinton、Yoshua Bengio和Yann LeCun发起了一场“阴谋”，旨在重新唤起机器学习社区对表示学习问题的兴趣。直到2006-2007年，通过Geoff Hinton、Yoshua Bengio、Andrew Ng和Yann LeCun在无监督训练（或无监督预训练，随后进行监督微调）方面的新成果，深度学习才获得了一些关注。然而，最近的深度学习应用大多基于反向传播的纯监督学习，与20世纪80年代末和90年代初的神经网络并无太大不同。

卷积网络的广泛应用

卷积网络（ConvNets）是深度学习中最为成功和流行的架构之一。它们在构建对无关变化（如语音识别中的背景噪音、图像识别中的光照变化）具有鲁棒性的内部表示方面特别强大，同时保留了描述感知对象（如口语单词、人脸）的基本信息。由于其卓越的性能、相对简单性和广泛的应用，卷积网络也是硬件实现的理想候选者。

社区对cuDNN的反应

Nvidia发布cuDNN后，社区反应不一。Yann LeCun在个人Facebook页面上发表了热情洋溢的帖子，称赞Nvidia对卷积网络的支持。然而，Caffe的创建者、Google研究科学家Yangqing Jia在Google Plus上表示，cuDNN可能夸大了GPU的加速效果，认为CPU的性能也不容小觑。TeraDeep创始人Eugenio Culurciello则声称，cuDNN并未提供最佳性能，FFT-based解决方案在Theano中表现更好。NYU博士生Jonathan Tompson也在torch7论坛上对Nvidia的基准测试表示怀疑，指出在使用K40时，cuDNN模块的速度较慢。