百度研究院举办的系列学术交流会,邀请国内外顶尖学者走进百度,分享最新的前沿思考和技术研究。北京时间2月23日上午,广大 AI 研究者和 AI 工程师们非常熟悉的图灵奖得主、“深度学习三巨头之一” Yann LeCun 在百度进行了一场火爆的线上研讨会。参加报告的听众有百度广大工程师和研究人员,也包括世界多个领域的知名专家学者,线上观看人数最高峰值近1000人。
交流会一开始,百度 CTO 王海峰代表百度致欢迎词,并回顾了2013年夏天 Yann LeCun 第一次来百度大厦访问交流的情景。Yann LeCun 敏锐识别出王海峰博士的屏幕背景正是他记忆中上地十街的百度大厦。近10年时间,弹指一挥间,Yann LeCun 教授已经成为世界最知名的深度学习学者之一,更在2018年获得图灵奖。
左:图灵奖得主 Yann LeCun右:百度 CTO 王海峰
在随后的对话环节,Sanjeev Arora 博士、Li Deng 博士、Andrea Montanari 博士等与会者与 Yann LeCun 进行了互动交流。Sanjeev Arora 博士,美国科学院院士,普林斯顿计算机系教授,世界著名理论计算机和理论机器学习学者;Li Deng 博士,加拿大工程院院士,前 Citadel 首席 AI 官,世界知名深度学习专家和先行实践者;Andrea Montanari 博士,斯坦福大学统计系教授,世界知名统计学、信息论、和深度学习理论学者。
Yann LeCun 随后展开了题为《A Path Towards Autonomous AI》的演讲。他提到,动物之所以能够快速思考,并不是依赖于监督学习和强化学习,而是通过自监督学习(self-supervised learning)的方式从观测到的数据中获取常识,从而实现自主学习。自监督学习从数据本身获取监督信号,不依赖于标签,它的一般技术是从观测到的输入部分预测任何未观测的输入部分,例如,预测输入视频中过去的帧或未来的帧。因此自监督学习是一种预测学习(predictive learning),而这样的预测学习,其关键是对高维空间的不确定性进行建模。
Yann LeCun 指出,在基于能量模型(Energy-based model,EBM)框架下考虑自监督学习,可以更好地描述不确定性,并且阐述了训练 EBM 能量模型的几种策略以及如何使用能量模型来对多模态进行表达。
如今,能量模型(EBM)已经在深度学习和计算机视觉等多个领域得到了越来越多的应用和重视。百度研究院从2020年起已经深耕基于能量的模型,在计算机视觉各个领域,譬如图片、视频、三维体素、三维点云、图片显著性检测、图片翻译等,自主研发出多种基于能量的深度学习框架来进行知识表达。除此之外,在机器学习领域,提出多种不同的训练能量模型的算法,譬如协助式学习(cooperative learning)、由粗到细逐步学习(coarse-to-fine)等。科研成果发表在 CVPR、NeurIPS、ICLR、AAAI、PAMI 等世界顶级的人工智能、机器学习和计算机视觉的会议和期刊。
在即将召开的深度学习顶会 ICLR2022 会议上,百度研究员将宣讲最新发表的 EBM 相关论文《A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model》。ICLR 会议由 Yann LeCun 教授和 Yoshua Bengio 教授等人发起,自第一次会议在2013年举办以来,ICLR 已经成为颇引人瞩目的机器学习顶会。最新统计数字表明, 在所有的学术期刊(包括 Nature 和 Science)和会议中,ICLR 的影响力位列前十。
本次 Yann LeCun 教授在百度超过2个小时的研究报告,他本人也将视频发布在他的个人社交账号上。
完整版报告视频可复制以下链接观看:
https://haokan.baidu.com/v?pd=bjh&vid=5674032770111267440&fr=bjhauthor&type=video
多年来,百度研究院坚持举办常规性纯学术目的研究报告,邀请世界知名学者前来交流。除了 Yann LeCun,2022年春节前后,美国杜克大学前副校长、沙特国王科技大学教务副校长(Provost)Lawrence Carin 教授、加州伯克利大学 Sergey Levine 教授、微软研究院和阿姆斯特丹大学 Max Welling 等世界级专家也曾来百度进行学术交流研讨。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。