简评:或许可以称之为「擦擦乐」~ 建议大家看看视频示例 ~

前几天,NVIDIA 的研究人员介绍了一种新的 深度学习 方法,使用该方法可以重建缺失像素的图像内容。

这种方法被称为「image inpainting」,可以在图像编辑软件中去除不需要的内容,同时用计算机生成的内容进行填充。

虽然有点类似于 PS 中「内容识别」的效果,但是这种新的方法能够处理更大范围的图像缺失,而不仅仅限制在图像中心附近的矩形区域。

简单说就是用神经网络自己想象空白部分的细节。

【Research at NVIDIA- AI Reconstructs Photos with Realistic Results】

研究团队训练这个神经网络,首先生产了 55116 个随机条纹和任意形状大小的孔径,并且创建了 25000 个测试。为了提高重建的准确性,团队根据输入图像的大小进一步分为了 6 类:

图片描述

数据集采用 ImageNet,Places2 和 CelebA-HQ。

在训练阶段,将缺失部分引入上述数据集的完整训练图像中,以使网络能够学习重建像素;

在测试阶段,将没在训练期间应用的缺失部分引入数据集中的测试图像里,用以无偏验证。

过往的方法很容易出现颜色差异或者伪像的弊端,但这种新方法由于不依赖必须提供给神经网络确定的输入值,因而输出值与每个接受域缺失像素的值无关,所以这个模型效果要胜过以前的方法。

Reference:
  • New AI Imaging Technique Reconstructs Photos with Realistic Results
  • [1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions
More:

极光JIGUANG
1.3k 声望1.3k 粉丝

极光(www.jiguang.cn)是中国领先的移动大数据服务商。其团队核心成员来自腾讯、摩根士丹利、豆瓣、Teradata和中国移动等公司。公司自2011年成立以来专注于为app开发者提供稳定高效的消息推送、统计分析、即时通...