生成式对抗网络新添成员,是科技进步还是鬼畜届的搞笑担当?

王碧琳 王碧琳 科技 佛莲新闻网 2021年12月09日 13:50:24 66

出品 | 科技智谷

英伟达研发的最新 AI 工具引发了一波网络热潮,网友纷纷直呼:" 我已经等不及了!"

生成式对抗网络新添成员,是科技进步还是鬼畜届的搞笑担当?

对于 "P 图小白 " 来说,英伟达的 EditGAN 简直就是 P 图神器。不需任何 P 图基础,就能够高质量、高精细度地对图像进行修改。让画像和雕塑发出 " 鬼畜 " 表情、填充人的发际线,修改面部表情等不在话下。这一切都源于近几年的研究热点 " 生成对抗网络(GAN)"。

生成式对抗网络新添成员,是科技进步还是鬼畜届的搞笑担当?

01

生成对抗网络是什么?

生成对抗网络 ( GenerativeAdversarial Network, GAN ) 是通过让两个神经网络对抗学习生成数据的方法。GAN 从开始到现在发展成熟,比如我们熟悉的 PGGAN 和 StyleGAN,已经可以生成高质量、高分辨率的图片。

而图像编辑(image editing)是一个 CV 领域的一个重要研究问题,是指改变图像的过程,图像包括数码照片、传统的模拟照片和插图。

基于 AI 的照片和图像编辑也能够使摄影师和内容创造者的工作流程更加简化,提升创意和数字艺术的水平。并且目前基于 AI 的图像编辑工具已经以照片编辑滤镜的形式添加到软件的功能中,并且深度学习研究界正在积极开发更多的技术。

近日,英伟达联合多伦多大学和麻省理工大学的研究者们,合作研发出 EditGAN,GAN" 家族 " 又添新成员。

EditGAN 作为一种高质量、高精度语义图像编辑的新模型,允许通过修改高精细度零件的分割掩码(Segmentationmask)来编辑图像。简而言之,EditGAN 能自己 P 图,而且还 P 得特别好。

文章题为《EditGAN:High-Precision Semantic Image Editing》,已被 NeurIPS 2021 接收,第一作者 Huan Ling 是多伦多大学的博士生,NVIDIA 和 Vector 研究所的研究科学家。

生成式对抗网络新添成员,是科技进步还是鬼畜届的搞笑担当?

02

首个 GAN 驱动的图像编辑器

下面四张图中,哪张是原图,哪张是 P 过的图呢?

生成式对抗网络新添成员,是科技进步还是鬼畜届的搞笑担当?

其实,除了第一张是小哥原版的 " 邪魅笑容 " 外,其余都是 EditGAN 的作品。

研究人员表示,EditGAN 是第一个 GAN 驱动的图像编辑框架,允许用户修改细节对象部分,从而实现高精度的语义图像编辑。

基于最近提出基于相同的隐向量联合建模两个图像及其语义分割的 GAN 模型,EditGAN 诞生了,并且只需要 16 个标签示例就可以扩展到多个对象类和部分标签的选择。

在实验部分,为了 EditGAN 的图像编辑能力,研究人员使用 MaskGAN 引入的 smile edit 基准。将具有中性表情的脸被转换为笑脸,性能主要由三个指标衡量:

(1)语义正确性:使用预先训练的笑脸属性分类器,测量面部编辑后是否显示笑脸表情;

(2)Distribution-level Image Quality:使用 FrechetInception Distance(FID)和 KernelInception Distance(KID)在 400 个编辑的测试图像和 Celeba-HD 测试数据集之间进行计算;

(3)Identity Preservation,利用预训练的 ArcFace 特征提取网络,测量了应用编辑时对象的标识性特征是否保持不变,使用了原始图像和编辑图像之间的余弦相似性。

研究人员对多个基线进行了定量比较,并以标识保留、质量保留和目标属性准确性等指标对其进行了输出,同时需要较小幅度的注释训练数据。

可以看出 EditGAN 是第一个 GAN 驱动的图像编辑框架,它能够:

提供非常高精度的图像编辑

只需要很少的标注训练数据(不依赖于外部分类器)

可以实时交互运行

允许多个编辑操作的直接合成

对于 out-of-domain 图像也有很好的效果

EditGAN 能提供非常高精度的编辑,只需要很少带注释的训练数据(并且不依赖于外部分类器),运行实时交互,允许多个编辑的直接组合,并适用于真实嵌入、GAN 生成图像,甚至是域外图像。

参考资料:https://arxiv/abs/2111.03186

「科技智谷」

新型科创产业服务平台,原硅谷密探,科技转化第一站,科学家 CEO 的摇篮。

「青年投资家俱乐部」

有见旗下金融产业俱乐部,汇聚来自金融机构、政府机构、上市公司、产业公司、三方服务的数万名专家资源。

欢迎添加 Cathy 微信

链接一线创业者、投资人

上一篇:DaDa英语宣布将全面停止所有外教服务 即日起分批办理退费

下一篇:没有了

版权声明

本站部分文字及图片均来自于网络,部分内容及图片不代表本站观点如侵犯到您的权益,请及时通知我们! 文章来自网络整理,提倡信息共享!佛莲新闻网欢迎转载!转载请保留出处和链接!