当前位置:首页> 滚动 >

GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型 焦点报道

时间:2023-05-31 12:07:11    来源:程序员客栈


(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/
标签:

GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型 焦点报道

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!自从DALL·E2之后,在图像生成方面扩散模型替代GA

2023-05-31

神舟十六号3名航天员顺利进驻中国空间站|世界最新

据中国载人航天工程办公室消息,在载人飞船与空间站组合体成功实现自主快速交会对接后,神舟十六号航天员乘

2023-05-31

天天关注:亲子游火爆 “六一”本地周边游订单同比增长142%

据了解,今年,上半年,北京、上海、广州、成都、杭州、深圳、重庆、西安、武汉、三亚、南京、长沙、昆明、

2023-05-31

钇为3/深蓝S7领衔,6月上市新车盘点,有些车型注定是陪跑?-每日热闻

虽然6月是车市的传统淡季,但依然有不少品牌推出新车,本期小弟就为大家盘点一下即将上市的新车。第一款:

2023-05-31

江苏有线:5月30日融券卖出36.09万股,融资融券余额6.81亿元_天天快看点

5月30日,江苏有线(600959)融资买入993 38万元,融资偿还3066 64万元,融资净卖出2073 26万元,融资余额5 11亿元。

2023-05-31

绘出航天强国的样子——写在神舟十六号载人飞船成功发射之际

绘出航天强国的样子——写在神舟十六号载人飞船成功发射之际,载人飞船,航天员,飞船,神舟,航天,发射场

2023-05-31

当前最新:河南收割机高速被收费,不是小问题

河南收割机高速被收费,不是小问题近日,河南收割机车主省内跨区作业时,在南阳新野北高速收费站被收费引关

2023-05-31

四点底的字_四点水的字

1、炁----qì,点----diǎn,diɑn,为----wéi,炰----páo,羔----gāo,烈----liè

2023-05-31

天天速读:华泰证券:看好市场低位修复下的券商板块左侧配置机遇

华泰证券研报指出,看好市场低位修复下的券商板块左侧配置机遇。市场指数和景气度波动、短期不确定性仍存,

2023-05-31

每日快播:平安上线员工碳账户

记者从平安集团获悉,近日,平安集团宣布正式上线覆盖30万员工的碳账户平台,升级集团“1+N”碳账户体系,

2023-05-31