随着CLIP、Diffusion模型等算法的迭代升级,于2022年2月发布的Stable Diffusion在社交网络走红,它可以根据描述生成图像,但还无法刻画细节。仅仅过了两个月,OpenAI发布的DALL-E 2已经能够完整刻画人的五官,对细节的处理也更为完善。到8月,Stability AI开源的AI绘画模型Stable Diffusion完成的作品可以与专业画师的作品相媲美,且生成效率大大提高。
具体来说,AIGC在图像生成领域的应用场景主要体现在图像编辑与图像端到端生成两个方面。
基于AI模型算法、神经网络等技术的图像编辑,可以直观地理解为引入AI技术的Adobe Photoshop,用户只需要上传原始素材图片并设定好输出预期,等待AI自动生成即可。
图像编辑分为图像属性编辑和局部编辑,前者是指修改图片的画风、色调、光影、水印、纹理等属性,例如Prisma、Versa油画相机和基于Web端的Deepart等图片渲染工具,可以为普通照片添加艺术效果,将其渲染为油画、素描、水彩等多种风格,或自动捕捉人脸进行美化处理;后者是指更改图像局部构成,例如英伟达发布的CycleGAN可以将原图片中的马替换成斑马,Deepfake可以进行动态人像面部替换等。
部分AI绘画模型目前已经可以实现完整图像的创作,这里主要列举基于图片生成另一图像的应用。例如:谷歌的Chimera Painter可以画出现实中不存在的怪物;DeepFaceDrawing可以根据简单的人像草图生成逼真的具体人像;艺术家可以利用GauGAN将自己画的简笔草图渲染成精细而逼真的多种风格的画作;Artbreeder可以将多张图像智能合成一张新的图像,而非简单套用。
此处图像端到端生成主要指基于草图生成完整图像(比如VansPortrait、谷歌Chimera Painter可画出怪物、英伟达GauGAN可画出风景、基于草图生成人脸的DeepFaceDrawing)、有机组合多张图像生成新图像(Artbreeder)、根据指定属性生成目标图像(如Rosebud.ai支持生成虚拟的模特面部)等。