我是靠谱客的博主 精明香氛,最近开发中收集的这篇文章主要介绍为什么都去卷文本生成图像???,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

卷友们好,我是rumor。

躺在我微信浮窗里最多的就是文本生成图像的工作了,本来这个方向我以为我是可以拿捏的,结果自从他们开始用Diffusion模型之后我就再也跟不上了,而且这类文章动辄20页起,慢慢地我就放过了自己。

那天我在清理这些报道库存时,突然油然而生一个拷问:为什么大家都在卷这个方向?这些生成的画作虽然让人惊艳,但它们能产生实际的价值吗?应该如何去落地甚至商业化呢?

带着这个问题,我一狠心把知道的Paper都下载了,它们分别是:

  1. OpenAI的DALLE (21/01)、GLIDE (22/03)、DALLE2 (22/04)

  2. Meta的Make-A-Scene (22/03)

  3. Google的Imagen (22/05)、Parti (22/06)

  4. 智源悟道2.0 (21/06)、智源阿里达摩院和清华合作的CogView (21/11)

  5. 百度的文心ERNIE-ViLG (21/12)

  6. 字节的CLIP-GEN (22/03)

可以看到今年这个方向有多热闹了,Google和OpenAI甚至开始自己卷自己,前后脚放出不同的工作。

说回正题,关于为什么大家都在卷这个方向,在看过了上述文章们的Intro之后,我发现观点还是比较统一的,核心就是不断追求模型的理解能力

正如ERNIE-ViLG所引用Richard Feynman的话:

What I cannot create, I do not understand

当模型能根据文本创造准确对应的图像时,就证明它已经具备了CogView中所列举的四种能力:

  1. 从像素点中解藕出形状、颜色等一系列特征,也就是说给模型输入一张图片时,它真的能像人一样去「看」到其中的各种物体和特征,而不是一个个无意义的像素点

  2. 理解文本

  3. 将图像中的物体和特征与单词对齐(包括同义词),意味着模型能够把同一事物的两种模态联系起来

  4. 学习到如何将各种物体、特征组合起来,这种生成能力需要更高的认知水平

随着资源的不断投入,这些生成的图片以肉眼可见的速度越来越强,那么这些图片虽然fancy,但能如何落地、产生什么实际价值呢?

首先最直接的,就是辅助艺术家进行创作,甚至独立创作,比如去年底我就发现一位博士同学用AI生成的4张画作在淘宝拍卖卖到了2304元,也调研到了一些国外的网站,利用AI技术付费生成特定风格的创作。在写这篇文章的时候我又在淘宝搜索,发现依然有人在拍卖AI生成的艺术品,而且价格不菲:

5e760592107c2f4de7335d2c333a9d95.jpeg

说实话我不是这个落地方向的支持者,我认为画作背后「人」的思考和经历才是成就艺术的原因。但价值是人定的,恰巧最近又赶上了NFT,所以这个方向究竟会发展成什么样也未可知。

另一个落地方向,是儿童教育。Meta最新的工作Make-A-Scene就很适合这个方向,让儿童们绘制草图,描述场景,就可以生成很棒的作品,从而启蒙孩子对美术的兴趣和想象力。这个方向还是很有实际意义并且能变现的。

b1475b6cabfd420ffaedf9bb9f1cffb0.jpeg

还有一个方向,是内容制作。这个方向的前景就很广阔了,先说3D的,现在3D动画和游戏的市场已经不必多说了(还捎带上元宇宙),但做一个3D人物和场景都需要建模、贴纹理、绑定骨骼、做动画、加特效等复杂的流程,如果AI能辅助其中几个环节的生产,会节省很多人力成本,提升内容产出速度。而且目前模型生成的真实物体也很逼真了,再往远了想,以后说不定输入一个剧本,就能输出一部电影了。

不过目前的模型能力离终极目标还有不小的距离,模型的可控性还需要进一步提升。

AI一直在潜移默化地影响我们的生活,有好有坏,比如搜索引擎用AI算法做排序,就有人用AI算法生成大量垃圾内容做SEO;再比如剪辑软件利用AI来减少人工配音成本,就有人盗取他人视频,用AI换个声音洗稿制作大量垃圾剪辑。

虽然有不好的事情发生,但好在这是一个对抗的过程,两方的算法都会在对抗中越来越强大。

ada5f38199859b1fbc411e3c1bc3979b.jpeg


我是朋克又极客的AI算法小姐姐rumor

北航本硕,NLP算法工程师,谷歌开发者专家

欢迎关注我,带你学习带你肝

一起在人工智能时代旋转跳跃眨巴眼

「希望可以早日提升我做B站视频的速度」5b3abd2c0554bc4f2307d71e4d774faa.png

最后

以上就是精明香氛为你收集整理的为什么都去卷文本生成图像???的全部内容,希望文章能够帮你解决为什么都去卷文本生成图像???所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(61)

评论列表共有 0 条评论

立即
投稿
返回
顶部