看见未来!Meta这项最新的AI技术,让我们离AI电影又近了一步
《复仇者联盟》导演乔·罗素曾表示,他相信终有一天AI可以自己生成一部电影。
放在以前你可能觉得这是天方夜谭,因为一部影片的制作是一个上百人的团队共同合作的结果。一个小小的AI怎么可能代替上百人,真要那样的话大导演们都直接原地退休了!
但是经过这段时间AI技术的冲击,不少人已经被刷新了认知。AI能做的事,远远超过人们能想象的,包括制作一部电影。
社交巨头Meta最新发布的AI技术,让我们离AI电影又近了一步。
Emu Video和Emu Edit
OpenAI之前发布的全新DALL-E 3文生图引擎,已经让我们惊叹。更别说后来的文本转语音模型,以及能够实时语音对话的ChatGPT。
但是Meta最新发布的AI技术,颠覆了我们对AI生成内容的固有认知。
Meta发布的新AI技术涉及内容编辑和生成,并推出了两款全新的AI模型——Emu Video和Emu Edit。Emu Video 采用的是Meta之前发布的Emu模型,能够基于文本和图像输入生成视频剪辑。而Emu Edit则主要用于图像处理,用Meta自己的话来说,Emu Edit比之前的图像编辑更精确,更好用。
虽然目前两款模型仍在研究开发阶段,但是Meta对其有着充足的信心,他们认为这将对影视创作者、艺术家甚至是插画师都有巨大的应用潜力。
根据Meta官方描述,Emu Video 采用了“分解式”训练方法,将训练过程分为两步,使模型能够对不同输入做出响应。
AI模型将生成过程分成两步:首先根据文本提示生成图像,然后根据文本和生成的图像生成视频。这种“分解式”或分步的视频生成方法让模型能够高效地训练视频生成模型。
举例来说,给定一个标题(例如“一只狗跑过草地小丘”)、图像或照片以及描述,Emu Video 可以生成一个四秒的动画剪辑视频。别看只有四秒,但是它是一段拥有512×512像素,每秒16帧的高质量视频。
来源:Meta
Emu Edit专注于图像处理,用户可以用它来去除或添加图像背景、执行色彩和几何变换,以及对图像进行局部和全局编辑。Meta认为,模型的主要目标不应仅仅是产生一个“可信”的图像。相反,模型应专注于精确地改变与编辑请求相关的像素。
据了解,Meta使用了计算机视觉任务来训练Emu Edit。训练用的数据集包括 1000 万张合成图像,每张图像都有输入图像、任务描述以及目标输出图像。用他们的话说,这是迄今为止同类中最大的数据集。
而在此之前,Meta的CEO马克扎克伯格发布Emu模型时就谈到,用来训练该模型的数据高达11亿条,其中包括Facebook 和 Instagram 用户分享的照片和标题。
先进,但并不完美
不能否认,Emu Video和Emu Edit的出现,确实是行业的一大进步。但别看Meta把这两个模型吹得神乎其神,他们也不是完美的,一些匪夷所思的现象仍然存在。
在生成的一些视频里面,就有明显奇怪的物理现象(例如平行于地面移动的滑板)和怪异的附肢(脚趾卷曲在脚后和腿相互融合)。物体的出现和消失也常常没有太多逻辑,就像埃菲尔铁塔片段中头顶上的鸟儿一样。
来源:Meta
其次,剪辑中的主题并没有起多大的作用。据了解,这可能是模型基础架构的限制原因,导致了Emu Video 似乎对动作动词没有很强的把握。
例如,一只可爱的拟人化浣熊会拿着一把吉他,但它不会弹奏吉他 - 即使剪辑的标题包含“弹奏”一词。或者两只独角兽会“下”国际象棋,但它们只是好奇地坐在棋盘前但却不移动棋子。
来源:Meta
结语
说回漫威。AI生成视频引发最大争议的,是之前一部漫威的剧集——《秘密入侵》。这部剧集的片头一出来,给人一种很怪异的感觉。当时就有人称,这个片头使用AI生成的。随着传闻发酵,幕后工作室承认他们在制作时用到了文生图模型Midjourney。消息一经发布,立刻引起了业内人士和部分民众的强烈抗议。
来源:网络
就在这件事不久之后,好莱坞史上持续时间最长,规模最大的演员和编剧罢工潮开始。罢工的原因之一,就是生成式AI在影视工作中,威胁到了人类的地位。
来源:网络
目前,好莱坞已经同演员工会和编剧工会达成协议,罢工告一段落。但是照现在AI技术的速度,取代人工剪辑师,似乎并不是多么遥远的事。到时,业界又会做出何种反应?
如果一部电影,从剧本到制作,全都由AI来操作。你会选择去电影院看吗?
最新活动更多
-
11月28日立即报名>>> 2024工程师系列—工业电子技术在线会议
-
12月19日立即报名>> 【线下会议】OFweek 2024(第九届)物联网产业大会
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
-
精彩回顾立即查看>> 2024 智能家居出海论坛
-
精彩回顾立即查看>> 【在线会议】多物理场仿真助跑新能源汽车
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论