清华研发的AI视频工具在10天内为《毒液》官方制作出了一部精彩短片

国产AI视频大模型牵手国际顶尖IP！

最近票房单日冠军漫威《毒液3》的水墨风宣传片，竟然是用AI做的。就是下面索尼电影官方发布这一条

30秒的时长，搞了个水墨版毒液大咖秀——

时而幻化成鱼，时而变做岸上奔腾的毒液马；一会儿又飞檐走壁，变换为展翅飞鹤，在古楼最高处俯瞰城市。

脸上还露出毒液标志性的邪魅一笑。

导演杨晟（电影《泰囧》、游戏《完蛋我被美女包围了》主创）和凯伦（参与制作电影《邪不压正》、游戏《星穹铁道》）表示：

这条宣传片，完全基于国产AI视频工具生成。

制作总体时间效率提升了至少3倍，节省了近90%的后期投入。

背后是来自清华系AI视频创业公司生数科技，用的就是其旗下的Vidu。

量子位特地联系主创团队，要来了背后制作过程分享，对AI视频感兴趣的旁友可以参考参考业内顶尖实践。

首尾帧控制立大功

导演杨晟透露，整条短片的画面都基于Vidu平台实现，主要采用了Vidu的图生视频和首尾帧控制功能，其中后者的使用占比更高。

整个流程是酱婶滴：

主创团队前期先人工手绘分镜画，画出要喂给Vidu的首帧和尾帧画面。

然后坐等Vidu在保持画面变幻中主题、风格、时空连贯的前提下，自动理解并补充过程中的视频画面内容。

举个“墨汁扩散演化成毒液”的例子。

这是一个水墨画风格的首帧：

这是一个水墨画风格的尾帧：

首尾帧控制，吐出来的视频效果如下：

中间由AI“脑补”的画面，既可以是一镜到底，也可以进行镜头切换的蒙太奇操作。

导演杨晟表示：

这支短片不长，但涉及到很多镜头变幻，即便对传统特效公司来说，也需要投入专业人力花费一番力气才能完成。

传统动画制作的流程需要先经过脚本、分镜（关键帧制作）、三维建模、动画后期制作等环节。

一般而言，迪斯尼制作一部动画需要4-5年的时间。

动画中期的团队尤为庞大，常常是几千人一起工作，过程相当漫长，中间还会发生很多人为执行上的不可控因素。

“用上AI视频，朝九晚五有望了”

主创团队透露，当时，索尼对主创团队下了个prompt：

一个月时间，围绕“万物皆可毒液”的主题制作一支创意短片。

短片所宣传的《毒液：最后一舞》是“毒液三部曲”的最终章。此前，毒液的IP形象已经给观众留下了深刻的印象。

因此，制作宣传短片，对形象的稳定性和一致性有着极高要求。

最初，团队的想法是采用实拍，譬如利用非牛顿流体等来实现毒液百变的特质；甚至考虑用500ml强磁体去模拟真实存在的毒液。

但是事与愿违，实拍效果完全不及预期，更要命的是这样操作的制作周期太长了。

于是，团队开始考虑尝试今年风头很盛的AI视频生成。

为了实现用AI制作该短片，主创团队此前尝试了非常多款国内外AI视频生成工具，“但经常会出现前后镜头风格不统一、崩坏率高等问题。”

杨晟解释道，选择Vidu，一方面是看中了其在水墨风格上的审美独特性和一致性；另一方面，Vidu生成的视频没有镜头转换的割裂感，同时画面内容也符合水墨渲染的特质和水流动的物理规律。

基本上说，可以是拿来即用了。

Vidu加入工作流后，原本的动画制作流程得到简化。

创作团队提供到关键帧原画，直接用AI生成视频素材，再剪辑、包装、配音，就完成了片子。

值得一提的是，AI仅花费了2天时间就生成了所有的素材，这在过去占工作量80%-90%。

而且主创团队表示，AI视频生成突破了资金和时间的限制，创作者不需再在有限选择范围内对内容质量做妥协，毕竟只需要半天时间，AI就能生成近2000条视频素材，充分支持创作者进行内容选择。

故而短片制作很顺利——

传统流程下，30s的动画短片需要制作1-2个月；基于Vidu，主创团队耗时10天，全部制作完成，这比索尼电影给的ddl要早得多。

显然，Vidu参与后整个流程被大大简化，

导演凯伦表示，用上AI视频，朝九晚五有望了（doge）。

One More thing

实际上，这并不是AI视频领域的首次商业化尝试。

2024最强期货OpenAI的Sora，今年6月就已经和玩具反斗城合作过AI商业片《玩具反斗城的起源》。

不过，后期包装和特效制作的占比，以及AI在创作过程中实际发挥的作用等幕后制作环节，OpenAI都没有放出具体细节。

据了解，未来，漫威计划将更多超级英雄IP通过AI化的方式呈现到大众面前。

甚至个人IP爱好者们也能用Vidu搞漫威二创——

谁说蜘蛛侠不能也AI起来？