国产AI导演贼6，短视频镜头和物体各动各的｜港城大Bell快手Bell天大

西风带 相吻合 凹非寺

量子位 | 公众号 QbitAI

慢手脚发力AI图片，投身于技术开发了一个智慧“制片人”。

Direct-a-Video，急于求耦AI分求成图片中都静止社会活一气和摄像机社会活一气，让控制能力和可控性最大限度弱化！

不信，来欣赏一波作品。

短图片中都的胶片旋转朝向唯制片人指令，水准（X轴向）、横向（Y轴向）、照胶卷只能准确：

AI制片人还演了一出炫技，胶片旋转朝向融合水准、横向：

融合水准、照胶卷社会活一气优点也可以

此均，制片人还尽慢图片中都的每个“知名演员”都能按照绘制的侧边侧边社会活一气：

超越胶片旋转和知名演员社会活一气合一的优点。

比如，蝎子原地太空走过，胶片水准和横向旋转发挥作用总体图片社会活一气优点：

当然蝎子的位置也可以通过绘制带左下角的侧边侧边，从一个地方旋转到另一个地方：

甚至还能同时分别遏制多个“知名演员”的旋转路径：

这就是香港城市大学、慢手脚科技、清华大学研究工作团队协同提出的Direct-a-Video文字-图片分求成侧边架的优点简介。

具体来说，Direct-a-Video分为两个隐没——

在专业训练先决条件，学习胶卷旋转遏制；在逻辑推理先决条件，发挥作用静止社会活一气遏制。

在发挥作用胶卷旋转遏制时，研究工作医护人员采用了预专业训练的ZeroScope文字到图片模型作为根基模型，并过渡到新的可专业训练时间自警觉层（胶卷计算机系统），将由Fourier编码和MLP同态的平移和照胶卷模板同态注入其中都。

专业训练策略是在有限数据库上，用于数据库增广的自委派专业训练方式学习胶卷计算机系统，无须人工社会活一气标注。

其中都数据库增广通俗来讲，就是加进已有数据库的稍另一款，或从现有数据库中都创建新的小分子数据库来增加数据库量：

经过自委派专业训练后，该计算机系统可以求析胶卷社会活一气模板发挥作用一原理遏制。

发挥作用静止社会活一气遏制时，不需要额均的数据库集和专业训练，只需服务器直观绘制首末帧侧边和下部轨迹亦可定义静止社会活一气。

直观来说，直接在逻辑推理时采用基于像素的自警觉弱化和依赖性，分时先决条件管控每帧内各具体来说的自警觉原产，从而使具体来说分求成到服务器通过一系列侧边指定的位置，发挥作用静止社会活一气轨迹遏制。

值得注意，胶卷旋转遏制和静止社会活一气遏制互相单一，受限制另行或联合遏制。

研究工作医护人员将Direct-a-Video与多可视对比可验证了该分析方法的持续性。

胶卷旋转遏制指标

Direct-a-Video与AnimateDiff和VideoComposer对比结果如下：

Direct-a-Video在分求成质量、胶卷旋转遏制精度上均优于基线：

静止社会活一气遏制指标

Direct-a-Video与VideoComposer和Peekaboo对比，可验证了本分析方法在多静止及社会活一气场景下的遏制能力。

在分求成质量和静止社会活一气遏制精度上优于VideoComposer：

网路上见到优点直呼因锤斯汀：

除Runway均，又多了一种新选取。

PS：

Runway Gen-2“社会活一气笔刷”（Motion Brush），涂漆哪儿一气哪儿，同样可调整模板遏制社会活一气朝向：

参考绑定：[1][2]

— 完 —

量子位 QbitAI · 新闻号经理人