今年是 AI 在视频生成爆发的第一年， Sora 以算法模型和产品应用为代表的不断出现。在短短几个月的时间里，基于几十种视频生成工具，我们目睹了几十种视频生成工具的出现 AI 视频创作模式开始流行起来。

然而，除了众所周知的新技术外，新技术也引起了更多的挑战和怀疑 “开盲盒”?现象，AI 由于可控性差，处理工作流繁琐，生成的视频内容也经常受到批评。

OpenAI 邀请专业视频制作团队 Sora 来自多伦多的测试进行了测试 Shy Kids 团队，利用 Sora 以气球人为主题的短片制作，创意与创意 AI 技术完美结合，令人印象深刻。

其实整个短片都不是 Sora 由多个视频片段组成的直接输出结果 Sora 在制作不同的视频时，很难保证主角的一致性。因此，在引入大量的后期人工编辑后，他们呈现出最终的短片效果。Shy Kids “主创们总结道，”Sora 该技术很酷，但其生成过程难以控制。”

准确可控的生成内容是 AI 视频创作的重要需求也是当今算法面临的一大挑战。

为此，在刚刚结束的上海世界人工智能大会上（WAIC）上，达摩院发布了一站式 AI 视频创作平台 “寻光”。

其定位为?PUGC 一站式 AI 视频创作平台可以帮助用户创建剧本、镜像分割图等，通过工作流整合提高整个创作过程的效率，支持丰富的生成和上传材料 AI 编辑提供人物控制、场景控制、风格迁移、镜像控制、新目标 / 消除 / 十多种修改 AI 编辑功能，使视频中的元素和对象准确可控。

希望通过寻光平台进一步提升达摩院 AI 视频创作的效率，目标是利用 AI 能力重塑传统视频制作的整个过程，创造 AI 新时代视频工作流。

行业首次落地

视频编辑基于图层

在寻光研发初期，达摩院还与影视媒体从业者和创作者进行了广泛而密集的调查，了解其视频 AIGC 创作的需求和痛点。他们发现视频图层几乎是所有视频创作者提到的最频繁、最迫切的需求。

在此基础上，搜索平台首次在该行业推出了系统的视频图层编辑功能。用户可以通过文本输入生成符合文本描述和透明背景的视频，并将其一键集成到其他背景视频中。在传统视频生成能力的基础上，以图层等更灵活的形式生成内容。

寻光提供图层拆解功能，轻轻一圈，立即将目标拆解成单独的图层视频，然后将不同的背景视频丝滑嵌入。

用户可以将不同的前景层与不同的背景层集成，并组合更多的新视频。进一步刺激层集成的能力 AI 创造力和想象力可以同时保持多个镜头之间的场景和角色的一致性。

在达摩院看来，AI 它不会取代创作者的工作，而是会优化视频创作的工作流，成为创意驱动的新引擎。

一站式 AI 创作平台

交互更简单，编辑能力更丰富

剧本创作、分镜设计、材料编辑... 传统的视频创作步骤分工明确，周期长。在 AI 在技术的支持下，原本分散在不同生产过程中的创作步骤现在可以在寻光平台上顺利完成。

“我们希望让视频编辑像操作 ppt 同样简洁直观，容易上手。" 达摩院视觉技术实验室高级算法专家陈威华在现场介绍，寻光平台的亮点之一是互动。

在设计寻光平台时，充分考虑寻光平台 AI 视频创建的特点是将每个视频项目抽象成多个子镜头图片。用户可以根据剧本自动生成一组分镜头，也可以上传原始视频材料，并将算法分为多个子镜头。

在创作空间中，用户可以很容易地查看每个子镜头。一个场景中的多个子镜头可以放置或展开，场景之间的顺序可以通过拖动来调整，场景中的子镜头也可以拖动。用户还可以在任何位置添加和创建子镜头，可以调用图片生成或视频生成能力来生成内容，也可以添加自己的各种现有材料。

寻光为每个分镜头提供完整而智能的寻光服务 AI 视频编辑能力可以根据用户意图在语义层面编辑，而不是像素层面。任何局部目标，如人体、人脸、前景、背景等，都可以在镜头中精细编辑和修改。

例如，了解空间景深的运镜控制；

另一个例子是消除能够理解物体相对关系的目标 / 修改。

寻光平台在编辑视频全局元素时提供了超过 20 种类风格迁移。

搜索还提供帧率控制、视频超分等实用的视频编辑功能。

陈威华说：“我们希望视频中的所有元素都能被编辑和修改，以便为用户的创作提供最大的自由。”。

写在最后

今天，我们就在这里 AIGC 在变革浪潮中，AI 新的视频工作流有可能诞生。无论是专业的影视从业者还是热爱创作的影视从业者 UGC 所有用户都将从中受益。

达摩院希望寻光视频创作平台能成为每一位创作者的专属视频工作室，实现“工欲善其事，必先利其器” AI 与创作者更紧密、更高效的合作，真正释放 AI 的生产力。

为此，达摩研究所的视觉技术实验室提供了大量的技术储备。该实验室致力于理解和生成多模态视觉信号的技术研究，目前的关键研究方向包括更准确的图像 / 视频 / 3D 内容生成，更可控的图像 / 视频 / 3D 内容编辑，更有效的生成框架，多模态理解 - 生成框架等。

陈威华表示，“寻光”将在不久的将来开放内部测试，不断迭代，优化互动，欢迎创作者定制自己 AI 工作流。

内测申请地址：

https://xunguang.damo-vision.com/

以上是达摩院发布的一站式AI视频创作平台"寻光\"，创建全新AI工作流的详细内容，请关注其他相关文章！

最新文章

相关文章