字节最新人像视频生成模型DreamActor-M1，推特关注超百万！即梦AI即将上线

还记得前段时间字节跳动备受关注的数字人技术Omnihuman-1吗？

最近，这支团队一项基于DiT架构的可控人像视频生成技术DreamActor-M1，一经发布，又在推特上引起了超百万量级的关注——

仅需一张静态照片和一段驱动视频，便可生成高质量、达到电影级别的视频，将人像视频生成的表现力提升至全新水平！

左右滑动查看

项目网页：

https://grisoon.github.io/DreamActor-M1/

论文地址：

https://arxiv.org/pdf/2504.01724

DreamActor-M1不仅能够保留原图中的身份特征，还能精准捕捉并迁移驱动视频中的动作和表情，呈现出高度逼真的效果，极大地简化了现有的动作捕捉、角色动画以及内容创作流程。

据悉，Omnihuman-1技术已经应用于即梦数字人玩法的「大师模式」而DreamActor-M1模型也将于近期上线即梦AI，用户将可以在「数字人」-「动作模仿」功能下体验新模型。相比已有的动作模仿效果，在生成内容逼真度、画风支持、画面比例支持等多个方面将大幅优化。

方案介绍

先一起来看看DreamActor-M1的效果：

玛丽莲梦露不仅能够精准复刻参考视频的动作，保持语音和口型一致，手臂大幅度摆动也不会出现严重的变形或虚影

在日光下，男子随着参考视频动作的同时，能看到光影相应的变化

与以往方法不同，DreamActor-M1采用多控制信号混合驱动架构，能够精准还原从眼神等细腻表情到肢体动作的各类表现，可驱动从真人到卡通的不同形象，支持从肖像画幅到全身画幅的多种画幅，显著增强了单图视频驱动能力的表现力与易用性。

• 在表情迁移方面，该系统运用隐式Face Motion Tokenizer，通过对大量人像视频进行自监督训练，实现对表情细节的精准建模。

• 在动作迁移方面，采用3D头部球体和3D身体骨架，能够支持各种风格角色的肢体动作精准迁移。

• 在画幅支持方面，DreamActor-M1基于DiT架构，并通过大量数据进行多阶段训练，可精准复刻各种画幅镜头，为用户提供了更广阔的创作空间。

各种画幅高表现还原

各种风格角色都支持

技术对比

相较于其他SOTA动作迁移和表情迁移工作，DreamActor-M1在人物ID保持、动作表情还原、视频生成质量方面都有着更好表现，为高效完成高质量内容创作创造了新的可能性。

• 与动作迁移工作的对比

• 与表情迁移工作的对比

安全说明

模型上线即梦AI后，平台将对视频内容进行严格的安全审核，并对输出视频添加「AI生成」水印，即梦AI现有的「动作模仿」功能也要求用户上传视频素材需确保拥有合法授权。

团队介绍

字节跳动智能创作团队是字节跳动AI&多媒体技术中台，通过建设领先的计算机视觉、音视频编辑、特效处理等技术，支持抖音、剪映、头条等公司内众多产品线；同时为外部ToB合作伙伴提供业界最前沿的智能创作能力与行业解决方案。

其中数字人团队专注于建设行业领先的数字人生成和驱动技术，丰富智能创作内容生态。该团队的OmniHuman-1 、PersonaTalk、Loopy、CyberHost等前沿创新的数字人成果均已在即梦AI快速应用，未来还将持续通过即梦AI为用户带来新奇和惊喜的体验。