OmniHuman 2.0 Audio to Video API

bytedance/omnihuman-2.0/audio-to-video
720p · 4–300 sec audio

OmniHuman 2.0 Audio to Video 将一张角色图片与 4–300 秒语音或音乐转化为 720p 视频,口型、表情和手势跟随音频。图片保留角色外观与构图,可选提示词补充运镜和动作。

输入

拖拽文件、粘贴剪贴板素材,或输入 URL。 必填,1 张 JPEG、PNG 或 WebP 角色图片。

1/1 个素材

拖拽文件、粘贴剪贴板素材,或输入 URL。 必填,1 个 WAV 或 MP3,4–300 秒,不超过 15 MB。

1/1 个素材

输出示例
预扣: 9.87 秒 × $0.105/秒 = $1.0364

任务完成后,预扣按生成视频的最终费用结算,差额退还。

继续使用

OmniHuman 2.0 Audio to Video

OmniHuman 2.0 是字节跳动的音频驱动视频模型,自 2026 年 10 月起通过 BytePlus 提供。它从音频的节奏、语调和语义中驱动口型、表情与肢体动作,适用于真人、动物、卡通及风格化角色。视频长度跟随音频,从 4 秒到 5 分钟,适合主持讲解、音乐短片和长篇旁白。

为什么选择 OmniHuman 2.0 Audio to Video API?

  • 单次最长 5 分钟用 4–300 秒音频驱动一张图片,视频长度与音轨一致。

  • 口型、表情与手势跟随音频语音和歌声直接决定口型、面部情绪和肢体节奏,无需手动关键帧。

  • 提示词控制运镜与动作用可选提示词设定运镜、动作和场景元素,表演交给音频驱动。

  • 不限于真人可驱动动物、卡通与动漫角色、3D 形象及多人画面。

  • 按音频时长预扣提交时按音频秒数 × 21 预扣积分;任务完成后按最终费用结算,差额退还。

参数说明

参数要求说明
image_urls必填

1 个公开 HTTP(S) 角色或人像图片地址。

默认值—
audio_url必填

公开 HTTP(S) 的 WAV 或 MP3 地址,不超过 15 MB,时长 4–300 秒,由服务端读取时长。

默认值—
prompt可选

可选,用于描述运镜、动作和场景元素。

默认值—

使用方法

  1. 选择角色图片选择一张面部或角色清晰可见的图片,放在公开 HTTP(S) 地址。

  2. 准备驱动音频将语音或音乐导出为 WAV 或 MP3,时长 4–300 秒,不超过 15 MB。

  3. 补充可选指引在提示词中描述运镜、手势或新增物体;留空则完全由音频主导。

  4. 提交并获取视频提交后获得 task_id,轮询状态接口或使用 callback_url 获取结果。

用量与计费

OmniHuman 2.0 Audio to Video 在提交时按驱动音频时长预扣积分,任务完成后按生成视频的最终费用结算预扣,并退还差额。

计费项目费率详情
提交时预扣音频秒数 × 21 积分任务受理时从余额中预扣,例如 30 秒音频预扣 630 积分。
完成后结算最终费用任务完成后,预扣积分按生成视频的最终费用结算,差额退还。

适用场景

  • 代言与讲解视频用一张头像和录好的讲稿生成主持人视频。

  • 多语种主讲同一张图片搭配不同语言音轨,制作本地化版本。

  • 音乐与演唱片段用歌曲驱动角色,制作翻唱、歌词视频和宣传片段。

  • 课程讲解用固定出镜讲师讲解最长 5 分钟的课程内容。

  • 会说话的吉祥物与宠物让品牌吉祥物、宠物或卡通角色开口说话,用于社媒内容。

实用技巧

  • 使用面部无遮挡、光线充足的图片,嘴部区域是口型同步的关键。
  • 干净、少长停顿和背景噪声的语音能让口型更清晰。
  • 提示词用于补充音频表达不了的内容,例如缓慢推近或角色拿起杯子。
  • 把音频剪到所需片段,预扣积分按完整音频时长计算。

注意事项

  • image_urls 只传 1 张图片,audio_url 传 1 个 WAV 或 MP3(4–300 秒,不超过 15 MB)。
  • 视频长度跟随音频,请求体只需包含图片、音频和可选提示词。
  • 任务异步执行:提交成功返回 task_id,可轮询或通过回调获取结果。

相关模型

OmniHuman 2.0 Audio to Video API 常见问题

OmniHuman 2.0 Audio to Video API 是什么?

OmniHuman 2.0 Audio to Video 是字节跳动用于从单张图片进行音频驱动视频生成的模型。它把一张角色图片和 4–300 秒语音或音乐转化为 720p 视频,口型、表情和手势跟随音频。图片确定角色外观与构图,可选提示词补充运镜、动作和场景元素。你可以通过 API 进行程序化调用,也可以在上方体验区直接在线试用。

OmniHuman 2.0 Audio to Video 的音频最长多长?

4–300 秒,格式为 WAV 或 MP3,不超过 15 MB。视频长度跟随音频,无需单独设置时长。

OmniHuman 2.0 Audio to Video 如何扣除积分?

提交时按音频秒数 × 21 从余额预扣积分,例如 60 秒音频预扣 1,260 积分。任务完成后,预扣按生成视频的最终费用结算,差额退还。

OmniHuman 2.0 Audio to Video 的提示词控制什么?

可选提示词用于引导运镜、动作和新增场景元素;口型、情绪和节奏来自音频。

OmniHuman 2.0 Audio to Video 能驱动动物或卡通角色吗?

可以。除真人外,还支持动物、卡通与动漫角色、3D 形象、风格化画面以及多人图片。

OmniHuman 2.0 Audio to Video 输出什么分辨率?

输出 720p 视频,构图跟随输入图片,可先把图片裁成需要发布的形状。

什么样的音频能让 OmniHuman 2.0 口型最好?

清晰、背景噪声少、没有长时间静音的语音或人声。上传前把文件剪到需要的部分。

OmniHuman 2.0 Audio to Video 能唱歌吗?

可以。歌曲或人声音轨会驱动角色演唱,表情和肢体动作随音乐节奏变化。