🏠 返回工作台
← 返回教程总览

🎵 歌生视频 · 使用教程

歌曲 → MV 分镜视频(MVP 在建)· 详见下方现状说明 ▶ 打开歌生视频页

0 · 三分钟看懂:这个工具能干什么

出图模型:首帧/角色场景资产默认用 Qwen-Image 2512(4 步 Lightning) —— 实测中文/国风人像、汉服形制与配饰最正;想要更快可换 Z-Image-Turbo(8 步,约 6~12 秒/张);需要「锁脸一致性」(同一人跨镜)时用 SDXL + IP-Adapter。预设可在 image_model.json 里改 (default 字段),或请求参数带 image_preset。

把一首歌变成一支 MV 分镜视频:歌曲音频 → 分析 BPM / 节拍 / 段落 → 自动写分镜表 → 生成每镜首帧 → 生成镜头 → 按节拍把镜头拼起来 + 合回原唱。除「分镜提示词」调云端外,其余全部本机离线。

入口在哪

  • 工作台首页 → 气泡云里的 🎵 歌生视频
  • 地址:http://127.0.0.1:8090/songvideo/(第一次用要先登录:右上「💰 点数」→ 手机号 + 登录码)
⚠️ 现状(如实说明):本模块是 MVP,仍在建设。已跑通「上传歌曲 + ① 分析歌曲」(能算出 BPM、节拍、段落数);「② 生成 MV」这条链(出首帧 → 出镜头 → 拼接成片)目前仍在调试,暂不可用 / 部分可用,跑起来可能在「第 1 镜首帧生成」处失败。下文按设计如实介绍界面与参数,供参考。详见第 ① 节。
歌生视频页首屏
歌生视频页首屏:左栏素材与参数、中栏分镜表/进度/成片、右栏引擎状态/日志/产物/回收站

① 现状说明:哪些能用、哪些待完善

如实说明按「已经跑通的下游步骤」如实标注,避免你白等。

能力状态说明
上传歌曲 / 参考图 · 素材列表可用上传 mp3/wav/flac 等,能读出时长
① 分析歌曲(BPM / 节拍 / 分段)可用本地 librosa 分析,能给出 BPM、段落数、时长(如 BPM≈117、段落 4)
分镜表生成(逐段画面提示词)部分可用能按段落生成分镜行(时间段 + 提示词);提示词依赖云端
② 生成 MV(首帧 → 镜头 → 拼接)待完善 / 暂不可用出首帧(SDXL)步骤尚不稳定,跑 MV 目前可能在首帧处失败
因此:现在能用的是「分析歌曲」;「生成 MV」请等模块完善后再用,避免浪费时间与点数。真跑失败时错误会写进右栏「任务日志」。
想现在就做「歌 + 画面」成片,可先用工作台里的写歌 / 音频 / 剪辑等已成型的模块;歌生视频跑通后再回来用。

② ① 素材:上传歌曲与参考图

干什么用的把「要配画面的歌」交给它;可选给一张主视觉图当风格/形象参考。

怎么用

  1. 「歌曲音频(mp3 / wav / flac)」处选文件 → 点「⬆ 上传歌曲」→ 提示上传成功
  2. 「主视觉参考图(可选,带 IP-Adapter 锁脸/锁风格)」选图 → 点「⬆ 上传参考图」(会自动勾上「带参考图」)
  3. 在「选择歌曲素材」下拉里选中刚上传的那首歌(显示文件名 + 时长)
  4. 想用参考图就勾「带参考图(需先上传主视觉图)」
参考图机制:出首帧时会带 IP-Adapter(权重约 0.50) 参考你上传的主视觉,让画面风格/形象更一致。没有参考图也能跑(走纯文本提示词)。

③ ② 参数:风格 / 情绪 / 速度档 / 镜数

干什么用的决定 MV 的调性和「出多长、要多久」。

参数说明 / 默认
歌名用于命名产物,留空取文件名。
画面风格默认「电影感写实,暖金色调,浅景深」。写清质感/色调即可。
情绪默认「温柔而坚定」,影响分镜提示词。
速度档见下表。默认「均衡」。影响单镜画幅/帧数与耗时。
每镜秒数默认 3(1~6)——每个镜头大约几秒。
上限镜数默认 4(1~12)——最多出几个镜头,控制总时长与耗时。

速度档对比(当前实际参数)

档画幅帧数单镜时长预计每镜
极速 turbo480×83233≈2.06s≈2.3 分钟
均衡 balanced(默认)480×83249≈3.06s≈3.4 分钟
质量 quality480×83281≈5.06s≈5.6 分钟
歌生视频参数区
左栏「② 参数」:歌名 / 画面风格 / 情绪 / 速度档(极速·均衡·质量)/ 每镜秒数 / 上限镜数,以及「① 分析歌曲」「② 生成 MV」「■ 停止」
「生成 MV」耗时≈「每镜分钟数 × 镜数」,镜数越多越久。别把「每镜秒数 × 上限镜数」设得远超歌曲实际长度,否则会做很多用不上的镜头。

④ 两步走:① 分析歌曲 → ② 生成 MV

干什么用的整条流程拆成两步,先「看懂歌」,再「出画面」。

怎么用

  1. 确认左栏已选中歌曲(没选会提示「请先上传并选择歌曲音频」)
  2. 点「① 分析歌曲」→ 本地分析 BPM / 节拍 / 段落,中栏分镜表出现行(时间段 + 提示词)
  3. 点「② 生成 MV」→ 开始出首帧、出镜头、拼接成片(当前此步尚不稳定,见第 ① 节)
  4. 中途想停点「■ 停止」
未登录点「② 生成 MV」会被拦(会弹登录条)。同一时刻只跑 1 个任务,重复点会提示「有任务在跑」。
GPU 排队:开跑前会等显存空闲 ≥ 约 9000 MiB(每 60 秒检查一次,最长约 40 分钟)。所以「生成 MV」开跑前可能需要先等一会儿,右栏日志里能看到等待信息。

⑤ 分镜表怎么读

干什么用的中栏「分镜表」就是这支 MV 的「场记单」:每一镜什么时候出现、画面是什么、做到哪一步了。

每列含义

列含义
#镜头序号
首帧该镜头的首帧缩略图(生成后显示)
时间段该镜在歌里起止时间(分:秒),下方小字是段落位置(首段 / 主歌 / 副歌 / 高潮 / 尾段)
提示词这一镜的英文画面提示词(出首帧/出镜头都用它)
状态待生成 / 首帧完成 / 镜头完成(绿=完成、黄=进行、红=失败)
操作「↻重跑」单独重做这一镜(会重新出首帧+镜头并重新拼接)
分镜表头顶会显示这首歌的元信息,例:BPM 117 | 段落 4 | 时长 00:24。这是「① 分析歌曲」的成果。

⑥ 进度 · 成片播放 · 下载

干什么用的看跑到哪一步,并播放/下载成品。

怎么用

  1. 中栏「进度」有进度条 + 状态标签(颜色:进行中黄 / 完成绿 / 失败红)+ 附加信息
  2. 跑到「成片」阶段后,下方播放器会自动加载结果,可直接播
  3. 「⬇ 下载成片」下载 mp4;右栏「我的产物」也有 ⬇ 按钮

成片规格

竖屏 1080×1920 / 30fps / H.264 + AAC 192k;各镜头统一缩放裁切成 1080×1920@30fps 后拼接,并合回原唱音轨(末帧冻结 + 音频补足对齐)。

⑦ 产物在哪 · 删除与回收站

干什么用的找到成品文件,并清理不想要的。

东西位置
成品视频songvideo_out\<时间戳>_songvideo_<歌名>.mp4
上传素材songvideo_in\(audio_* / ref_*)
中间缓存songvideo_cache\(首帧、镜头、计划 json;含 .trash 软删)
  1. 右栏「我的产物」每行有 ▶ 播放 / ⬇ 下载 / 🗑 删除
  2. 「🗑 删除」→ 确认后移进回收站(软删,可恢复)
  3. 右栏「♻️ 回收站」点「↩」恢复;「🧹 清空回收站」需两次确认才物理删除
删除都是先软删到回收站,误删能救;清空回收站才不可撤销。

⑧ 引擎状态灯怎么看

干什么用的右栏「引擎状态」告诉你跑 MV 要用的几个引擎是否就绪。

灯意思
ffmpeg拼接/转码用;绿=可用(显示版本)
SDXL 8196出首帧的 ComfyUI 实例;显示「运行中 / 未启动」
WAN 8192出镜头的 ComfyUI 实例;显示「运行中/队列 N / 未启动」
DeepSeek写分镜提示词用;绿=可用
显存行「GPU 空闲 X MiB / 开跑需 ≥9000 MiB」——不足时会排队等待
歌生视频右栏
右栏「引擎状态」(ffmpeg / SDXL 8196 / WAN 8192 / DeepSeek / 显存)+「任务日志(最近 30 行)」+「我的产物」+「回收站」
引擎「未启动」不代表坏了:为省显存,实例可能是按需拉起;开跑时会自动拉起或连用现有实例。

⑨ 计费与登录

干什么用的哪些操作花钱、哪些不花,以及没登录会怎样。

做什么怎么算
上传 / ① 分析歌曲本地功能,走免费额度:每天 2 次(按电脑算),会员不限次;超出 0.5 点/次
② 生成 MV(本地出图/出视频)走计费闸门(需登录):本地额度内按上表口径;失败会尝试退款
分镜提示词(DeepSeek)云端 LLM,按成本×加价率扣点
预览 / 下载 / 删除 / 恢复本地操作,0 点
未登录不能跑:点「② 生成 MV」会弹登录条,填手机号 + 登录码登录后再试。
统一口径:本地功能走「免费额度(每天 2 次(按电脑算),会员不限次),超额 0.5 点/次」;云端 LLM 按成本×加价率扣点。

⑩ 常见问题(FAQ)

1. 现在能直接用它出 MV 吗?

暂时不能稳定出成片。本模块是 MVP:「上传 + 分析歌曲」已跑通;「生成 MV」链路仍在调试(可能在首帧处失败)。详见第 ① 节。

2. 点「② 生成 MV」提示要登录 / 没反应?

生成走计费闸门,需先登录。点右上「💰 点数」用手机号 + 登录码登录即可。

3. 一直卡在「等待显存 / 排队」?

出图/出视频要独占显卡,需等空闲 ≥9000 MiB。若同时有别的 GPU 任务在跑,就要排队等待(最长约 40 分钟)。先腾出显卡或换时间再跑。

4. 某一镜不满意想重来?

分镜表该行点「↻重跑」会单独重做这一镜并重新拼片(同样受显存与计费约束)。

5. 出片比原歌长/短、或结尾静音对齐怪?

拼片用「末帧冻结 + 音频补足」对齐原音轨,属设计行为;极端情况可能与镜数/每镜秒数设置有关,调整「每镜秒数 / 上限镜数」再跑。

6. 中途想停怎么办?

点「■ 停止」。已生成的首帧/镜头缓存在 songvideo_cache\,重跑时可能复用。

本教程随功能更新 · 页面上的提示也会同步说明(鼠标悬停有提示)