0 · 三分钟看懂:这个工具能干什么
出图模型:首帧/角色场景资产默认用 Qwen-Image 2512(4 步 Lightning) —— 实测中文/国风人像、汉服形制与配饰最正;想要更快可换 Z-Image-Turbo(8 步,约 6~12 秒/张);需要「锁脸一致性」(同一人跨镜)时用 SDXL + IP-Adapter。预设可在 image_model.json 里改 (default 字段),或请求参数带 image_preset。
把一首歌变成一支 MV 分镜视频:歌曲音频 → 分析 BPM / 节拍 / 段落 → 自动写分镜表 → 生成每镜首帧 → 生成镜头 → 按节拍把镜头拼起来 + 合回原唱。除「分镜提示词」调云端外,其余全部本机离线。
入口在哪
- 工作台首页 → 气泡云里的
🎵 歌生视频 - 地址:
http://127.0.0.1:8090/songvideo/(第一次用要先登录:右上「💰 点数」→ 手机号 + 登录码)

① 现状说明:哪些能用、哪些待完善
如实说明按「已经跑通的下游步骤」如实标注,避免你白等。
| 能力 | 状态 | 说明 |
|---|---|---|
| 上传歌曲 / 参考图 · 素材列表 | 可用 | 上传 mp3/wav/flac 等,能读出时长 |
| ① 分析歌曲(BPM / 节拍 / 分段) | 可用 | 本地 librosa 分析,能给出 BPM、段落数、时长(如 BPM≈117、段落 4) |
| 分镜表生成(逐段画面提示词) | 部分可用 | 能按段落生成分镜行(时间段 + 提示词);提示词依赖云端 |
| ② 生成 MV(首帧 → 镜头 → 拼接) | 待完善 / 暂不可用 | 出首帧(SDXL)步骤尚不稳定,跑 MV 目前可能在首帧处失败 |
② ① 素材:上传歌曲与参考图
干什么用的把「要配画面的歌」交给它;可选给一张主视觉图当风格/形象参考。
怎么用
- 「歌曲音频(mp3 / wav / flac)」处选文件 → 点「⬆ 上传歌曲」→ 提示上传成功
- 「主视觉参考图(可选,带 IP-Adapter 锁脸/锁风格)」选图 → 点「⬆ 上传参考图」(会自动勾上「带参考图」)
- 在「选择歌曲素材」下拉里选中刚上传的那首歌(显示文件名 + 时长)
- 想用参考图就勾「带参考图(需先上传主视觉图)」
③ ② 参数:风格 / 情绪 / 速度档 / 镜数
干什么用的决定 MV 的调性和「出多长、要多久」。
| 参数 | 说明 / 默认 |
|---|---|
| 歌名 | 用于命名产物,留空取文件名。 |
| 画面风格 | 默认「电影感写实,暖金色调,浅景深」。写清质感/色调即可。 |
| 情绪 | 默认「温柔而坚定」,影响分镜提示词。 |
| 速度档 | 见下表。默认「均衡」。影响单镜画幅/帧数与耗时。 |
| 每镜秒数 | 默认 3(1~6)——每个镜头大约几秒。 |
| 上限镜数 | 默认 4(1~12)——最多出几个镜头,控制总时长与耗时。 |
速度档对比(当前实际参数)
| 档 | 画幅 | 帧数 | 单镜时长 | 预计每镜 |
|---|---|---|---|---|
| 极速 turbo | 480×832 | 33 | ≈2.06s | ≈2.3 分钟 |
| 均衡 balanced(默认) | 480×832 | 49 | ≈3.06s | ≈3.4 分钟 |
| 质量 quality | 480×832 | 81 | ≈5.06s | ≈5.6 分钟 |

④ 两步走:① 分析歌曲 → ② 生成 MV
干什么用的整条流程拆成两步,先「看懂歌」,再「出画面」。
怎么用
- 确认左栏已选中歌曲(没选会提示「请先上传并选择歌曲音频」)
- 点「① 分析歌曲」→ 本地分析 BPM / 节拍 / 段落,中栏分镜表出现行(时间段 + 提示词)
- 点「② 生成 MV」→ 开始出首帧、出镜头、拼接成片(当前此步尚不稳定,见第 ① 节)
- 中途想停点「■ 停止」
⑤ 分镜表怎么读
干什么用的中栏「分镜表」就是这支 MV 的「场记单」:每一镜什么时候出现、画面是什么、做到哪一步了。
每列含义
| 列 | 含义 |
|---|---|
| # | 镜头序号 |
| 首帧 | 该镜头的首帧缩略图(生成后显示) |
| 时间段 | 该镜在歌里起止时间(分:秒),下方小字是段落位置(首段 / 主歌 / 副歌 / 高潮 / 尾段) |
| 提示词 | 这一镜的英文画面提示词(出首帧/出镜头都用它) |
| 状态 | 待生成 / 首帧完成 / 镜头完成(绿=完成、黄=进行、红=失败) |
| 操作 | 「↻重跑」单独重做这一镜(会重新出首帧+镜头并重新拼接) |
⑥ 进度 · 成片播放 · 下载
干什么用的看跑到哪一步,并播放/下载成品。
怎么用
- 中栏「进度」有进度条 + 状态标签(颜色:进行中黄 / 完成绿 / 失败红)+ 附加信息
- 跑到「成片」阶段后,下方播放器会自动加载结果,可直接播
- 「⬇ 下载成片」下载 mp4;右栏「我的产物」也有 ⬇ 按钮
成片规格
竖屏 1080×1920 / 30fps / H.264 + AAC 192k;各镜头统一缩放裁切成 1080×1920@30fps 后拼接,并合回原唱音轨(末帧冻结 + 音频补足对齐)。
⑦ 产物在哪 · 删除与回收站
干什么用的找到成品文件,并清理不想要的。
| 东西 | 位置 |
|---|---|
| 成品视频 | songvideo_out\<时间戳>_songvideo_<歌名>.mp4 |
| 上传素材 | songvideo_in\(audio_* / ref_*) |
| 中间缓存 | songvideo_cache\(首帧、镜头、计划 json;含 .trash 软删) |
- 右栏「我的产物」每行有 ▶ 播放 / ⬇ 下载 / 🗑 删除
- 「🗑 删除」→ 确认后移进回收站(软删,可恢复)
- 右栏「♻️ 回收站」点「↩」恢复;「🧹 清空回收站」需两次确认才物理删除
⑧ 引擎状态灯怎么看
干什么用的右栏「引擎状态」告诉你跑 MV 要用的几个引擎是否就绪。
| 灯 | 意思 |
|---|---|
| ffmpeg | 拼接/转码用;绿=可用(显示版本) |
| SDXL 8196 | 出首帧的 ComfyUI 实例;显示「运行中 / 未启动」 |
| WAN 8192 | 出镜头的 ComfyUI 实例;显示「运行中/队列 N / 未启动」 |
| DeepSeek | 写分镜提示词用;绿=可用 |
| 显存行 | 「GPU 空闲 X MiB / 开跑需 ≥9000 MiB」——不足时会排队等待 |

⑨ 计费与登录
干什么用的哪些操作花钱、哪些不花,以及没登录会怎样。
| 做什么 | 怎么算 |
|---|---|
| 上传 / ① 分析歌曲 | 本地功能,走免费额度:每天 2 次(按电脑算),会员不限次;超出 0.5 点/次 |
| ② 生成 MV(本地出图/出视频) | 走计费闸门(需登录):本地额度内按上表口径;失败会尝试退款 |
| 分镜提示词(DeepSeek) | 云端 LLM,按成本×加价率扣点 |
| 预览 / 下载 / 删除 / 恢复 | 本地操作,0 点 |
⑩ 常见问题(FAQ)
1. 现在能直接用它出 MV 吗?
暂时不能稳定出成片。本模块是 MVP:「上传 + 分析歌曲」已跑通;「生成 MV」链路仍在调试(可能在首帧处失败)。详见第 ① 节。
2. 点「② 生成 MV」提示要登录 / 没反应?
生成走计费闸门,需先登录。点右上「💰 点数」用手机号 + 登录码登录即可。
3. 一直卡在「等待显存 / 排队」?
出图/出视频要独占显卡,需等空闲 ≥9000 MiB。若同时有别的 GPU 任务在跑,就要排队等待(最长约 40 分钟)。先腾出显卡或换时间再跑。
4. 某一镜不满意想重来?
分镜表该行点「↻重跑」会单独重做这一镜并重新拼片(同样受显存与计费约束)。
5. 出片比原歌长/短、或结尾静音对齐怪?
拼片用「末帧冻结 + 音频补足」对齐原音轨,属设计行为;极端情况可能与镜数/每镜秒数设置有关,调整「每镜秒数 / 上限镜数」再跑。
6. 中途想停怎么办?
点「■ 停止」。已生成的首帧/镜头缓存在 songvideo_cache\,重跑时可能复用。