0 · 三分钟看懂：这个工具能干什么
「AI 口型」干一件事：输入一段有人物说话的镜头视频 + 一段台词音频，输出嘴型与音频严丝合缝对齐的视频。适合短剧里「换台词 / 补配音 / 给静态画面加说话」的场景。
入口在哪
- 工作台首页 → 气泡云里的
👄 AI 口型；或短剧链路里的口型环节 - 地址：
http://127.0.0.1:8090/lipsync/（后端 8036 端口）
界面从上到下
| 区域 | 干什么 |
|---|---|
| ①视频 / ②音频 | 两个上传框：说话镜视频 + 台词音频 |
| 引擎行 | 引擎下拉 · 人脸修复勾选 · 合成 按钮 · 右侧显示显存空闲 |
| 进度 | 进度条 + 阶段文字（上传素材→推理中→完成） |
| 结果 | 完成后出现下载链接与内置播放器 |
| 我的产物（历史） | 历史产物可播放 / 下载 / 删除 + 🗑回收站 |
| 日志 | 推理日志尾部，排错用 |
标题下方还有一行引擎探针：显示 Wav2Lip / MuseTalk / LatentSync 各自「就绪 / 未就绪」，每 15 秒自动刷新。
① 上传「视频（说话镜）」
干什么用的这是要被改嘴型的源画面。
怎么用
- 在「① 视频（说话镜）」框点选一个视频文件（mp4 等常见格式）
- 选好后下方显示文件名；只有 ①②都选好，「合成」按钮才会变可点
out_size 放大）。② 上传「音频（台词）」
干什么用的这是要「对上」的说话声音。
怎么用
- 在「② 音频（台词）」框点选一个音频文件（wav / mp3 等）
- 显示文件名后即可「合成」
③ 选引擎（如实说明三套）
干什么用的决定用哪套模型做口型。三套现状如下（以页面探针为准）：
| 引擎 | 状态 | 特点 / 建议 |
|---|---|---|
| Wav2Lip | ✅ 已接通 | 兜底方案：稳定、快，但整体清晰度一般（嘴部区域会有模糊感）。页面下拉里就是这个 |
| MuseTalk v1.5 | ✅ 已接通·已真跑 | 推荐：嘴型更自然，嘴+下颌联动，保持原分辨率/时长、观感更好 |
| LatentSync 1.5 | ⛔ 未接线 | 权重/依赖已就位，但缺官方推理代码，暂不可用（探针会标「未就绪」） |
engine=musetalk 使用（POST /api/lp/lipsync）。选它优先，追求更自然的嘴型与下颌运动。wav2lip_gan.pth、MuseTalk 的 unet/face-parsing/vae/whisper）。绿=就用它，灰=别选。④ 参数：人脸修复 / 分辨率 / 缩放
干什么用的控制「画质与贴回方式」。默认即可，追求更好的脸再动。
逐个说清楚
| 参数 | 取值 / 默认 | 说明 |
|---|---|---|
| 人脸修复（restore_face） | 页面勾选框：不勾=none，勾=gfpgan | 勾上后用 GFPGANv1.3 修脸（去糊、补细节）。codeformer 暂无权重，会自动降为 gfpgan。 |
| 输出尺寸（out_size） | 默认 1080x1920 | 用 lanczos 放大到目标尺寸（接口可传，页面未暴露）；竖版短剧常用 1080x1920。 |
| 缩放系数（resize_factor） | 默认 1 | 推理缩放比，1=不缩；调小更省显存/更快，画质略降。 |
| pads | 默认 [0,10,0,0] | 人脸框上下左右补白（下 +10 让下巴/嘴留够空间），一般不用改。 |
| 修复强度/混合/锐化 | 0.8 / 0.6 / 0 | v2 去重影参数：先放大→修脸→按混合羽化贴回，默认不锐化，避免脸—发际交界出现双层晕圈。 |
out_size 放大并勾「人脸修复」。想「更快/更省显存」：减小 resize_factor、关掉人脸修复。⑤ 开始合成与进度
干什么用的把素材提交给本机推理。
怎么用
- 确认 ①②都选好，点「合成」
- 看进度：上传素材… → 启动任务… → 推理中…，进度条同步推进(%)
- 完成后阶段显示「完成」，结果区出现下载链接与播放器，历史列表也自动刷新
- 失败时下方红字显示原因，日志区可看细节
⑥ 结果：播放对比 + 下载
干什么用的看成品嘴型对不对，然后拿走。
怎么用
- 完成后「结果」区显示「完成：产物名 + 下载链接」，下面出现内置播放器
- 点播放看嘴型与音频是否贴合（可与原片对比听台词）
- 点「下载」保存 mp4
⑦「我的产物」：播放 / 下载 / 删除 / 回收站
干什么用的管理生成过的所有口型视频（含历史对比）。
怎么用
- 「📁 我的产物（历史）」每个产物一行：内嵌播放器 + 文件名 + 大小 + 时间 + 「⬇下载 / 🗑删除」
- 直接在列表里点播放，快速多个版本对比
- 「🗑 删除」→ 确认后移入回收站（可恢复）
- 右上「🗑 回收站」（带数量）→ 弹窗里点「↩ 恢复」找回；「🧹 清空回收站」二次确认后永久清空
<时间戳>_lipsync_<原视频名>.mp4，同一素材多次跑不会互相覆盖。⑧ 设备与性能：本机 CPU 也能跑，不占显存
干什么用的说明它怎么用你的机器资源。
| 项 | 说明 |
|---|---|
| 默认设备 | 优先用 GPU（CUDA），跑前确保显存空闲够（页面右上会显示「显存空闲 N MiB」） |
| 强制 CPU | 可设 LP_DEVICE=cpu 走纯 CPU：不抢显存，适合显卡正忙于出图/出视频时错峰跑 |
| 速度参考 | CPU 实测约 49 帧 / 2 分钟；GFPGAN 修脸单帧 CPU 约 0.8 秒（3 秒片段整条约 30 秒），以实际素材为准 |
⑨ 收费口径
干什么用的这一项怎么算钱。
| 做什么 | 在哪跑 | 扣点 |
|---|---|---|
| 口型合成（本机推理） | 本机 GPU / CPU | 按「AI 配音」本地档计费：免费额度内不扣点，超出按点；会员不限次 |
| 上传 / 播放 / 下载 / 删除 / 恢复 | 本机 | 0 点 |
⑩ 常见问题（FAQ）
1. 合成按钮是灰的点不了？
说明①视频或②音频还没选齐，或已有任务在跑。两个素材都选好、且没有进行中的任务时按钮才亮。
2. 提示「有任务进行中」/ 报 409？
本模块单任务串行：同时只跑一个。等当前任务结束后再点即可。
3. 嘴型对不齐 / 贴到别人脸上？
源片里脸太小、遮挡、或多人在场都会出问题。改用清晰单人正脸的镜头；必要时先裁到目标人物再传。
4. 画面糊、嘴部发虚？
Wav2Lip 本身清晰度一般。建议：选 MuseTalk（原分辨率，观感更好）；或勾「人脸修复(GFPGAN)」并用 out_size 放大。
5. 音频比视频长会怎样？
MuseTalk 会自动把音频裁到视频时长，多余部分丢弃；想全用上就换成更长的视频或先剪音频。
6. 想省显存 / 显卡正忙？
设 LP_DEVICE=cpu 走 CPU 跑，不占显存，只是更慢（49 帧约 2 分钟）。
7. LatentSync 选不了 / 未就绪？
如实说：LatentSync 1.5 尚未接线（权重与依赖已就位，缺官方推理代码），探针显示「未就绪」，暂不可用。用 Wav2Lip 或 MuseTalk。
8. 删错了能找回吗？
能。删除是软删除，进「🗑 回收站」点「↩ 恢复」即可；只有「清空回收站」并二次确认后才永久删除。
9. 跑完没看到成品？
看「日志」卡片末尾文本，能定位卡在哪一步；常见是素材编码不受支持或显存不足。换素材/错峰再试。
