T3-003 AI 短剧制作全流程：从剧本到成片，一套工具链跑到黑

落盘：Drafts/Daily/T3-004-AI短剧制作全流程/

2026 年 AI 短剧赛道彻底爆发。但大多数创作者卡在同一个问题上：工具太多、链路太碎、不知道哪一步该用什么。写剧本用 Claude，做分镜用 ComfyUI，生角色用 Midjourney，配音用 ElevenLabs，剪辑用剪映——每一步都是一个新软件、一笔新费用、一次新学习成本。这篇文章给你一条经过实战验证的工具链：Toonflow 出剧本分镜 → Jellyfish 管角色一致性 → LibTV 做视频合成 → VoxCPM 出配音 → LosslessCut 精剪收尾。五个工具、一条链路、全流程可跑通。

📊 工具链速览

一、AI 短剧制作全景图：五步六工具，一条链路

传统短剧制作需要编剧、分镜师、角色设计师、动画师、配音演员、剪辑师六个角色。AI 工具链把这个团队压缩成一个人 + 五个工具：

你的短剧剧本（文字/小说章节）
        │
        ▼
  ① 剧本拆解 ──── Toonflow / Jellyfish
     AI 编剧改写 → 场景切分 → 对话提取 → 角色识别
        │
        ▼
  ② 分镜设计 ──── Toonflow + Jellyfish
     镜头语言拆解 → 景别标注 → 运镜方向 → 时长分配
        │
        ▼
  ③ 角色设计 ──── Toonflow 角色管理 + LibTV 主体库
     角色外观定义 → 多角度参考 → 表情集 → 跨场景一致性锁定
        │
        ▼
  ④ 视频生成 ──── LibTV 节点式工作流
     逐镜生成 → 运镜控制 → 转场衔接 → 主体一致性 → 合成输出
        │
        ▼
  ⑤ 音频制作 ──── VoxCPM
     多角色配音 → 情感控制 → 语速调节 → 背景音乐混音
        │
        ▼
  ⑥ 后期精剪 ──── LosslessCut
     片段裁切 → 黑场去除 → 音画同步 → 最终导出

这条链路的核心哲学是：每一步用最擅长那个环节的工具，而不是试图让一个工具干所有事。Toonflow 擅长从文字到分镜的「理解层」，Jellyfish 擅长跨镜头的「一致性层」，LibTV 擅长画面生成的「表现层」，VoxCPM 擅长语音的「情感层」，LosslessCut 做最后的「收尾层」。

二、剧本创作：Toonflow 把小说变成可拍的分场剧本

2.1 Toonflow 的编剧引擎做了什么

Toonflow 的剧本处理模块是整个链路的起点。你把一段小说章节或剧本草稿贴进去，它做四件事：

1. 叙事结构识别：自动检测「起承转合」结构节点，标记高潮段落和过渡段落。实测中，它对三幕剧结构的识别准确率很高，能正确区分「铺垫-冲突-解决」的节奏分布。

2. 场景自动切分：按地点转换、时间跳跃、人物进出三个维度切分场景。一段 2000 字的短篇小说，Toonflow 通常切出 8-15 个场景，每个场景带独立的时间地点标注。

3. 对话-动作分离：把叙事文本拆成「旁白/描述」和「角色对话」两条轨道。对话分配给对应角色，描述转化为画面提示词。这个分离是后续分镜和配音的基础——对话轨直接喂给 VoxCPM，描述轨转化为分镜画面。

4. 角色关系图谱：提取所有出场角色，标注首次出场场景、对话占比、角色关系。这个图谱后续直接导入 Jellyfish 做一致性管理。

输入：一段 2000 字短篇小说
        │
        ▼
  Toonflow 编剧引擎处理（约 30-60 秒）
        │
        ├── 输出 1：分场剧本（8-15 个场景，带时间/地点/角色）
        ├── 输出 2：对话轨（按角色标注，可直接喂给 VoxCPM）
        ├── 输出 3：画面描述轨（每个场景的可视化 prompt）
        └── 输出 4：角色关系图谱（出场序 + 对话占比 + 关系标注）

2.2 什么时候用 Jellyfish 代替 Toonflow 做剧本拆解

Toonflow 的剧本拆解偏「轻量快速」，适合 5 分钟以内的短剧。如果你的项目更长、更复杂（10 分钟以上、多线叙事），建议用 Jellyfish 替代这一步：

• Jellyfish 的结构化分镜更细：它不仅切场景，还会标注每个场景内的镜头数、景别分布、情绪曲线
• 一致性元数据更丰富：Jellyfish 为每个角色/场景/道具生成独立的「一致性指纹」，后续视频生成时引用这些指纹来保证跨镜头统一
• 支持版本管理：剧本修改后，Jellyfish 自动 diff 出变更部分，只重新生成受影响的分镜，不浪费算力

💡 实战建议：短剧（≤5 分钟）用 Toonflow 一步到位；长剧（>5 分钟）用 Jellyfish 做结构层，导出分镜数据到 LibTV。

三、分镜设计：从文字场景到可拍的镜头序列

3.1 Toonflow 的智能分镜

Toonflow 的分镜引擎接收上一步的场景列表，输出「可拍的镜头序列」。每个镜头包含：

Toonflow 的分镜输出可以直接导出为 JSON/CSV，方便导入其他工具。

优势：速度快，一段 10 场景的剧本，30 秒出完整分镜表。

局限：镜头语言偏「模板化」——对话场景几乎总是中景正反打，缺乏更有创意的构图选择。如果你需要更有电影感的分镜，下一步 Jellyfish 能补上。

3.2 Jellyfish 的结构化分镜增强

Jellyfish 的分镜系统比 Toonflow 多三个维度的控制：

1. 情绪曲线映射：把整个剧本的情绪起伏画成一条曲线，每个镜头在这条曲线上有一个坐标。高潮场景自动分配更短的镜头时长和更快的剪辑节奏；抒情场景分配更长的镜头和更慢的运镜。

2. 视线匹配：自动检测相邻镜头中角色的视线方向，确保正反打对话场景中角色 A 看左、角色 B 看右——这个看似小的细节，做不好会让观众潜意识里觉得「不对劲」。

3. 180 度规则检查：这是电影拍摄的基本规则——两个对话角色的空间关系一旦建立，机位不能跳到关系的另一侧。Jellyfish 的检查机制能避免 AI 生图最常见的「跳轴」错误。

Toonflow 分镜（快速出稿）
        │
        ▼
  Jellyfish 增强（可选步骤）
        ├── 情绪曲线优化：调整每个镜头的节奏
        ├── 视线匹配检查：修正对话场景的视线方向
        ├── 180度规则检查：消除跳轴错误
        └── 输出：增强后的分镜表（可直接导入 LibTV）

💡 关键判断：如果你的短剧以对话为主（都市情感、职场剧），强烈建议走 Jellyfish 增强这一步——视线和跳轴问题在对话密集的剧里会被放大。如果是动作/风景为主的短剧（旅行、美食），Toonflow 直出分镜就够用。

四、角色设计：跨场景一致性的核心战场

AI 短剧最大的技术难点不是「生成一张好看的图」，而是「让同一个角色在 50 个镜头里长得一样」。这就是角色一致性（Character Consistency）问题——也是区分「玩具」和「生产工具」的关键标准。

4.1 Toonflow 的角色管理系统

Toonflow 内置了角色管理器，每个角色存储：

• 基础外观描述：性别、年龄、发型、脸型、肤色、身高、体型
• 特征锚点：3-5 个不可变的外观特征（如「左眼下方有一颗痣」「鼻梁上有一道浅疤」）
• 多角度参考图：正面、侧面、45° 角各一张，由 AI 首先生成后锁定
• 服装库：每套服装对应特定场景，避免「室内穿大衣」这种穿帮

Toonflow 的角色一致性策略是「锚点锁定法」——生成每张图时，prompt 中强制注入特征锚点描述，配合参考图做 img2img 约束。

实际效果：日常场景（相同光照、相同角度）一致性约 85%。极端场景（强背光、大幅度动作、远景）一致性下降到约 60%。

4.2 LibTV 主体库：把角色一致性推到 90%+

LibTV 的「主体库」（Subject Library）是目前角色一致性做得最扎实的方案之一。它的工作原理：

1. 主体注册：上传 3-5 张同一角色的参考图，LibTV 提取面部特征向量并存储为主体模板
2. 跨镜头调用：视频生成时，每个镜头节点引用主体模板 ID，系统自动注入一致性约束
3. 自适应调整：如果角色在某个镜头中需要不同角度/表情/光照，LibTV 在保持面部特征向量的前提下做自适应变形——核心特征不变，表现力可调

Toonflow 角色定义（外观描述 + 锚点 + 参考图）
        │
        ▼
  LibTV 主体库注册（面部特征向量提取）
        │
        ├── 主体 ID: CHAR_01（女主）
        ├── 主体 ID: CHAR_02（男主）
        ├── 主体 ID: CHAR_03（配角）
        │
        ▼
  每个镜头节点引用主体 ID → LibTV 自动注入一致性约束

💡 实战经验：Toonflow 的角色定义 + LibTV 的主体库是目前最稳定的组合。Toonflow 负责「定义角色长什么样」，LibTV 负责「确保每个镜头里都长这样」。单独用 Toonflow 的角色系统跑 10 个镜头以上会有明显漂移；加上 LibTV 主体库后，50 个镜头的角色一致性可以稳定在 90% 以上。

五、视频生成：LibTV 节点式工作流是灵魂

这是整个链路中「从静到动」的关键一步。LibTV 的节点式工作流（Node-based Workflow）让视频生成从「黑箱抽卡」变成「可控编排」。

5.1 为什么节点式工作流对短剧至关重要

传统 AI 视频生成工具（如 Sora、可灵）是「输入 prompt → 输出视频」的黑箱模式。对短剧来说，这个模式有三个致命问题：

• 无法精确控制运镜：你写「slow push-in」，模型可能给你一个快速的 dolly zoom
• 无法管理转场：镜头之间的衔接完全随机
• 无法批量迭代：改一个镜头要重新跑整段

LibTV 的节点式方案解决了这三个问题：

[脚本节点] → [图片生成节点] → [运镜控制节点] → [转场节点] → [音频节点] → [输出节点]
     │              │                │               │            │
     │              │                │               │            └─ VoxCPM 配音 + BGM
     │              │                │               └─ 溶解 / 擦除 / 淡入淡出 / 无缝衔接
     │              │                └─ 推/拉/摇/移/跟 + 速度曲线 + 缓入缓出
     │              └─ 引用主体库 ID + 风格预设 + 分辨率/帧率设定
     └─ 剧本场景文本 + 角色标注 + 时长

5.2 LibTV 视频生成的六个控制维度

5.3 分镜数据导入 LibTV 的实际操作

LibTV 的 Skill 接口支持 JSON 格式的分镜数据导入。你可以把 Toonflow 或 Jellyfish 的分镜表导出为 JSON，一键导入 LibTV，自动创建对应的节点图：

{
  "project": "短剧_第1集_重逢",
  "resolution": "1920x1080",
  "fps": 24,
  "shots": [
    {
      "id": "SHOT_01",
      "duration": 5.0,
      "camera": "wide_establishing",
      "prompt": "城市黄昏全景，暖色调...",
      "characters": ["CHAR_01"],
      "transition_to": "cut"
    },
    {
      "id": "SHOT_02", 
      "duration": 4.5,
      "camera": "medium_push_in",
      "prompt": "咖啡馆内，中景，女主坐在窗边...",
      "characters": ["CHAR_01"],
      "transition_to": "dissolve"
    }
  ]
}

导入后，LibTV 自动在画布上生成对应节点，每个节点预设好运镜参数和主体引用。你只需要逐一检查画面效果，微调不满意的镜头，不需要从零搭建。

5.4 Jellyfish 的视频生成定位

Jellyfish 自己也支持视频生成，但它的视频模块目前不如 LibTV 成熟。Jellyfish 的强项是前期生产管理（剧本结构 + 一致性元数据 + 分镜编排），视频生成建议交给 LibTV 的节点引擎。

两者的协作模式：Jellyfish 做「导演」——决定拍什么、怎么拍、角色关系怎么管理；LibTV 做「摄影+后期」——执行拍摄、运镜、合成。

六、音频制作：VoxCPM 一人配全剧

6.1 VoxCPM 的核心能力

VoxCPM（OpenBMB 出品，26.1k Stars）是目前最成熟的开源 AI 语音合成引擎。对短剧制作来说，它有三个杀手级功能：

① 30 语种 + 跨语种音色保持

VoxCPM 支持中、英、日、韩等 30 种语言，关键是切换语言时音色不变——同一角色说中文和说英文听起来是同一个人。这对出海短剧（中英双语版）是刚需。

② Voice Design：用文字描述声音

不需要找声优录 30 分钟干音。你只需要写一段声音描述，VoxCPM 自动合成对应的音色：

输入：「25岁女性，声音温柔但有力量感，略带沙哑，像刚哭过又强装镇定」
输出：符合描述的音色模型，可直接用于配音

Voice Design 是 VoxCPM 的独门绝技。传统 TTS 需要大量录音样本做声音克隆，VoxCPM 直接用自然语言设计声音，零样本即可生成新音色。

③ 情感控制参数

VoxCPM 支持七个维度的情感控制：

6.2 短剧配音实操流程

Toonflow 对话轨（按角色标注的台词）
        │
        ▼
  拆分为角色独立的台词文件
        ├── CHAR_01_女主.txt（所有女主的台词，带场景标注）
        ├── CHAR_02_男主.txt
        └── CHAR_03_配角.txt
        │
        ▼
  VoxCPM Voice Design（为每个角色设计音色）
        ├── 女主：「温婉但内心坚定，25岁，轻微沙哑」
        ├── 男主：「低沉有磁性，30岁，偶尔带笑意」
        └── 配角：「尖细活泼，20岁，语速偏快」
        │
        ▼
  逐句配音生成（带情感参数）
  每句台词单独生成 WAV，文件名 = 镜头编号
        │
        ▼
  导入 LibTV 音频节点 → 与视频轨自动对齐

6.3 背景音乐处理

VoxCPM 不直接生成 BGM，但短剧的 BGM 有两个高效方案：

• 免版税音乐库：Pixabay Music、Uppbeat 提供大量免版税 BGM，按情绪分类搜索
• LibTV 内置 BGM：LibTV 自带一批可直接使用的背景音乐，音频节点拖入即可，自动做音量淡化

BGM 音量建议设置为配音音量的 25-30%，在对话密集的场景压低到 20%，在无对话的过渡场景抬升到 40%。

七、后期剪辑：LosslessCut 精剪收尾

AI 生成的短剧素材出来后，通常需要两个收尾操作：

7.1 LosslessCut 的无损剪切

LosslessCut 是一个基于 FFmpeg 的无损视频剪切工具（30k+ Stars）。与传统剪辑软件不同，它不重新编码视频——只在关键帧位置切割，速度极快，画质零损失。

短剧后期用它做三件事：

1. 掐头去尾：AI 生成的镜头开头常有 0.5-1 秒的「预热画面」（模型还在收敛），结尾常有 0.3-0.5 秒的画面劣化。用 LosslessCut 精确裁掉这些部分。

2. 黑场去除：镜头切换时偶有黑场帧残留，逐段检查并裁除。

3. 片段重排：如果发现某两个镜头的顺序需要调换，LosslessCut 的片段拖拽重排比重新生成快得多。

7.2 音画同步检查

AI 配音和 AI 画面的时长不一定完美对齐。常见问题：

7.3 最终导出参数

# LosslessCut 导出设置（如果手动用 FFmpeg）
视频：H.264 / 1920×1080 / 24fps / CRF 18 / 8Mbps
音频：AAC / 48kHz / 256kbps / 立体声
容器：MP4

对于短视频平台（抖音/TikTok），额外导出一份 1080×1920 竖屏版本。

八、全链路成本对比：开源工具链 vs 商业 SaaS vs 传统制作

这是大家最关心的部分。我把三种方案的成本拆成一张表：

8.1 单集 3 分钟短剧的制作成本

8.2 隐藏成本对比

8.3 GPU 硬件投入（一次性）

如果选择本地跑 VoxCPM 配音和部分渲染：

💡 实际建议：如果你已经有 Mac M1 以上或 RTX 2060 以上配置，VoxCPM 和 Toonflow 完全够用。视频生成走 LibTV 云端，不需要本地高端 GPU。一台 ¥6000 的电脑就能跑通整条链路。

九、三种组合方案：不同需求怎么选

方案 A：极速出片（适合日更自媒体）

Toonflow（全流程） → VoxCPM（配音） → LosslessCut（收尾）

• 耗时：2-3 小时/集
• 成本：$0
• 画质：中等，角色一致性一般
• 适用：剧情简单的口播类短剧、信息流广告、抖音竖屏短剧

方案 B：品质优先（适合精品短剧、出海内容）

Toonflow（剧本+分镜初稿） → Jellyfish（分镜增强+一致性管理） → LibTV（视频合成） → VoxCPM（多角色配音） → LosslessCut（精剪）

• 耗时：4-6 小时/集
• 成本：$0-15/月（LibTV 超出免费额度部分）
• 画质：高，角色一致性 >90%
• 适用：横屏精品短剧、YouTube 内容、品牌定制剧

方案 C：团队协作（适合工作室/小型制作公司）

Jellyfish（项目管理+分镜+一致性） → LibTV（视频生成） → VoxCPM（配音） → DaVinci Resolve（专业调色+混音）

• 耗时：1-2 天/集（含人工审核和精调）
• 成本：$0-15/月 + DaVinci Resolve 免费版
• 画质：专业级
• 适用：商业短剧项目、客户交付、多人在线协作

十、实战案例：一条 3 分钟都市情感短剧的完整制作记录

以下是我用方案 B 跑通一条 3 分钟短剧的实际记录，供你参考每一步的真实耗时和产出。

剧本输入

一段 800 字的都市情感短剧剧本：

场景：深夜办公室。女主林悦（28岁，项目经理）独自加班，收到前男友陈宇的短信：「我回国了，能见一面吗？」她盯着屏幕，手指悬在键盘上 30 秒，最终回复：「好。老地方。」场景切换：三天后，两人在曾经约会的咖啡馆重逢……

制作实录

成品质量评估

总结

AI 短剧制作已经从「能不能做」进入「怎么做更好」的阶段。这套工具链的核心价值不是省钱——而是把迭代成本降到零。传统制作改一个镜头要重新约人、重新拍、重新剪；AI 工具链改一个镜头就是 30 秒重新生成。

记住这条链路：

Toonflow 出剧本分镜 → Jellyfish 管角色一致性 → LibTV 做视频合成 → VoxCPM 出配音 → LosslessCut 收尾

五个工具、五步走、一套链路。不用每个月给七八个 SaaS 工具交订阅费，不用把素材传到七八个不同的云端服务器，不用在七八个软件之间来回切。对独立创作者来说，这不只是省钱——是省命。

每周深度拆解 AI 创作工具链，讲真话、不恰饭。如果这篇文章帮你省了几千块的工具订阅费，转发给同样在做短剧的朋友。

🔗 本文提到的工具：
- Toonflow：https://github.com/HBAI-Ltd/Toonflow-app
- Jellyfish：https://github.com/Forget-C/Jellyfish
- LibTV：https://www.liblib.tv

Newtake：https://www.newtake.ai

- VoxCPM：https://github.com/OpenBMB/VoxCPM
- LosslessCut：https://github.com/mifi/lossless-cut

BLOCK 自检（T3-004）

• [x] 多工具串联解决一个完整场景问题
• [x] 含结论总表 / 全景或阶段结构
• [x] 含成本对比（传统 vs AI）
• [x] 有适合/不适合或等价边界
• [x] 配图为待补 callout 或可访问图（无 IMAGE_BRIEF 断链）
• [x] 未走 lovart-review / Sanity Blog
• [ ] 实拍工作流截图待补