AI 短剧工程实践：视频生成模型选型与实战

视频生成模型的选型，应从“这组镜头能否以可接受的成本交付”开始，而不是先找一张总分排行榜。短剧里的对话特写、转身、物件接触和空镜，对模型的要求并不相同。

本文以短发林晓在办公室调查线索的场景为例，说明如何核对模型规格、比较画面与运镜、处理连续镜头，并把本地模型和商业 API 接入同一制作流程。这里给出的是选型方法与接口核验，未把没有测试集和原始结果的主观印象写成横评成绩。

一、先把镜头要求变成输入条件

图生视频可以把已确认的角色与构图作为起点，适合从选定画面推进动作。但起始帧正确不保证后续身份、服装和物件持续正确，视频模型仍在生成运动过程中的新内容。

文生视频适合从文字探索画面，也可用于已有参考约束不足以表达的新场景。两种模式没有固定的生产占比；是否包含角色也不是唯一分界，空镜仍然需要保持空间、时间和美术风格。

镜头需求可以先分成四类：

一张最好看的样片可能不满足其中任何一个制作要求。评测应固定所需动作与验收条件，再允许各模型使用其支持的输入形式。

二、型号、能力与运行条件分别核对

2.1 不混用同一家族的规格

Wan2.1 官方仓库中的 T2V-1.3B 是文生视频变体。仓库给出的 8.19 GB 显存和 RTX 4090 上约 4 分钟生成 5 秒 480p 视频，是带有具体条件的项目报告，不能改写成“任何 8GB 显卡都能运行”。

Wan2.2又有不同的任务与模型变体，包括 T2V-A14B、I2V-A14B 和 TI2V-5B。A14B 的专家设计与 TI2V-5B 的高压缩 VAE 是不同层面的能力，不能拼成一个“Wan2.2 1.3B MoE 模型”的规格。

HunyuanVideo 官方仓库说明了其模型和推理要求，但架构名称不能证明它在所有复杂场景中优于另一模型。量化、卸载、蒸馏和社区插件可以改变资源需求，也会引入新的运行条件；评测记录应写清所用实现。

开源权重与商业接口各有不同成本结构。本地费用包括硬件或租赁、利用率、运维和生成失败；商业服务还要考虑并发限制、配额、存储期限和返工调用。不能用“免费”代替本地成本。

2.2 网页功能不能直接当作 API 字段

以 Runway 为例，Gen-4.5 使用说明与 API 文档承担不同作用。对话式提示能够描述运镜，不意味着 API 必然有 horizontal: -5、zoom: 3 这样的参数。

同样，“自定义角色”可能指参考图片、多参考输入、平台角色资产或模型权重微调。四者不能在一张表里合成一个勾或叉。模型既可能不允许上传 LoRA，又允许通过参考资产约束角色，应按实际输入能力说明。

三、用同一批镜头比较，而不是只选各自最好的结果

建议先准备覆盖上述四类需求的一组镜头，再为每个模型设定相同的尝试预算。保持故事目标、目标画幅和可用片段时长一致；模型不支持同一种控制输入时，记录差异，而非强行伪造完全相同的参数。

每次尝试都应保存：

• 模型与接口版本、输入参考和 Prompt
• 分辨率、帧数或时长、推理配置与可用的随机种子
• 提交、开始处理、完成与下载时间
• 本次费用、失败类型、是否进入人工审核
• 可用片段范围以及接受或淘汰理由

随机种子只在特定实现下有意义，不能要求不同模型使用同一个数值就获得可比画面。商业模型更新后，也应重新测试影响较大的镜头。

3.1 把“质量”拆成可观察的问题

可以按固定量表盲评，也可以使用通过/不通过的任务标准。无论哪种方法，都应报告样本数和失败样本，避免一个平均分掩盖某类关键镜头完全不可用。

四、运镜与长镜头需要分别设计

4.1 描述机位变化，不只堆电影术语

slow dolly in 描述摄影机靠近主体，pan left 描述水平转动，tilt up 描述向上转动；这些动作改变画面的方式不同。俯拍是观看角度，不是一条运动轨迹。

先用一个主要动作检查模型响应。若要精确路径，选择明确支持相机、轨迹或结构序列条件的模型与插件，并记录版本。不能因为模型是开源的，就假定它原生接收任意 ControlNet 深度序列。

4.2 去噪步骤不是视频时间

视频扩散模型的去噪步骤用于逐步恢复视频表示，不等同于画面从第 1 秒推进到第 10 秒。角色漂移可能与时序建模、参考约束、遮挡和训练分布有关，不能用“每次去噪累积一个时间误差”解释，更不能据此划定所有模型的 5 秒或 10 秒安全线。

长镜头测试应覆盖转身、遮挡后再出现和持续运动，观察错误是否随画面发展出现。DiT 或 U-Net 的架构标签不能单独决定测试结果。

4.3 分段不等于把同一张首帧重复播放

如果每段都从同一张正面参考图开始，角色的位置和动作很可能在段间重置。可以使用上一段的末帧、重叠上下文、明确的首尾帧条件，或者直接设计一个合理切镜；具体方式受模型支持范围限制。

RIFE可以生成中间帧，但无法保证把两个空间关系矛盾的片段接成连续动作。人脸相似度检测也只能帮助定位疑点，不能用一个未经校准的阈值自动决定“低于就换脸”。侧脸、遮挡、检测失败和真实身份漂移需要分别处理。

五、按可用素材计算成本

只看单次生成价格，容易低估筛选和返工。可以分开记录生成支出与完整制作成本：

• 生成支出：全部计费尝试，包括失败、被淘汰和未使用结果
• 制作成本：生成支出，再加人工筛选、修复、计算、存储和软件费用
• 可用素材成本：在明确是否包含人工的口径下，除以审核通过的可用时长

下面是说明性算例，不是任何供应商报价：

如果某模型单价更低，却需要更多重试和人工修复，它未必更便宜。若仍有镜头无法通过，也不能把未完成的作品当成 180 秒合格成片来计算交付成本。

不同难度的镜头应分别统计。用常规对话的通过率估计物件交互，或用单个最佳片段推算批量吞吐，都会影响选型结论。

六、生产集成要能追踪每次尝试

6.1 本地工作流固定版本

保存工作流 JSON 之外，还要记录模型权重、节点依赖、预处理和输出设置。图像侧的角色条件不能默认在视频侧同样可用，FLUX、SDXL 与视频模型也需要各自兼容的适配器。

第一版只接入验证过的必要节点。先得到稳定的原始结果，再决定哪些镜头需要口型、超分或修复，避免每段都经过一套昂贵而不可解释的固定后处理。

6.2 异步 API 区分失败与未知结果

提交任务得到远端 ID 后，保存 ID，再查询状态和接收结果。网络超时只说明本地没有及时收到响应，不一定表示供应商未创建任务；直接重复提交可能产生重复费用。优先使用服务支持的幂等键或查询机制，不支持时记录待核对状态。

重试也要区分原因：

6.3 结果不覆盖其他版本

成功文件按项目、镜号、尝试 ID 和输入版本归档。选中版本另有明确记录，迟到任务不能自动覆盖已批准素材。

上传缓存需要核对文件内容，生成缓存还要包含模型版本、Prompt、参考素材和影响结果的参数。同一张起始帧可以产生完全不同的动作，仅对首帧做哈希不足以决定是否复用生成结果。

若在多个模型间调度，应为每种模型保留能力映射与质量验证。供应商切换不是简单更换 URL，它可能改变人物外观、支持的时长和音频处理方式。

七、选型结果是一组分工，不必是一位冠军

没有本地 GPU 时，可以先用少量 API 调用验证镜头；已有算力时，测量本地模型的完成时间、显存和失败率，再决定是否扩大部署。生产规模增加后，优先解决任务追踪、预算和产物版本，而不是仅增加模型数量。

最终选择可以是：一个模型承担验证稳定的常规镜头，另一个承担它更擅长的特殊条件。依据应该是同一批镜头的结果，而不是“某模型动作永远最好”或“开源一定最便宜”。

后续模型若增加原生参考、音视频联合生成或更细的控制接口，确实可能减少中间步骤。是否值得迁移，仍看三个结果：通过审核的素材更多、整体等待更短、每可用分钟的成本更低。这套评估方式可以随模型迭代继续使用。