AI 短剧工程实践:从剧本到成片的全流程

目录

一个有技术背景、没有影视制作经验的人,可以从什么规模开始做 AI 短剧?我的建议是先完成一个人物少、场景少、动作目标明确的短片,把剧本、角色、声音和剪辑真正接起来,再扩大镜头数量。

AI 降低了生成素材的门槛,但不会替创作者判断一个镜头是否推进了故事。本文沿着《最后一条消息》的制作思路,从剧本走到发布,重点说明各环节交付什么、怎样复用上游结果,以及哪里值得停下来重新设计。工具名称用于说明角色,具体型号和价格应在制作时核对。

一、先做能剪出来的故事

传统拍摄与 AIGC 制作有共同的叙事工作,主要差别在于画面如何得到。

环节 AI 可以承担的工作 创作者仍需判断的事
剧本与分镜 发散梗概、整理镜头描述 冲突是否成立,信息何时出现
角色与场景 生成候选图和变化方案 哪一版成为后续制作依据
视频生成 根据条件生成动作与镜头 是否可用,失败后该重试还是改镜头
声音 合成配音、音乐和音效候选 表演、节奏、授权与混音
剪辑 整理、粗剪、字幕辅助 连贯性、重点和最终节奏

“一人剧组”意味着这些工作可以由一个人组织,不意味着人力归零,也不能据此承诺成本下降多少倍。预算应包含失败生成、软件订阅、计算、素材授权和自己的时间。

第一轮可以只制作 20–30 秒的样片,验证同一角色在两个镜头里的身份、台词时长和剪辑接续。样片通过后,再估计整部 3 分钟作品的工时,避免先做完全部角色资产才发现所选镜头无法稳定生成。

从剧本和分镜准备资产,在样片通过后批量制作并剪辑检查

二、从故事梗概到可执行分镜

2.1 让 LLM 帮助发散,再由人收敛

故事可以从一个明确冲突开始:女程序员林晓在深夜收到已故同事张鹏的消息,随后发现这条消息来自一段预先安排的线索。办公室里的物件、手机消息和人物反应承担叙事,不必依赖连续打斗来推进剧情。

用于发散的 Prompt 可以这样写:

请为一个 3 分钟都市悬疑短片提出 5 个梗概。
主要角色不超过 3 人,场景不超过 4 个。
每个梗概写清:
- 一句话冲突
- 主角为什么必须行动
- 观众先后获得哪些线索
- 结尾如何回应开场

优先使用少量角色、明确动作和可拆分镜头。
复杂接触动作可以提出,但请同时给出替代拍法。

少角色与少场景是控制首个项目复杂度的选择,不是“多人互动必然无法生成”的技术定律。复杂动作是否值得做,取决于具体模型、参考条件和允许的重试成本。

2.2 先安排叙事段落,再确定镜头数量

3 分钟可以先划成建置、调查和揭示三个段落,但段落不等于单个生成镜头。若选择平均 5 秒的可用片段,180 秒约需要 36 段;若包含长镜头、静帧、旁白和反应镜头,数量会不同。

原方案中“约 10 个镜头”和“每次生成 5–10 秒”的口径不能直接拼成 3 分钟。应把 10 个主要叙事单元继续拆成可生成的片段,或者明确哪些单元使用延长、多个机位和剪辑补足时长。

写台词时先读出来,再用临时配音检查时长。每句话限制为 15 个字可以是练习约束,不能为了数字截掉必要含义。

2.3 分镜必须能定位到具体产物

字段 要回答的问题 示例
镜号 这是哪个镜头? S01-C03
场景与角色 使用哪组资产? 办公室、短发林晓
景别与角度 观众从哪里看? 中景、略低机位
动作与运镜 这一段发生什么变化? 林晓转身,镜头缓慢推进
台词与时长 声音和画面如何配合? “这个时间线不对”,预计 4 秒
入口与出口 如何接前后镜头? 面向白板进入,视线转向手机结束

LLM 输出的 JSON 要先做结构与内容检查,再进入工作流:镜号唯一、引用资产存在、时长有效、台词有对应角色。visual_prompt_en 可以作为中间描述,但 Midjourney、FLUX 和视频服务的输入要求不同,不能把同一段文字和参数直接当作所有模型的可执行配置。

三、角色与场景先形成资产,再生成镜头

3.1 定义林晓的稳定特征

为角色建立简洁的视觉基准:短黑发、深蓝外套、白衬衫,以及选定的脸型与体态。服装变化单独记录,避免模型把“换场景”理解成“换一个人”。

角色参考图可以包含正面、侧面和不同表情,但每张都要核对身份。提示词 character reference sheet 只能提出意图,不能保证生成的多视图属于同一张脸;有错误的参考图不应继续进入训练或镜头制作。

记录选中的参考图、模型版本、Prompt 和可用的随机种子。固定 seed 有助于在相同环境下复查生成条件,不是跨 Prompt、模型和版本保持身份的办法。

3.2 不把所有一致性工具叠成必选项

第一轮先验证模型原生参考能力或一个兼容的身份条件方案。只有当固定角色需要大量重复生成,且参考方式不足以满足目标时,再考虑角色 LoRA。

Face Swap 可以修正部分面部外观,不能修复发型、服装、身体动作和剧情连续性;它也可能在侧脸或遮挡处引入新问题。没有必要把换脸设为每个镜头的最后一道必经流程。不同方法的分工见人物一致性与技术选型。

姿态、深度和边缘条件解决的是空间或构图约束。需要确认底模与 ControlNet、LoRA、参考图适配器兼容,不能把针对 SDXL 的权重直接放入 FLUX 工作流。完整的资产组织方式见角色生产流水线。

3.3 场景变化需要新的空间依据

办公室场景要记录白板、门、窗和桌子的相对位置。正面镜头与反打镜头可以分别建立参考,不必假设一张基准图能够推导所有视角。

Depth、Canny 或 img2img 可以帮助保留部分结构,但降低重绘强度不会自动得到几何正确的新视角。需要较大机位变化时,可以准备新的布局草图、3D 预演或独立审核过的参考图,而不是持续调整同一个强度数字。

四、图像与视频生成围绕镜头目的选型

4.1 用同一个镜头比较候选方案

概念设计工具用于快速探索,工作流工具用于组合节点和保存配置,底层模型负责实际生成。ComfyUI 是工作流工具,不能与图像模型并列成同一类模型。

本地部署是否省钱,取决于利用率、显存、运行时间和维护成本。开源权重不等于零成本,拥有一张高端显卡也不意味着能运行任意分辨率和模型。

可以从一个明确镜头开始比较:林晓站在白板前,听到提示音后转向手机。分别检查身份、动作完成、背景稳定和可剪辑长度,并统计所有尝试,不能只对比各家挑出的最佳结果。

4.2 描述可观察的画面

示例 Prompt:

A woman with short black hair, wearing a dark blue blazer and white shirt,
stands beside a whiteboard in a dim office at night.
A desk lamp lights the left side of her face.
She hears a notification and slowly turns toward the phone on the desk.
Medium shot, static camera, restrained expression, film noir lighting.

这里优先描述主体、空间、光线、动作和镜头。8K 等词不会改变服务实际输出的分辨率。负面提示词也不是通用能力:只有支持该输入的模型与工作流才会按相应机制使用它。

4.3 图生视频提供起点,不保证全程不漂移

起始帧能把角色和场景的初始条件交给模型,后续运动仍需要检查。空镜头也要遵守同一场景的时间、光照和空间关系,不能因为没有人物就忽略连续性。

模型规格需要落实到具体变体。例如 Wan2.2 官方仓库区分 A14B 文生/图生视频模型和 TI2V-5B;其中 TI2V-5B 支持 720p、24 fps。不能把 Wan2.1 的 1.3B 规格写成 Wan2.2 的 MoE 小模型,也不能将仓库里某个条件下的显存占用泛化到所有变体。

具体模型的比较方法见视频生成模型选型与实战。本篇不固定价格和星级排行,避免流程教程随单个产品套餐变化而失效。

4.4 运镜术语要和物理变化对应

动作 含义 常见用途
Dolly in / out 摄影机向主体靠近或远离 改变距离与空间感
Pan 机位基本不动,水平转动镜头 展示横向空间
Tilt up / down 机位基本不动,上下转动镜头 改变观看方向
Crane up / down 摄影机位置升高或降低 改变机位高度
Tracking 摄影机随主体移动 跟随行走
Static 保持机位与观看方向 让表演成为主要变化

Tilt 与 Crane 不能当成同义词。自然语言提示也不保证精确轨迹;若工作流提供路径或运动参考,应按对应版本的接口使用。Runway 的 Motion Brush 是 Gen-2 的功能,官方说明明确它不适用于后续模型,不能按 Gen-3 通用功能介绍。

五、先解决表演与声音,再做必要的修复

对白镜头应先准备台词音频或临时配音,确认实际时长,再决定视频长度与口型同步流程。旁白、物件特写和反应镜头可以减少正面对口型的工作,但不能以远景为理由放任明显不同步。

声音克隆要区分参考音频推理和模型训练。某些 TTS 支持参考音频直接生成,并不要求先训练一套“声纹模型”;具体语言、样本和授权条件以使用的版本为准。已有视频的翻译配音则是另一条流程,见自动化配音流水线。

后处理应对准问题,而不是固定叠加所有工具:

问题 可以尝试的处理 处理后仍要检查
分辨率不足 超分或重新生成 细节是否凭空变化,身份是否漂移
曝光或纹理闪烁 时序一致性处理、针对性去闪烁 是否出现拖影或过度平滑
帧率不足 运动插帧 遮挡边缘和快速运动是否失真
面部局部错误 局部修复或更换片段 侧脸、牙齿、遮挡和跨帧稳定性
动作关系不成立 重生成或重新设计镜头 是否仍能表达原叙事意图

RIFE主要解决视频插帧,不是通用去闪烁算法。增加帧数不能修复角色突然换脸、物件消失或光照跳变。

配乐与音效要服务叙事:环境声形成连续底层,动作声对应画面事件,重点音效强调线索。音乐即使由 AI 生成,也要检查商业使用条件;输入 no vocals 是生成意图,输出仍需试听,不能据此假定一定没有人声。

六、把素材组织成可以回溯的剪辑工程

按镜号记录版本,比按工具散放文件更容易定位返工范围:

目录 保存内容
01_script/ 剧本、分镜和变更记录
02_characters/ 角色参考、可选 LoRA、声音来源与版本
03_scenes/ 场景基准和不同机位参考
04_video_raw/ 每次生成的原始片段
05_video_processed/ 修复与口型处理后的候选
06_audio/ 配音、音乐和音效
07_edit/ 剪辑工程及其素材引用
08_output/ 成片与交付说明

例如 S01-C03_v2.mp4 表示第一场第三镜的第二版。最终采用哪个版本、为什么替换,也写回镜头记录。某次生成的参考图、模型、节点版本与参数应保留;只记录一个 seed 不足以保证复现。

剪辑工具优先使用自己能够完成时间轴、音频、字幕和导出的工具。自动字幕仍要校对专有名词与断句;不能在没有来源的情况下断言某个商业剪辑软件内部使用了 Whisper。

镜头之间可以硬切,也可以用环境音和对白跨切延续节奏。统一调色能够拉近观感,但不能修复空间位置矛盾。先粗剪验证故事,再花时间做超分和局部修复,能够避免精修最终会删掉的镜头。

七、《最后一条消息》的制作记录

原稿保留了一组作者制作记录:2 个角色、3 个主要场景,目标成片约 3 分钟。下表记录当时各环节的耗时与观察,不是不同工具之间的性能测试,也不能据此推导所有新手都能在相同时间完成。

环节 使用工具 耗时 产出 踩坑记录
剧本 Claude 2小时 分场剧本+分镜JSON 第一版对话太书面
角色设计 MJ + FLUX 3小时 每角色8张参考图 短发风格生成不稳定
角色LoRA Kohya_ss 1小时 linxiao_v2.safetensors 第一版过拟合
场景生成 ComfyUI+FLUX 2小时 3套场景基准图 透视关系反复调整
视频生成 可灵+Runway 8小时 10镜头×3-5版本 最耗时,大量等待筛选
Face Swap FaceFusion 1小时 10段修正后视频 侧脸过大效果不好
超分辨率 Topaz Video AI 2小时 1080p视频 机器跑批,人不需盯
配音 GPT-SoVITS 2小时 全部台词音频 关键独白自己录更好
配乐 Suno 30分钟 2段BGM 一次出了满意的
音效 Freesound+11Labs 1小时 15条音效 键盘声和脚步声
Lip Sync MuseTalk 2小时 3个镜头口型同步 只处理了近景对话
剪辑 剪映 4小时 成片初剪+精剪 节奏调整花大量时间
字幕+包装 剪映 1小时 最终成片 —

记录中的“10 镜头”不足以说明 180 秒成片的具体组成,尤其不能等同于 10 段 5–10 秒的生成视频;最终时长与补充素材应以剪辑时间轴核对。按表内项目相加为 29.5 小时,但其中既有人工操作,也有机器跑批;缺少统一计时口径,不能把它直接当成总人工工时或连续交付时长。

这组记录值得保留的经验是:等待生成之外,选择和返工也消耗时间;角色、场景和声音如果没有提前确定,后面更容易反复替换。可以为镜头设定一次尝试预算,达到预算后改用反应镜头、物件特写或更清楚的分镜,而不是无上限重试。

判断是否继续精修的依据,是错误会不会影响观众理解。线索看不清、台词听不懂、角色身份混乱,需要修;不承担叙事作用的次要纹理,不一定值得占用同样多时间。

八、发布前检查成片与使用条件

先按完整时间轴看一遍,再按目标终端看一遍。检查角色、手部和物件连续性,字幕可读性,台词是否完整,音乐是否盖过对白,以及导出后有没有缺帧和音画偏移。目标平台的画幅、文件大小和时长限制需要按实际账号与发布入口确认,不能用一张长期不变的表格概括所有平台。

对于国内发布,《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日施行,第十条要求用户发布生成合成内容时主动声明,并使用平台提供的标识功能。不能把这项要求一概写成“建议标注”。

商业使用许可与作品是否获得著作权保护是不同问题。例如 Suno 的说明将商业使用权和版权保护分开解释。应保留所用计划、生成时间和素材许可记录,不能把购买订阅理解成对所有权利问题的统一保证。

著作权判断还取决于法域与人的具体创作贡献。美国版权局的 AI 专题讨论了人类创作、选择编排和修改的保护范围;这不能直接推广为“全球纯 AI 内容都无版权”或“人类导演参与就自动获得整部作品的全部权利”。

做第一部短片,最值得积累的是可复用的判断:怎样把一个故事拆成可以制作的镜头,怎样发现问题发生在哪个环节,怎样用有限预算交付完整作品。工具会迭代,镜头记录、资产版本和清楚的取舍能让下一次制作少走一轮弯路。

评论