一个有技术背景、没有影视制作经验的人,可以从什么规模开始做 AI 短剧?我的建议是先完成一个人物少、场景少、动作目标明确的短片,把剧本、角色、声音和剪辑真正接起来,再扩大镜头数量。
AI 降低了生成素材的门槛,但不会替创作者判断一个镜头是否推进了故事。本文沿着《最后一条消息》的制作思路,从剧本走到发布,重点说明各环节交付什么、怎样复用上游结果,以及哪里值得停下来重新设计。工具名称用于说明角色,具体型号和价格应在制作时核对。
一、先做能剪出来的故事
传统拍摄与 AIGC 制作有共同的叙事工作,主要差别在于画面如何得到。
| 环节 | AI 可以承担的工作 | 创作者仍需判断的事 |
|---|---|---|
| 剧本与分镜 | 发散梗概、整理镜头描述 | 冲突是否成立,信息何时出现 |
| 角色与场景 | 生成候选图和变化方案 | 哪一版成为后续制作依据 |
| 视频生成 | 根据条件生成动作与镜头 | 是否可用,失败后该重试还是改镜头 |
| 声音 | 合成配音、音乐和音效候选 | 表演、节奏、授权与混音 |
| 剪辑 | 整理、粗剪、字幕辅助 | 连贯性、重点和最终节奏 |
“一人剧组”意味着这些工作可以由一个人组织,不意味着人力归零,也不能据此承诺成本下降多少倍。预算应包含失败生成、软件订阅、计算、素材授权和自己的时间。
第一轮可以只制作 20–30 秒的样片,验证同一角色在两个镜头里的身份、台词时长和剪辑接续。样片通过后,再估计整部 3 分钟作品的工时,避免先做完全部角色资产才发现所选镜头无法稳定生成。
二、从故事梗概到可执行分镜
2.1 让 LLM 帮助发散,再由人收敛
故事可以从一个明确冲突开始:女程序员林晓在深夜收到已故同事张鹏的消息,随后发现这条消息来自一段预先安排的线索。办公室里的物件、手机消息和人物反应承担叙事,不必依赖连续打斗来推进剧情。
用于发散的 Prompt 可以这样写:
请为一个 3 分钟都市悬疑短片提出 5 个梗概。
主要角色不超过 3 人,场景不超过 4 个。
每个梗概写清:
- 一句话冲突
- 主角为什么必须行动
- 观众先后获得哪些线索
- 结尾如何回应开场
优先使用少量角色、明确动作和可拆分镜头。
复杂接触动作可以提出,但请同时给出替代拍法。
少角色与少场景是控制首个项目复杂度的选择,不是“多人互动必然无法生成”的技术定律。复杂动作是否值得做,取决于具体模型、参考条件和允许的重试成本。
2.2 先安排叙事段落,再确定镜头数量
3 分钟可以先划成建置、调查和揭示三个段落,但段落不等于单个生成镜头。若选择平均 5 秒的可用片段,180 秒约需要 36 段;若包含长镜头、静帧、旁白和反应镜头,数量会不同。
原方案中“约 10 个镜头”和“每次生成 5–10 秒”的口径不能直接拼成 3 分钟。应把 10 个主要叙事单元继续拆成可生成的片段,或者明确哪些单元使用延长、多个机位和剪辑补足时长。
写台词时先读出来,再用临时配音检查时长。每句话限制为 15 个字可以是练习约束,不能为了数字截掉必要含义。
2.3 分镜必须能定位到具体产物
| 字段 | 要回答的问题 | 示例 |
|---|---|---|
| 镜号 | 这是哪个镜头? | S01-C03 |
| 场景与角色 | 使用哪组资产? | 办公室、短发林晓 |
| 景别与角度 | 观众从哪里看? | 中景、略低机位 |
| 动作与运镜 | 这一段发生什么变化? | 林晓转身,镜头缓慢推进 |
| 台词与时长 | 声音和画面如何配合? | “这个时间线不对”,预计 4 秒 |
| 入口与出口 | 如何接前后镜头? | 面向白板进入,视线转向手机结束 |
LLM 输出的 JSON 要先做结构与内容检查,再进入工作流:镜号唯一、引用资产存在、时长有效、台词有对应角色。visual_prompt_en 可以作为中间描述,但 Midjourney、FLUX 和视频服务的输入要求不同,不能把同一段文字和参数直接当作所有模型的可执行配置。
三、角色与场景先形成资产,再生成镜头
3.1 定义林晓的稳定特征
为角色建立简洁的视觉基准:短黑发、深蓝外套、白衬衫,以及选定的脸型与体态。服装变化单独记录,避免模型把“换场景”理解成“换一个人”。
角色参考图可以包含正面、侧面和不同表情,但每张都要核对身份。提示词 character reference sheet 只能提出意图,不能保证生成的多视图属于同一张脸;有错误的参考图不应继续进入训练或镜头制作。
记录选中的参考图、模型版本、Prompt 和可用的随机种子。固定 seed 有助于在相同环境下复查生成条件,不是跨 Prompt、模型和版本保持身份的办法。
3.2 不把所有一致性工具叠成必选项
第一轮先验证模型原生参考能力或一个兼容的身份条件方案。只有当固定角色需要大量重复生成,且参考方式不足以满足目标时,再考虑角色 LoRA。
Face Swap 可以修正部分面部外观,不能修复发型、服装、身体动作和剧情连续性;它也可能在侧脸或遮挡处引入新问题。没有必要把换脸设为每个镜头的最后一道必经流程。不同方法的分工见人物一致性与技术选型。
姿态、深度和边缘条件解决的是空间或构图约束。需要确认底模与 ControlNet、LoRA、参考图适配器兼容,不能把针对 SDXL 的权重直接放入 FLUX 工作流。完整的资产组织方式见角色生产流水线。
3.3 场景变化需要新的空间依据
办公室场景要记录白板、门、窗和桌子的相对位置。正面镜头与反打镜头可以分别建立参考,不必假设一张基准图能够推导所有视角。
Depth、Canny 或 img2img 可以帮助保留部分结构,但降低重绘强度不会自动得到几何正确的新视角。需要较大机位变化时,可以准备新的布局草图、3D 预演或独立审核过的参考图,而不是持续调整同一个强度数字。
四、图像与视频生成围绕镜头目的选型
4.1 用同一个镜头比较候选方案
概念设计工具用于快速探索,工作流工具用于组合节点和保存配置,底层模型负责实际生成。ComfyUI 是工作流工具,不能与图像模型并列成同一类模型。
本地部署是否省钱,取决于利用率、显存、运行时间和维护成本。开源权重不等于零成本,拥有一张高端显卡也不意味着能运行任意分辨率和模型。
可以从一个明确镜头开始比较:林晓站在白板前,听到提示音后转向手机。分别检查身份、动作完成、背景稳定和可剪辑长度,并统计所有尝试,不能只对比各家挑出的最佳结果。
4.2 描述可观察的画面
示例 Prompt:
A woman with short black hair, wearing a dark blue blazer and white shirt,
stands beside a whiteboard in a dim office at night.
A desk lamp lights the left side of her face.
She hears a notification and slowly turns toward the phone on the desk.
Medium shot, static camera, restrained expression, film noir lighting.
这里优先描述主体、空间、光线、动作和镜头。8K 等词不会改变服务实际输出的分辨率。负面提示词也不是通用能力:只有支持该输入的模型与工作流才会按相应机制使用它。
4.3 图生视频提供起点,不保证全程不漂移
起始帧能把角色和场景的初始条件交给模型,后续运动仍需要检查。空镜头也要遵守同一场景的时间、光照和空间关系,不能因为没有人物就忽略连续性。
模型规格需要落实到具体变体。例如 Wan2.2 官方仓库区分 A14B 文生/图生视频模型和 TI2V-5B;其中 TI2V-5B 支持 720p、24 fps。不能把 Wan2.1 的 1.3B 规格写成 Wan2.2 的 MoE 小模型,也不能将仓库里某个条件下的显存占用泛化到所有变体。
具体模型的比较方法见视频生成模型选型与实战。本篇不固定价格和星级排行,避免流程教程随单个产品套餐变化而失效。
4.4 运镜术语要和物理变化对应
| 动作 | 含义 | 常见用途 |
|---|---|---|
| Dolly in / out | 摄影机向主体靠近或远离 | 改变距离与空间感 |
| Pan | 机位基本不动,水平转动镜头 | 展示横向空间 |
| Tilt up / down | 机位基本不动,上下转动镜头 | 改变观看方向 |
| Crane up / down | 摄影机位置升高或降低 | 改变机位高度 |
| Tracking | 摄影机随主体移动 | 跟随行走 |
| Static | 保持机位与观看方向 | 让表演成为主要变化 |
Tilt 与 Crane 不能当成同义词。自然语言提示也不保证精确轨迹;若工作流提供路径或运动参考,应按对应版本的接口使用。Runway 的 Motion Brush 是 Gen-2 的功能,官方说明明确它不适用于后续模型,不能按 Gen-3 通用功能介绍。
五、先解决表演与声音,再做必要的修复
对白镜头应先准备台词音频或临时配音,确认实际时长,再决定视频长度与口型同步流程。旁白、物件特写和反应镜头可以减少正面对口型的工作,但不能以远景为理由放任明显不同步。
声音克隆要区分参考音频推理和模型训练。某些 TTS 支持参考音频直接生成,并不要求先训练一套“声纹模型”;具体语言、样本和授权条件以使用的版本为准。已有视频的翻译配音则是另一条流程,见自动化配音流水线。
后处理应对准问题,而不是固定叠加所有工具:
| 问题 | 可以尝试的处理 | 处理后仍要检查 |
|---|---|---|
| 分辨率不足 | 超分或重新生成 | 细节是否凭空变化,身份是否漂移 |
| 曝光或纹理闪烁 | 时序一致性处理、针对性去闪烁 | 是否出现拖影或过度平滑 |
| 帧率不足 | 运动插帧 | 遮挡边缘和快速运动是否失真 |
| 面部局部错误 | 局部修复或更换片段 | 侧脸、牙齿、遮挡和跨帧稳定性 |
| 动作关系不成立 | 重生成或重新设计镜头 | 是否仍能表达原叙事意图 |
RIFE主要解决视频插帧,不是通用去闪烁算法。增加帧数不能修复角色突然换脸、物件消失或光照跳变。
配乐与音效要服务叙事:环境声形成连续底层,动作声对应画面事件,重点音效强调线索。音乐即使由 AI 生成,也要检查商业使用条件;输入 no vocals 是生成意图,输出仍需试听,不能据此假定一定没有人声。
六、把素材组织成可以回溯的剪辑工程
按镜号记录版本,比按工具散放文件更容易定位返工范围:
| 目录 | 保存内容 |
|---|---|
01_script/ |
剧本、分镜和变更记录 |
02_characters/ |
角色参考、可选 LoRA、声音来源与版本 |
03_scenes/ |
场景基准和不同机位参考 |
04_video_raw/ |
每次生成的原始片段 |
05_video_processed/ |
修复与口型处理后的候选 |
06_audio/ |
配音、音乐和音效 |
07_edit/ |
剪辑工程及其素材引用 |
08_output/ |
成片与交付说明 |
例如 S01-C03_v2.mp4 表示第一场第三镜的第二版。最终采用哪个版本、为什么替换,也写回镜头记录。某次生成的参考图、模型、节点版本与参数应保留;只记录一个 seed 不足以保证复现。
剪辑工具优先使用自己能够完成时间轴、音频、字幕和导出的工具。自动字幕仍要校对专有名词与断句;不能在没有来源的情况下断言某个商业剪辑软件内部使用了 Whisper。
镜头之间可以硬切,也可以用环境音和对白跨切延续节奏。统一调色能够拉近观感,但不能修复空间位置矛盾。先粗剪验证故事,再花时间做超分和局部修复,能够避免精修最终会删掉的镜头。
七、《最后一条消息》的制作记录
原稿保留了一组作者制作记录:2 个角色、3 个主要场景,目标成片约 3 分钟。下表记录当时各环节的耗时与观察,不是不同工具之间的性能测试,也不能据此推导所有新手都能在相同时间完成。
| 环节 | 使用工具 | 耗时 | 产出 | 踩坑记录 |
|---|---|---|---|---|
| 剧本 | Claude | 2小时 | 分场剧本+分镜JSON | 第一版对话太书面 |
| 角色设计 | MJ + FLUX | 3小时 | 每角色8张参考图 | 短发风格生成不稳定 |
| 角色LoRA | Kohya_ss | 1小时 | linxiao_v2.safetensors | 第一版过拟合 |
| 场景生成 | ComfyUI+FLUX | 2小时 | 3套场景基准图 | 透视关系反复调整 |
| 视频生成 | 可灵+Runway | 8小时 | 10镜头×3-5版本 | 最耗时,大量等待筛选 |
| Face Swap | FaceFusion | 1小时 | 10段修正后视频 | 侧脸过大效果不好 |
| 超分辨率 | Topaz Video AI | 2小时 | 1080p视频 | 机器跑批,人不需盯 |
| 配音 | GPT-SoVITS | 2小时 | 全部台词音频 | 关键独白自己录更好 |
| 配乐 | Suno | 30分钟 | 2段BGM | 一次出了满意的 |
| 音效 | Freesound+11Labs | 1小时 | 15条音效 | 键盘声和脚步声 |
| Lip Sync | MuseTalk | 2小时 | 3个镜头口型同步 | 只处理了近景对话 |
| 剪辑 | 剪映 | 4小时 | 成片初剪+精剪 | 节奏调整花大量时间 |
| 字幕+包装 | 剪映 | 1小时 | 最终成片 | — |
记录中的“10 镜头”不足以说明 180 秒成片的具体组成,尤其不能等同于 10 段 5–10 秒的生成视频;最终时长与补充素材应以剪辑时间轴核对。按表内项目相加为 29.5 小时,但其中既有人工操作,也有机器跑批;缺少统一计时口径,不能把它直接当成总人工工时或连续交付时长。
这组记录值得保留的经验是:等待生成之外,选择和返工也消耗时间;角色、场景和声音如果没有提前确定,后面更容易反复替换。可以为镜头设定一次尝试预算,达到预算后改用反应镜头、物件特写或更清楚的分镜,而不是无上限重试。
判断是否继续精修的依据,是错误会不会影响观众理解。线索看不清、台词听不懂、角色身份混乱,需要修;不承担叙事作用的次要纹理,不一定值得占用同样多时间。
八、发布前检查成片与使用条件
先按完整时间轴看一遍,再按目标终端看一遍。检查角色、手部和物件连续性,字幕可读性,台词是否完整,音乐是否盖过对白,以及导出后有没有缺帧和音画偏移。目标平台的画幅、文件大小和时长限制需要按实际账号与发布入口确认,不能用一张长期不变的表格概括所有平台。
对于国内发布,《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日施行,第十条要求用户发布生成合成内容时主动声明,并使用平台提供的标识功能。不能把这项要求一概写成“建议标注”。
商业使用许可与作品是否获得著作权保护是不同问题。例如 Suno 的说明将商业使用权和版权保护分开解释。应保留所用计划、生成时间和素材许可记录,不能把购买订阅理解成对所有权利问题的统一保证。
著作权判断还取决于法域与人的具体创作贡献。美国版权局的 AI 专题讨论了人类创作、选择编排和修改的保护范围;这不能直接推广为“全球纯 AI 内容都无版权”或“人类导演参与就自动获得整部作品的全部权利”。
做第一部短片,最值得积累的是可复用的判断:怎样把一个故事拆成可以制作的镜头,怎样发现问题发生在哪个环节,怎样用有限预算交付完整作品。工具会迭代,镜头记录、资产版本和清楚的取舍能让下一次制作少走一轮弯路。