一、先明确要保持什么一致
同一角色跨镜头出场，观众不仅看脸，还会识别发型、体态、声音和表演习惯。只用一个人脸相似度分数，无法判断角色是否连贯；脸像了，服装突然变化、声音换人，剧情仍然会断裂。
本文围绕一个角色反复出镜的场景讨论选型：林晓在面试、逛街和接听录用电话三个场景中出现，需要换装、改变表情，同时保留身份。工程目标是把这些要求拆成可控制、可检验的条件，再选择兼容的生成工具。
| 一致性 | 需要保持的内容 | 验收方式 |
|---|---|---|
| 身份与外观 | 面部、发型、体型以及本场景的服装 | 分角度参考图、检测分数与人工对照 |
| 声音 | 角色音色、发音习惯与可接受的情绪变化 | 目标语言试听与说话人相似度辅助判断 |
| 表演 | 表情、动作与角色设定相符 | 按镜头意图检查，而非只比较静态脸 |
| 叙事连续性 | 衣着、道具、地点、人物关系与剧情状态 | 对照镜头前后的结构化状态 |
模型可以利用参考图、视频上下文或身份条件，并非完全“没有记忆”；但多次独立生成不会自动共享同一个角色定义。应用需要明确传入哪些资产、哪个版本以及当前状态。
二、六类手段解决不同问题
这些手段可以组合，但不是按约束强度排列的六个等级。尤其是世界状态管理：它能避免传错衣服和场景，不能保证生成出来的脸一定正确。
参考图：先建立不训练角色的基线
参考图条件在推理时提供外观线索。图生视频的首帧、模型专用的角色参考输入与图像适配器，属于不同接口，不能直接互换。
IP-Adapter 将图像提示接入预训练扩散模型，并提供与文本、结构条件组合的实现。普通图像特征包含风格和构图，FaceID 等变体才进一步引入身份特征；不能把所有 IP-Adapter 都理解为“锁脸”。
对林晓这样的角色，先准备正脸、侧脸和常用表情参考，在同一组镜头上测试。参考权重过大可能把姿态、衣服或背景也带入，需要同时观察身份保留和镜头服从度。
角色训练：区分学习目标与参数更新方法
| 方法 | 学习什么或更新什么 | 对项目的含义 |
|---|---|---|
| Textual Inversion | 学习与角色相关的文本嵌入 | 产物较小，但表达能力受固定模型和嵌入空间影响 |
| DreamBooth | 用少量主体图片进行主体个性化训练 | 学习角色与标识符的关联，训练方案需控制过拟合 |
| LoRA | 用低秩参数表示权重更新 | 可以用于角色训练，也可用于风格、动作等适配 |
LoRA 不是 DreamBooth 的后继版本，两者可以一起使用。 DreamBooth 描述主体个性化训练方法，LoRA 描述高效更新参数的方式。原始 DreamBooth 与 LoRA 论文 的问题定义也不同。
角色训练的样本量、时间和产物大小取决于底模、训练分辨率、更新层、秩和硬件。比“固定收集多少张、训练多少分钟”更重要的是覆盖剧本需要的角度，并留出不参与训练的验证镜头。否则训练样本很像，换装和侧脸仍可能失真。
身份条件：增加身份线索，不是硬性保证
InstantID 利用单张参考图中的身份与面部结构信息，支持无需为每个新人物重新训练的身份保持生成。它与参考图方法存在交集，不能画成完全无关的技术类别。
人脸嵌入是模型学习到的特征表示，不是五官几何坐标，也不是能强制生成结果满足的数学约束。侧脸、遮挡、年龄变化和风格化图像，都可能影响生成和评分。选用 InstantID、PuLID 等工具时，应核对具体底模与权重版本，用同一组镜头比较，而非只比较项目名称或发布时间。
面部替换：修正局部，不接管整个角色
Face Swap 在生成后替换面部区域，可用于修正部分身份偏移。它不能同步修正发型、体型、服装或动作，也可能在遮挡、快速运动和大角度转头时产生融合伪影。
因此，换脸应作为可选的修复分支：先判断问题是否局限于面部，再决定替换、局部重绘还是重新生成。始终进行时间连续性检查，不能因单帧更像就认定整段视频更好。
固定角色资产：把一部分不确定性移到制作阶段
3D 模型、绑定骨骼、材质和服装等资产，让角色形态由明确资源控制。镜头仍可改变光照、姿态、表情和渲染风格；“资产固定”不等于“只能生成固定背景”。
这类路线需要建模、绑定和动画等制作投入，但适合需要反复使用、精确调度的角色。若后续又用强生成式重绘处理画面，原先的身份控制仍可能被削弱，应对重绘后的最终输出验收。
世界状态：把正确条件交给生成系统
下面是林晓某个镜头的说明性状态：
{
"character_id": "CH_001",
"asset_version": 3,
"appearance": {"clothes": "pajamas_pink", "hair": "short"},
"emotion": "anxious",
"location_id": "home_living_room",
"pose": "sitting_on_sofa"
}
状态层保存剧情事实；适配层将这些字段翻译为提示词、参考图、姿态条件或可用的模型参数。生成结果经过检查后，才能作为下一镜头的参考。模型没有按要求生成的衣服，不能因为写进了状态表就当作已经出现在画面中。
角色资产与状态管理的实现继续见《从视频生成到角色引擎》。
三、U-Net 与 DiT 影响工具兼容性，不能代替实测
U-Net 使用下采样、上采样和跳跃连接组织特征；DiT 用 Transformer 处理扩散过程中的表征。DiT 原论文 展示了 Transformer 扩散骨干的扩展研究，但并不能据此推导“所有 DiT 视频都比 U-Net 稳定”。
SD 1.x、SDXL 的工具生态与 FLUX 等模型的接口不同。即使都称为 LoRA 或 ControlNet，权重的结构、目标层和训练底模也必须匹配。FLUX.1 各变体的用途与许可也不同，选型需读对应的官方模型说明。
ControlNet 用姿态、深度、边缘等空间条件引导图像生成。它没有一个适用于所有实现的“镜头角度旋钮”，也不自动把单帧骨骼变成整段动作轨迹。视频控制还需要兼容的时序模型、条件序列或相机控制接口。
因此，项目选型应记录完整组合，而不是只填“DiT”：
| 项目 | 需要记录 |
|---|---|
| 生成模型 | 精确版本、任务类型、权重及使用条件 |
| 身份与角色适配 | 支持的底模、参考输入、LoRA 或身份权重 |
| 空间与运动控制 | 姿态、深度、首尾帧或相机接口是否实际可用 |
| 工作流 | 节点版本、输入输出格式、显存与运行环境 |
| 验收结果 | 身份、动作、画质、时序以及每个可用镜头的成本 |
已有工作流稳定且能满足镜头要求时，没有必要仅因架构名称更新而迁移。
四、以最小组合开始，按失败原因增加控制
对林晓的三个场景，可以先选一个支持参考输入的生成模型，在固定测试集上建立基线。只有失败原因明确时，才增加对应能力：
- 身份不稳定：比较多角度参考、身份适配或角色训练。
- 姿态和构图不服从：加入兼容的空间或运动条件。
- 局部面部偏移：评估重绘或换脸，并检查时序伪影。
- 衣服、道具和地点接不上：修正状态与资产版本，再重新生成相关镜头。
每加一项都比较新增收益、耗时与失败率。身份、姿态和风格条件会相互作用，不能假定“身份差只调身份权重”就不会影响动作。Face Swap 位于生成后处理阶段，也不会和所有条件一起汇入 KSampler。
多角色同框尤其要检查特征是否串扰。区域提示或掩码可以帮助限制条件范围，但普通区域提示不一定将全局 LoRA 的权重作用限制在区域内。分角色生成后合成是另一种选择，需要补齐遮挡、光照、阴影和接触关系。
五、把可用率定义到镜头，而非模型宣传样片
验收集至少包含近景、侧脸、转头、遮挡、换装和多角色同框；把训练见过的镜头与留出镜头分开。固定场景、分辨率、生成预算和评价标准，比较完整工作流。
人脸相似度只作为辅助信号：阈值需在目标角色、检测器和画风上标定，不能将 0.65 或 0.75 当成所有项目通用的通过线。检测不到脸的背影镜头，需要检查轮廓、服装与叙事连续性，而不是直接判失败。
视频漂移也没有统一的十秒或二十秒分界。分段生成、锚定参考与衔接检查可减少部分问题，但是否支持中途注入锚帧由模型接口决定；分段结果仍需检查动作与镜头衔接。
最终记录的是：每个镜头生成多少次、哪次入选、人工修复多少时间、最终是否满足叙事要求。角色一致性的选型价值，体现在这些可重复检查的结果中。
声音与表演的具体组织见《角色生产流水线》和《全自动配音流水线》。视觉身份、声音与表演分别验收，再对最终成片联合检查。