风控体系：内容安全与平台治理

一段短视频展示了冲突画面，配音在谴责暴力，标题却被截取成一句带威胁意味的话。只看关键帧、只读字幕或只识别敏感词，都可能得到不同结论。审核系统需要判断的是完整内容在具体语境下表达了什么，以及平台应当采取什么动作。

风控总览讨论了证据、决策与执行的闭环。内容治理沿用这条主线，但判断对象更依赖上下文，处置也会直接影响表达和传播。一个可用的内容治理系统，必须让政策条款、内容证据、处置动作和纠正途径相互对应。

本文以短视频发布和传播为例，分别讨论这些环节的设计。示例用于解释机制，不代表某个平台的线上审核策略。

风险分类决定系统究竟在判断什么

分类体系不能只是敏感词或模型标签的集合。它应区分违法信息、违反平台规则的内容、需要限制特定分发场景的内容，以及普通质量问题。几类对象的依据和处置方式不同。

例如，《网络信息内容生态治理规定》第六条与第七条分别规定违法信息与不良信息，不能把所有标签都统一表述为“违法”。该规定于 2019 年公布、2020 年 3 月 1 日施行，公布日期与生效日期应分别记录。规定原文

工程中的政策记录至少需要包含：适用地区与产品、条款标识及版本、定义、边界案例、处置依据、生效时间。规则变更后，应能解释一条内容为什么按照某一版本被处理。

把类别、严重程度和置信度分开

对严重且正在扩散的风险，可以先采取符合政策的临时限制并优先复核；不能因为模型分数较高，就把内容删除、长期封禁账号和关联账号处罚合并成一个动作。

新闻报道、批评、教育解释和引用反驳，可能包含与有害内容相同的词句或画面。话题敏感程度、人物身份或对某政策的批评，不能单独替代对具体违规行为的判断。边界案例需要说明为何相似表面形式会得到不同处置。

多模态审核要保留可定位的证据

对开篇短视频，系统需要连接画面、声音、字幕和前后文，而不是简单对几个检测分数取最大值。

预处理可以规范字符或帮助检测变体，但应保留原文与转换映射。否则审核员看到的证据可能与作者提交的内容不同，申诉也难以复现。OCR 和 ASR 结果应保留置信信息及时间位置，不能把转写错误当作作者原话。

视频抽帧需要说明覆盖范围。固定每秒抽一帧可能遗漏短暂画面；发现可疑片段后加密抽帧，可以改善局部检查，却无法保证补回最初完全没有命中的内容。应结合场景切换、时间片段模型、音频分析和不同风险的采样预算，而不是把一个采样频率写成通用安全标准。

人脸年龄估计不能直接证明法定年龄，识别到某个人也不能证明内容违规。CLIP 等模型的相似度适合检索和候选发现，不能当作内容真实性或违规事实的证明。

大模型解释不能代替原始证据

大模型可以帮助归纳上下文、提出候选条款和整理复核材料，但生成的“理由”仍需核对。一个有效的审核输出应包含条款版本、原文片段或视频时间码，以及对不确定性的描述。

提交内容中可能出现要求模型忽略审核规则的文字。这些文字属于待判断的数据，不能获得系统指令的权限。模型输出也不应直接持有发布、删除或账号处罚权限；由独立决策和执行层检查对象、版本与允许的动作。

证据不存在、定位失败或多个模态明显冲突时，应进入对应的补充处理路径，不能要求模型为了输出完整 JSON 而编造解释。

机审与人审如何形成分工

自动化适合处理规则明确、证据充分且经验证适宜的任务；人工审核处理语境复杂、影响较大或模型不确定的案件。两者都需要抽检，人工结论也不是天然正确的标签。

为说明阈值方向，假设某一违规类别的校准概率为 p，并设置 t_low < t_high：

• p < t_low：按该类别放行。
• t_low ≤ p < t_high：进入复核。
• p ≥ t_high：在该类别允许的权限内自动处置。

这是单类别的说明模型，不是实际平台统一阈值。不同类别、产品和动作需要分别验证；其他类别的命中仍可能改变最终结果。

固定另一阈值时，提高 t_low 会增加直接放行、减少复核；提高 t_high 会减少自动处置、增加复核。两种“调高阈值”的效果并不相同，也都不能简单称为“更严格”。

审核队列是一个有截止时间的系统

进入人审后，需要按潜在伤害、传播速度、等待时长和截止时间安排队列，防止只处理高热内容而让普通用户长期等待。容量不足时，要有明确的限流、扩容或暂缓发布方案。

直播与普通投稿的时间窗口不同：直播风险正在发生，不能一律等待分钟级离线审核；尚未发布的长视频可以允许更长的处理时间。超时处置应由对应业务和政策定义，不能让“任务超时”悄悄变成“审核通过”。

审核工作台应展示必要的完整语境、命中位置、适用条款与历史处置，并控制敏感信息访问。针对高负荷和令人不适的内容，需要安排轮换、支持与培训。提升速度不能以牺牲证据理解和人员支持为代价。

双人复核、争议仲裁和一致性检查可以发现政策解释差异，但高一致率也可能来自共同误解。应使用经校准的边界案例、抽检和申诉结果持续检查标准本身。

审核结果必须绑定内容版本

作者在审核后修改标题、替换视频或编辑正文，旧结论就不能自动覆盖新内容。审核对象应由内容 ID、版本以及相应的媒体和文本摘要共同确定。

一个简化的状态过程是：提交版本，完成证据提取，生成审核决定，再由执行层确认仍是同一版本后发布或限制。人审和申诉形成的新决定也要保留前后关系。

缓存键也应覆盖影响判断的内容、政策和模型版本。某片段在一个语境下允许传播，不代表相同媒体文件在另一个标题或对话中仍然适用。近似相似内容可以复用候选证据，但不能未经判断地复制最终处罚。

已发布内容进入推荐、搜索或再次传播时，还要按产品需求检查当前处置状态。删除命令已发送，不等于所有分发入口都已停止；执行反馈和延迟监控仍然必需。

举报和申诉为系统提供不同的纠错入口

举报可以帮助发现模型未覆盖的内容，但数量多不等于事实成立。组织化恶意举报、重复举报和真实集中投诉需要分别处理。系统应归并同一案件、保护举报者信息，同时保留独立证据核验。

社区参与适合哪些类别，应由内容敏感度、专业要求和访问权限决定。不能把所有待审素材公开给普通用户投票，也不能用赞成票数量替代明确的政策标准。

申诉则让当事人补充语境、权利证明或指出原判错误。入口需要说明处置对象、理由与提交方式，并提供明确的处理状态。

申诉复核不能重复原结论自证正确

可以合并同一事项的重复提交，也可以要求补齐必要材料，但不能先用“原判已经认定违规”过滤掉实质申诉。适合独立复核的案件，应让复核者能查看原始证据、政策版本和新增材料，而非只看到原结论。

申诉成功可能有几种原因：

• 原判断使用了错误证据或错误条款。
• 新材料改变了对语境或权利归属的判断。
• 政策发生变化，需要重新处理。
• 平台根据既定机制给予特殊救济。

只有厘清原因，才能决定如何修正训练标签、审核规则和已经执行的动作。恢复内容可见性、账号功能和相关分发状态，也需要实际回执，不能只把申诉工单设为“成功”。

指标应同时看漏过、误伤与传播影响

以某个违规类别为例，TP 为正确识别并处置的违规，FP 为误处置的正常，FN 为未识别的违规，TN 为正常放行。评价必须基于明确范围和足够可信的标签。

“自动处置”包括自动放行和自动限制，不能与“机审放行”混用。机器识别能力、处置执行完成率、人工审核效率，也不应压成一个所谓审核准确率。

假设一组独立抽检并完成复核的教学样本共 10,000 条，其中违规 100 条。系统处置 170 条，包含 80 条违规；剩余 20 条违规被放行。此时：

• FNR 为 20 / 100 = 20%。
• FPR 为 90 / 9,900，约 0.91%。
• 放行内容违规占比为 20 / 9,830，约 0.20%。

后两个比例很低，也不能把它们当成只有 0.20% 的违规被漏掉。分母不同，表达的是完全不同的问题。

内容治理还需观察违规的实际曝光、传播时长和受影响用户。曝光加权指标可以刻画传播影响，但不能代替按内容统计的识别质量。一个热传播漏过样本和许多低曝光样本需要分别可见。

抽检要覆盖看不见的错误

只抽检被处置的内容，可以估计其中的误处置，却看不到放行侧漏过。只分析申诉，则遗漏了没有申诉的正常用户。应根据要估计的指标，对不同动作和内容类别抽样，保留抽样概率，必要时加权估计并报告不确定性。

新策略影子运行可以比较判断分歧和在线成本，不能证明实际删除或限制后的传播效果。真实灰度需控制潜在伤害、用户或内容跨组干扰，并给长期结果留出观察窗口。

生成式内容改变证据来源，不改变验证责任

生成式工具降低了批量生产和改写的门槛，但“由 AI 生成”与“内容违规”是两个不同标签。处理冒充、诈骗或权利侵害时，仍需对应具体证据和政策。

来源凭证和水印可以帮助追踪素材历史，但它们承担的证明范围有限。C2PA 记录签名关联的来源与编辑信息，不能仅凭凭证证明所呈现事件为真；缺少凭证也不能直接证明内容虚假或由 AI 生成。C2PA 对来源与真实性的说明

版权水印、作者声明、素材授权和实际权利是相关但不同的证据。审核流程需要核查适用关系，不能把水印存在与否直接等同于侵权与否。检测模型也应在新的生成方式、压缩和编辑条件下重新评估，不能将某个测试集上的表现泛化到所有内容。

面对开篇那段短视频，系统最终应能交付一条清楚的记录：审查了哪个版本，依据哪些画面和语句，适用了哪条规则，执行了什么动作，出现新证据后如何纠正。识别模型会不断变化，这种可追溯、可执行、可纠正的治理能力才值得持续建设。