运动鞋新品广告的点击率上涨了，品牌却发现每笔有效订单更贵；平台提高了广告占比，当天收入增长，但一个月后的回访减少了。单看某个指标，这些变化都容易被误判为优化成功。
前三篇讲了广告如何交易、如何利用数据选择候选，本篇回答如何判断这些能力有没有产生价值。度量首先要让分母、时间和对象一致，再用诊断寻找原因，用实验判断改变策略是否值得。 收入公式可以帮助定位变化，却不能自动证明因果关系。
收入拆解的前提是口径一致
以一天的信息流为例，定义全部内容展示次数为 I，其中包含自然内容和广告；实际广告展示次数为 A，广告收入为 R。只要统计范围一致，就有：
R = DAU × (I / DAU) × (A / I) × (1000R / A) / 1000
对应业务名称是：
日广告收入 = 日活用户数 × 人均全部展示次数 × Ad Load × 实际 eCPM / 1000
假设日活 100 万，人均全部展示 100 次，广告占比 10%，实际 eCPM 为 20 元，收入就是 20 万元。这是说明性算例，不是某个平台的经营数据。
这里的“全部展示”已经包含广告。如果给定的是 100 次自然内容展示，广告占全部展示的 10%，那么每人广告数应为 100 × 10% / 90%，不能直接乘 10%。配置的插入频率、实际展示占比和可见广告占比，也不能混为一个 Ad Load。
这条公式是恒等式，各因子并不独立。提高广告占比可能改变内容消费量、广告需求和每次展示的收益；不能保持其余数字不变，就宣布获得同等比例的收入增量。
请求、填充与展示分开统计
请求返回了广告，不代表用户已经看到广告。对“一次请求最多返回一条广告”的简化链路，可以写成：
收入 = 请求数 × 返回率 × 返回后展示率 × 实际展示 eCPM / 1000
多广告位请求需要按机会或广告条数重新定义分母，不能拿“有任意一条返回的请求比例”乘单条广告收入。
| 指标 | 本文口径 | 容易混入的另一件事 |
|---|---|---|
| 返回率 | 有有效广告返回的请求数 / 合格请求数 | 返回多条广告的数量 |
| 展示率 | 实际展示数 / 成功返回广告数 | 可见曝光比例 |
| Ad Load | 广告展示数 / 全部内容展示数 | 配置层面的插入频次 |
| 实际 eCPM | 同口径收入 / 实际广告展示数 × 1000 | 模型预测或竞价报价 |
| ARPDAU | 当日广告收入 / 当日日活 | 每个获客用户的长期价值 |
搜索场景还可以拆成“搜索次数 × 有广告展示的搜索占比 × 每次有广告搜索的平均广告数 × eCPM / 1000”。这里明确使用有广告展示的搜索占比。若把 PVR 定义成“发起广告请求的页面占比”，就还需要返回和展示环节；不同报表使用同一个缩写，未必表示相同事件。
平台收入与广告主价值需要分别核算
平台实际 eCPM 与广告主的成本、利润不是同一个目标。以下定义均要求采用同一观察窗口、去重方式和归因口径。
| 指标 | 定义 | 回答的问题 |
|---|---|---|
| CTR | 点击数 / 展示数 | 每次展示产生多少点击 |
| 点击后 CVR | 归因的点击后转化数 / 点击数 | 点击后产生多少指定转化 |
| CPC | 广告消耗 / 点击数 | 每次点击花了多少钱 |
| CPA | 广告消耗 / 指定转化数 | 每次指定转化花了多少钱 |
| ROAS | 归因销售额 / 广告消耗 | 报表归因的收入相对消耗是多少 |
| 广告投入利润回报率 | 扣除广告前的归因贡献利润 / 广告消耗 − 1 | 在已计入的成本范围内是否覆盖广告投入 |
一次点击可以对应多笔订单，因而按订单数定义的 CVR 可能超过 100%。只有按“是否发生转化”去重的二元结果，才适合直接解释成概率。类似地，“每次搜索点击次数”可以大于 1，不能默认是点击概率。
继续用运动鞋场景：广告消耗 1000 元，归因支付销售额 5000 元，ROAS 为 5。如果扣除退款、商品、履约等成本后的广告前贡献利润只有 800 元，再扣广告费就亏损 200 元，广告投入利润回报率为 −20%。销售额回报高，不等于利润为正；归因利润为正，也不等于广告带来了相同金额的增量利润。
平台后台有时将销售额 / 消耗命名为“ROI”。使用产品报表时应保留其字段名称，同时说明它按销售额还是利润计算。下单额、支付额、退款后净额也要分开；支付不是所有经营成本和退款风险的终点。
CTR 与 CVR 的乘积只在事件链路匹配时成立。若 CTR 和点击后 CVR 都相对提高 10%，其乘积相对提高 21%；但总转化和收入还取决于展示规模、出价、订单价值与计费方式。把模型预测调高，也不会凭空增加实际点击或收入。
从异常指标追到可验证的原因
收入下降时，先核对数据是否完整，再检查流量、展示和单位收益。不应一开始就将“eCPM 下降”归结为算法退化。
- 数据链路：迟到事件、去重规则、时区、汇率、结算调整或埋点版本是否变化？
- 流量组成：国家、广告位、设备和新老用户的占比是否变化？
- 交付链路：请求、返回、渲染、有效展示中的哪一步损耗增加？
- 需求与交易：预算、候选覆盖、底价、竞价超时或广告主组合是否变化？
- 效果与反馈：创意、商品库存、落地页或转化回传是否异常？
同比和环比只能提供比较背景；它们本身不能排除促销、季节性或版本变化。
分解变化不要直接相加
假设展示量由用户数和人均广告展示量相乘得到。用户数下降 3%，人均展示下降 2%，eCPM 下降 5.2%，则收入比为：
0.97 × 0.98 × 0.948 = 0.9011688
收入下降约 9.88%，不是把三个降幅相加得到 10.2%。如果需要分摊贡献，可以选择明确顺序的逐项替换，或者在各因子为正时使用对数分解；应说明方法，因为交互项的分配并不唯一。无论采用哪种方法，算术贡献都不能直接当作因果贡献。
区分人群差异与辛普森悖论
高活跃人群收入增长、低活跃人群留存下降，是效果异质性，不必然构成辛普森悖论。后者涉及分组与汇总方向反转。下面用构造的点击数据说明：
| 流量层 | 旧方案点击 / 展示 | 旧方案 CTR | 新方案点击 / 展示 | 新方案 CTR |
|---|---|---|---|---|
| 高意向 | 90 / 100 | 90% | 19 / 20 | 95% |
| 低意向 | 1 / 10 | 10% | 20 / 100 | 20% |
| 汇总 | 91 / 110 | 82.73% | 39 / 120 | 32.50% |
两层内新方案都更高，汇总却下降，因为新方案的数据更多来自低意向层。这说明直接比较混合流量可能误判，并不证明新方案在随机实验中必然有效。实验分层应尽量使用处理前确定的属性；按策略已经改变的点击或活跃行为事后筛选，会引入新的选择偏差。
优化动作应对应具体瓶颈
完成诊断后，才能把指标变化转换成动作。运动鞋广告没有获得展示，可能是预算不足、候选过滤过严，也可能是渲染失败；它们需要不同修复。
| 观察 | 可验证的假设 | 合适的检查 |
|---|---|---|
| 返回正常但展示率下降 | 素材加载变慢或用户已离开 | 分端耗时、错误码、过期与销毁记录 |
| CTR 上升而有效订单下降 | 误触增加、承诺与落地页不一致 | 有效点击、跳出、退款与投诉 |
| 预算花不出去 | 定向、底价、商品或质量约束限制候选 | 分阶段淘汰原因与可投库存 |
| 平均 eCPM 上涨但收入下降 | 只剩少量高价流量或返回率降低 | 展示量、收入和分层 eCPM |
| 老素材转化下降 | 受众重复、商品竞争或流量构成变化 | 频次分布、同层对照与商品状态 |
把渲染失败率从 5% 降到 1%，在其他条件不变时意味着成功率由 95% 到 99%，提高 4 个百分点、相对提高约 4.21%。它仍不自动等于有效展示或收入提高 4.21%，后续链路需要继续验证。
匹配优化可以减少无关广告，创意优化可以把商品价值讲清楚，落地页优化可以减少跳转损耗。动态创意组合和 Bandit 探索需要记录分配概率、约束和反馈延迟；不能用自适应分流后的原始均值，冒充随机等量对照结果，也不存在通用的固定收益增幅。
预算节奏控制的目标取决于投放任务，可以是按时段计划消耗，也可以优先争取高价值机会，不必一律平均花费。缩窄定向也未必提高效果，尤其当模型已经排序、候选量减少或价格变化时。
用实验判断策略有没有带来增量
一次可用于决策的实验，应在开始前说明目标人群、随机化单位、主要指标、护栏、最小有意义效果和分析方式。观察周期结合样本量、业务周期、转化延迟和长期影响决定，不能给 CTR、收入或留存各指定一个通用天数。
以广告占比调整为例，可以按稳定用户标识分桶，主要观察每个被分配用户的收入，同时跟踪留存、投诉、内容消费和广告主效果。若只比较实验后仍活跃用户的 ARPDAU，流失者被排除，容易掩盖策略代价。比率指标及其不确定性也应按随机化单位处理，不能把同一用户的多次展示视为完全独立样本。
先确认实验数据可信
检查分桶、曝光日志、样本比例与丢失事件。样本比例失配（SRM）可能来自分流、日志或分析筛选问题；发现后先诊断，不能继续把显著结果当作策略收益。没有 SRM 也不代表所有偏差都已排除。Microsoft 的 SRM 诊断说明
在固定样本检验中反复查看结果，并在第一次显著时停止，会改变原定错误率。确需中途决策，应预先采用适当的序贯方法；严重故障可以停止实验，但这不等于已证明业务收益。Microsoft 的实验进行期实践
多指标检验也要区分主要决策、护栏和探索。如果 10 个零效应检验彼此独立、每个假阳性率为 5%，至少一次假阳性的概率约为 40.13%；指标相关时不能直接使用这个公式。控制家族错误率与控制错误发现率服务于不同目的，应按决策选择方法。
“不显著”不能证明没有伤害。希望留存不低于某个可接受界限时，应设置相应的非劣效判断、样本量与观察窗口，并报告区间；不能把低功效下看不出的下降当作安全证明。
广告市场中的干扰需要单独处理
实验组和对照组可能共享广告预算。新策略让实验组更快消耗某品牌的预算，会改变对照组后续可见的候选，这时用户随机分桶仍可能无法估计全量上线后的效果。
可以考虑预算隔离、按市场或广告主聚类、时间切换等设计，但它们估计的对象、方差和残留影响不同。拆开广告主与流量可能同时改变竞价密度；地域之间仍可能共享品牌预算；时间切换要处理预算结转与策略记忆。设计的任务是减少或量化干扰，而非贴上“隔离”标签就认为问题消失。
直播场景同样可以设计实验，只是主播、商品、时段和共享库存使比较更复杂。单纯对比两场直播收入，不能充分控制这些差异。
把短期结果接到长期经营
提高广告占比、提高底价或更换素材，都可能改变用户、广告主和内容供给的行为，但不存在一个适用于所有平台的“不可能三角”，也没有通用的最佳广告占比。减少误触、修复加载错误等动作可能同时改善多方结果。
频次控制应结合广告目标、用户选择和实际反馈，不预设第一次曝光效果最高或品牌广告必须允许更多重复。原生广告可以适配内容版式，但应保留清楚的广告标识，不能把用户没认出广告当作体验优化。
长期价值可以按获客批次计算。令第 t 天仍活跃的概率为 q(t)，当日活跃条件下的平均广告收入为 r(t)，则该批次每位初始用户在 T 天内的期望广告收入为：
广告收入 LTV(T) = Σ q(t) × r(t)，t = 0…T
如果 r(t) 已经按初始获客人数分摊，就不能再乘一次活跃概率。经营决策还需计入服务、内容分成、获客等相关成本；收入 LTV 高于获客成本不必然意味着整体盈利。尚未观察到的长期部分要明确是预测，并用后续成熟批次校验。
实际看板应同时展示收入、有效交付、用户体验和广告主价值，并记录可接受的变化范围与责任人。无需将 DAU、留存和 eCPM 强行相乘成一个没有稳定单位的万能指标。好的度量体系能说明哪里变了、为何可能变化、还需要什么证据，以及据此能做什么决定。
下一篇沿着请求、竞价和展示链路，讨论聚合平台如何协调多个广告源；第六篇再把收入事件连接到计费和预算控制。