广告技术系列(三):数据基建与智能定向

目录

运动鞋品牌想找到可能购买新品的人,广告系统并不总能知道“这个人是谁”。有时只有页面主题,有时有登录账户,有时只能得到延迟的聚合转化。数据基础设施要做的,是让这些不同质量、不同使用范围的信号进入同一套可解释的决策流程。

数据基建的关键,不是拼出尽可能完整的用户档案,而是保证每项特征来源清楚、时点正确、用途允许,并能与真实反馈对应。 本篇沿着身份、事件、标签、人群、预估和反馈展开,说明它们如何支撑上一篇的价值排序。

身份标识先说明“识别的是什么”

账户、浏览器实例、App 安装和设备不是同一种对象。一个人可能使用多个账户,一台设备也可能多人共用;身份关联服务必须保留这种区别。

标识范围 可以提供什么 不能直接推出什么
站内登录账户 在本产品约定范围内关联交互 账户始终由同一个自然人使用
Cookie 等浏览器状态 关联特定浏览器环境中的请求 跨浏览器、跨设备必然是同一人
可用且获准使用的广告标识 在平台规则允许的范围内支持广告处理 标识永久不变,或可以任意跨方共享
聚合报告中的群组 分析群体层面的表现 还原某个用户的完整路径

Cookie 的第一方或第三方属性与访问上下文有关,不只是看谁编写脚本。浏览器可能限制、分区或清理跨站状态。清除本地 Cookie 会中断部分关联,但不会自动删除服务端的历史数据。

Cookie Mapping 是一种在允许的跨站环境中关联不同平台标识的机制。一次简化同步可以让参与方把自己的标识与对方传来的标识建立映射,后续用于约定的竞价场景。实际协议可能使用合作方专属标识、签名与加密,不能用一个通用重定向例子代替某家平台的具体实现。Base64 编码本身也不是加密或安全校验。

没有 Cookie Mapping,仍然可以使用站内登录状态、上下文或允许使用的其他信号完成部分定向与测量。匹配率要按浏览器、授权状态、时间窗口和有效请求口径实测,不应给出脱离这些条件的固定区间。

同一账户登录提供了较强的关联证据,但不意味着百分之百识别自然人。概率性关联还需保存置信度、来源、有效期与撤销机制,共享 IP 尤其不能直接作为“同一个人”的证据。合并错误会污染历史,后续模型往往无法从一个已合并 ID 中恢复原始边界。

先定义事件,再建设数据管道

对运动鞋案例,“提交订单”“支付成功”和“完成退款”是不同事件。广告主若以支付为优化目标,就不能用订单创建代替支付标签,也不能忽略退款对价值的影响。

一条说明性的转化事件可以包含:

{
  "schema_version": 1,
  "tenant_id": "shoe-brand-demo",
  "event_id": "payment-event-demo-001",
  "event_type": "order_paid",
  "order_id": "order-demo-001",
  "occurred_at": "2025-07-20T08:00:00Z",
  "received_at": "2025-07-20T08:00:05Z",
  "amount_minor": 59900,
  "currency": "CNY",
  "source": "merchant_backend"
}

金额使用最小货币单位,时间明确时区,event_id 在来源约定的作用域内唯一。身份与用途凭据按接入协议独立核验,不能因为事件里自报了 tenant_id,就认为发送方有权写入该租户。

浏览器和服务端同时上报同一次转化时,需要共享可去重的业务事件标识。同一个广告请求可能含多个广告位,同一订单可能有支付与退款两类事件,不能只按 request_id 或 order_id 把所有记录粗暴折叠。

事件发生时间用于业务归属,接收时间用于识别管道延迟。乱序、迟到与补发应有明确规则:实时看板可以先展示暂估值,结算与训练数据则按成熟窗口和修订版本收敛。点击或展示重试不能反复增加费用,纠错也应留下可追溯记录。

展示口径影响报表,也影响模型标签

至少需要区分请求、返回广告、素材渲染、可见性达标与实际计费。它们描述不同阶段,不应为了“前后端一致”强行让计数相等。

事件 可以证明的事实
ad_request 系统收到一次请求
ad_response 返回了一个或多个候选素材
rendered_impression 按约定条件记录到素材渲染
viewable_impression 满足所采用标准的面积与持续时间条件
click 记录到经校验的点击事件
conversion 记录到定义明确的业务行动

可见性表示具备被看到的机会,并不证明用户真正注视。IntersectionObserver 提供几何交叉信息,单靠它也不能完整判定遮挡、有效播放和测量标准的全部条件。

CTR 的分母要与训练和业务定义一致。若模型预测“每次已渲染展示被点击的概率”,不可见展示仍可能是目标分布的一部分;若只训练可见展示,则输出是另一个条件概率,使用时不能混淆。

只有展示被重复计数时,CTR 会被压低;只有点击重复时,CTR 会被抬高;两者都重复时,要看各自重复比例。埋点质量监控因此应分别检查去重率、缺失率、时延分布和关联成功率,而不是只盯一个最终 CTR。

DMP 将原始事件变成带条件的特征

DMP 可以组织数据接入、标签和人群激活;在线特征服务负责在决策期限内提供模型所需输入。两者可以共享基础设施,也可以按团队和负载拆分,不必为每个名字建设一个新系统。

第一方、合作方与第三方数据描述采集关系,不提供天然质量排序。自己采集的事件也会出错,采购的数据也不能仅凭合同或“匿名”字段名就直接使用。每个来源需要明确处理目的、允许用途、保留期限与删除传播方式。

以运动鞋案例为例,标签应优先描述可观察事实,而非把推断写成人的固有属性:

特征 来源与时间条件 使用时的含义
近 7 天浏览跑步内容次数 允许使用的内容事件,截止当前决策时间 一段时间内的内容兴趣线索
近 30 天该品牌支付订单数 已核验支付事件与退款修订规则 已发生的品牌交互
商品当前是否有库存 商品服务当前版本 素材与履约资格
跑步兴趣分数 指定模型、版本和计算时间 带有误差的模型推断

规则标签也可能受漏报与窗口定义影响,不能称为绝对真实;模型标签更需要区分分数、阈值与解释。数据缺失应保留未知状态,不宜将“没有记录到购买”直接写成“从未购买”。

特征元数据至少记录实体范围、来源、计算逻辑、版本、更新时间和失效条件。将某个标签更新为最新值,不代表历史训练样本也应读取最新值。

训练与在线服务必须使用同一时点语义

假设用户在 10 点看到广告,11 点购买。用当天完整日志计算“今日购买次数”再回填到 10 点的训练样本,就把未来结果泄露进了特征。离线指标可能非常漂亮,线上却根本拿不到这项信息。

训练样本应按决策时点关联当时可获得的特征版本,既要检查事件发生时间,也要考虑数据当时是否已经到达。在线与离线采用一致的窗口、默认值、编码和版本,才能减少训练服务偏差。

实时、微批和离线计算按时效需求选择。商品下架可能需要尽快传播,长期兴趣可以较慢更新;不能仅以“越实时越先进”决定成本。特征读取超时后使用默认值、旧值还是拒绝候选,也应由相应业务影响决定。

人群选择不等于转化保证

标签通过 AND、OR、NOT 组成候选集合时,NOT 的全集必须是本次允许触达的范围,不能扩大到所有已知身份。授权撤回、账户关闭或商品失效后,快照人群包也要按规则失效,不能只等待下一次离线重建。

规模估算需要真实交集与有效身份,不应将标签覆盖率机械相乘。三个各覆盖一半用户的标签,只有相互独立时交集期望才是 12.5%;完全重叠时可以是 50%,其他关系下也可能为空。

Lookalike 从种子群体中提取可迁移的模式,但“与已购买者相似”不等于“广告对其有增量效果”。种子应按业务目标定义,排除泄露结果的特征,并用独立样本与在线实验检查质量。没有普遍适用的扩展倍数或固定准确率。

再营销同样存在选择偏差:加购用户原本就可能购买,高转化率不能单独证明提醒广告有效。是否增加出价,应结合增量价值、频次、库存与利润,不是行为越深就一律出得越高。

自动定向可以在批准的范围内探索,但地域、年龄适用限制、排除条件和预算边界仍是约束。探索与利用也不必表现为“先宽后窄”的单向过程;新品、季节变化和人群漂移都可能需要重新探索。

CTR 与 CVR 模型输出什么

CTR 模型预测指定展示定义下的点击概率。本文的 CVR 指点击后的转化概率,CTCVR 指展示后经点击发生转化的联合概率。在同一特征与事件口径下:

P(点击且转化 | x) = P(点击 | x) × P(转化 | 点击, x)

因此 CPC 报价的预测千次展示价值为 1000 × pCTR × CPC bid,点击后转化 CPA 的对应值为 1000 × pCTR × pCVR × CPA bid。若模型预测的是展示后全部转化,包括浏览后转化,则不能直接沿用这条点击链路。

模型选择围绕实际误差展开,而不是按年代逐级升级:

方法 主要建模能力 需要检查的代价或条件
LR 与显式交叉特征 稀疏特征的线性组合 特征设计与概率校准
GBDT + LR 用树路径产生非线性特征 树结构、更新与线上一致性
Wide & Deep、FM 与交叉网络等 组合记忆、泛化与特征交互 训练成本、延迟和过拟合
行为序列模型 根据当前候选利用历史行为 序列时点、截断与隐私范围
多任务模型 共享相关任务的表示 任务定义、权重和负迁移

Wide & Deep 的原始工作讨论联合训练的记忆与泛化能力,不意味着 DNN 可以取代事件定义和所有特征工程。原始论文

ESMM 利用点击到转化的顺序关系,在展示空间联合训练 CTR 与 CTCVR 目标,通过乘积关系约束 CVR 分支。它不是简单把两个独立预测值相除,也不能据此宣称所有选择偏差都已解决;后续研究专门分析了 ESMM 的估计偏差。ESMM、ESCM²

低离线损失还不足以证明可以出价

CTR/CVR 被直接用于金额折算,排序能力与校准都很重要。AUC 关注正负样本的相对顺序,却不能单独保证“预测 10% 的样本真的约有 10% 转化”。应结合 Log Loss、分桶校准、不同流量切片及在线结果检查。

负样本下采样会改变样本先验。若保留全部正样本、每个负样本以同一概率 s 独立保留,模型准确估计的是采样后概率 pₛ,则原分布概率为:

p = s × pₛ / (1 − pₛ + s × pₛ)

例如原始正例率 1%,负例只保留 10%,采样后正例率约为 9.17%;不能把这 9.17% 直接拿去乘报价。该修正依赖上述采样假设,若已通过权重完成校正,也不能再次重复修正。

转化标签还要等待成熟。尚未回传不等于确定不转化,应记录观察窗口、截尾与补报。采用延迟模型或回补时,需要处理同一样本被先当负例、后当正例的重复训练影响,而不是只修改一行数据就认为模型已恢复。

曝光策略造成的选择偏差也无法靠添加位置特征一劳永逸解决。IPW 需要可识别且非零的倾向概率,并控制权重方差;随机探索应在合法且合格的候选范围内设计,记录真实分配概率。推理时随意删掉位置特征会改变输入含义,未必得到去偏结果。

归因、实验与收入拆解各回答一个问题

归因用于按照约定规则分配可观察转化;增量实验估计某种投放策略相对对照的效果;MMM 利用聚合时间序列等数据建模渠道与结果的关系。它们可以相互补充,但没有一种方法仅凭名字就得到真实因果。

数据驱动归因依赖输入和建模假设,Shapley 分配也取决于所定义的价值函数。统一归因工具可以减少重复认领,但不能恢复从未观察到的所有触点。实验则要检查随机化、污染、统计功效和观察周期。

收入公式同样只是一种口径拆解。例如在 CPC 结算口径下:

收入 = PV × 产生广告请求的 PV 占比 × 每个请求 PV 的平均实际展示数 × CTR × 平均每点击收入

这些因子用同一统计集合定义时可以相乘。平均展示数包含未填充的情况,CTR 使用相同展示作为分母,平均每点击收入包含约定费用调整。若多个请求来自同一 PV,则不能把“有请求的 PV 占比”与“请求数/PV”混用。这个恒等式也不证明改变一个因子,其他因子会保持不变。

隐私适配是一项持续的数据契约工作

浏览器与平台政策需要按版本核验。Safari 全面默认阻止第三方 Cookie 的公告发布于 2020 年;Google 在 2025 年 4 月保留了 Chrome 的第三方 Cookie 选择方式,同年 10 月又宣布退役 Topics、Protected Audience、Attribution Reporting 等一组 Privacy Sandbox 技术。本文修订补入这些后续变化,不再将旧方案当作确定的建设路线。WebKit 公告、Google Cookie 公告、技术计划更新

苹果 ATT 的追踪范围不只涉及读取 IDFA,不能用设备指纹替代被拒绝的追踪。是否使用某种归因接口,要核对具体版本、报告粒度和时延,而不是套用统一的“24–48 小时”。Apple 隐私规则

服务端回传减少了部分客户端传输依赖,但仍受来源、目的与用户选择约束。将邮箱哈希后发送,通常仍可能用于关联个人,并不自动成为匿名数据;同意与其他合法依据应按实际处理目的确定。GDPR 第 5、6 条及匿名化相关说明

数据清洁室需要限制查询、输出粒度和小群体推断;联邦学习需要考虑梯度泄露;差分隐私提供在明确邻接关系和隐私预算下的统计保护,不能笼统写成“任何信息都无法推断”。这些技术服务于具体的数据协作目标,不能替代用途和权限管理。

运动鞋案例中的长期收益,来自同一批事件能被报表、特征、模型和实验按一致语义使用。先把来源、时点、实体与反馈定义清楚,再增加模型复杂度,数据闭环才有可靠的改进方向。下一篇继续讨论如何用指标与实验判断这些改进是否有效。

评论