商业平台 · 数据平台方向产品负责人
算法数据平台：给算法团队做研发 harness
一句话定位
作为数据平台方向产品负责人，围绕“数据在算法全流程应用的效果和效率”，把广告算法从数据引入、特征开发、样本回溯、训练与发布、上线前评估到上线后更新与监控的每一环做成平台：厂商特色数据累计广告主价值 +39.53 万/天、收入 +53.89 万/天，统一行为宽表理论增收 51 万/天，样本生成提效 92%，最高优先级模型当天更新率 75%→85%。
厂商特色数据累计广告主价值；收入 +53.89 万/天
统一行为宽表的理论增收；降本 60%
样本生成耗时：只回溯新增特征
最高优先级模型当天完成更新的比例
校验失败导致的发布失败，每季度
全景
一条链路，六个环节，每一环都卡着效率或效果
数据从进入商业平台到线上应用，要走 5 个大环节、约 5 周。面向算法的数据产品要做的，是把这条链路上的每一环都做成平台，再串成闭环。
← 左右滑动查看 →
效果上限迭代效率质量运维评估科学性更新效率 问题按当时的四类效率问题归类（另有资源利用效率，贯穿全链路）
贯穿 · 资源利用
不知道哪些模型、特征、样本还在线上用，横跨三个平台链路不通，大量冗余
做法：模型→样本→数据源血缘，按审计日志下线 84 个样本任务、2PB+ 数据；存储治理每月降 61 万元，上云每月再降 62.5 万元怎么找出这些问题
三层梳理：业务感知问题→模型问题→基建问题，按“对业务的伤害 × 频次”排优先级
首次把全部模型的业务场景、收入规模、数据链路梳理清楚，逐一访谈全部算法工程师；根因归为架构设计、流程制度、分工三类规模：天级特征 6000+、样本 400+、模型 178 个，分属特征、训练、监控三个平台。数据决定广告业务的上限：个性化流量的价值约是非个性化的 3 倍。
打法
数据一盘棋，给专业用户做 harness：一个人三个角色
数仓当中枢，统一收口上游、统一分发下游；再把算法开发全流程当成产品来设计，逐段平台化。
数据引入的需求牵引者
特色数据首批两期支付调起，12 个模型 19 轮实验增收 54 万/天
0 到 1 建立评估指标与使用原则模型训练的效率建设者
立项并首发样本池 1.0 平台化，样本生成提效 92%
开辟算法数据产研方向，建产研协作体系、模型更新质量监控体系A/B 实验的科学评估者
新增全局反转、降方差等深水区能力
建立日常 release + 季度反转机制，助力部门增长科学归因← 左右滑动查看 →
时间上分三段推进；下面按链路的环节讲。2024 年 6 月转岗投放平台，方向交接给培养的同学平滑过渡。
环节 ① · 数据引入
高价值数据怎么进来：先看全面性、再看正确性，先打小胜仗、再搭平台
什么数据高价值：通用 × 事实类优先
全面性决定模型用这个特征的天花板：特征覆盖率 = 有特征值的用户 ÷ 手机系统全部广告媒体活跃用户。正确性用游戏联运的真实付费用户验证准确率、召回率。
借已有通路上线
第三方支付数据做成模型特征，接入 12 个广告模型，先证明价值。
搭引入平台与流程
用效果争取多部门投入，同时把引入流程标准化、平台化。
扩到电商自有支付
补上头部电商的自有支付数据，再接入 7 个广告模型。
垂类数据
快应用（免安装应用）支付、推送短剧等垂类数据，用在短剧模型和定向人群包上。
01打法思路
- 先用已有通路把支付特征上线证明价值，同时并行搭平台
- 数据按“通用 × 事实”优先排期
02难点
- 涉及法务、合规、手机软件、质量等 8 方
- 端侧数据高度敏感，隐私合规是前提
- 第三方支付看不到电商自有支付：淘宝召回只有 1.4%
03解法
- 端侧加工的隐私方案
- 标准五步流程 + 按 App × 版本号每日监控
- v2 补头部广告主自有支付
04成果
- 广告主价值 +39.53 万/天
- 收入 +53.89 万/天
- 淘宝召回 1.4%→93.2%
想一想 · 01端侧数据怎么引入点开看当时怎么选+
先打小胜仗：用已有通路上线支付 v1 证明价值，同时并行搭平台
先搭完平台再引入数据
涉及法务、合规、手机软件等多个部门，先出效果才能争取支持
v1 增收 15.7 万/天，推动平台化和 v2
环节 ① · 数据引入 · 难点
隐私先行，八个部门走一条标准流程
没选：先上云再脱敏
- 原始数据先离开设备，再做脱敏
- 上云的数据敏感度高
选了：在设备端加工
- 规则或模型在手机上把行为加工成标签
- 标签再做模糊化、打散处理
- 数据和模型在用户设备上闭环，敏感度大幅降低
想一想 · 02端侧数据的隐私方案点开看当时怎么选+
端侧加工：规则或模型在手机上标签化，再模糊化、差分打散
原始数据上云后再脱敏
数据和模型在用户设备上闭环，敏感度大幅降低
方案完成，四个子专项确立
质量保障
交付前验覆盖率、精确率、召回率三项
探索与预处理
看数据分布，清洗、对齐
广告归因
把端侧行为和广告关联起来
做成特征或标签
进模型当特征，或做成定向人群
A/B 验证收益
显著才算数，计入累计收益
上线后：关键数据随系统发版测试，按 App × 版本号每日监控数据质量。
环节 ① · 数据引入 · 成果
两期支付特征接入 19 个模型；通用数据追覆盖，垂类数据从策略和召回切入
两期合计：广告主价值 +39.53 万/天、收入 +53.89 万/天，均为 A/B 显著结果。
通用数据：第三方支付数据对头部电商的支付几乎看不到（召回 1.4%），补接电商自有支付后升到 93.2%。
用于短剧广告模型，转化成本下降
做成定向人群包，转化成本下降
基础指标达标
覆盖率、准确率、召回率三项交付前先验
为模型提供差异化信息
已有数据刻画过的信息，再引入收益有限
上下游环节形成合力
例如快应用支付在召回和精排同时生效，短剧模型效果显著
环节 ② · 特征开发
数仓做难而正确的事：一张行为宽表，下游从“各自理解”变成“统一取数”
从 OCPX 模型的 Label 突破
按转化目标出价的广告占效果广告收入的 93%，先在这里统一，做出价值再复制。
经验复制到更多下游
宽表做成后，调价、广告投放平台、赔付都按同一套方法迁进统一数仓。
01打法思路
- 先深入一个核心高收益场景，再复制经验
- OCPX 广告占效果收入 93%，从它的 Label 突破
02难点
- 39 种行为逻辑各异、缺少规范
- 要拉通 8 个算法子模块负责人
- 基建收益不如业务优化直观
- 1.5 个季度、45 次发布
03解法
- 共启愿景→单点突破→经验复制
- 39 种行为归成 3 类，整合 30+ 维度
- 三个归因源合一；200+ 个任务精细管理
04成果
- 理论增收 +51 万/天
- 新 Label 对接 3 天→0.5 天
- 7 条数据流合 1 条，降本 60%
- 后来补纯曝光转化，部分转化类型覆盖率 +30%
广告行为
曝光、点击这类广告本身的行为
二元转化
“发生了没有”的转化事件
明细连续值
需要具体数值的明细行为
对齐目标
拉通 8 个算法子模块的负责人，多轮梳理、统一串联规则。
OCPX 场景先迁
1.5 个季度、45 次发布，90% 的模型迁到宽表。
扩到更多下游
调价从 7 条数据流合成 1 条，广告投放平台的迁移方案同期评审完成。
想一想 · 03数仓统一从哪个场景突破点开看当时怎么选+
算法 Label 行为宽表（OCPX 占收入 93%）
同时治理所有下游模块
先深入一个核心高收益场景做出价值，再复制经验
90% 的模型 1.5 个季度内迁完；调价、投放平台、赔付都按此复制
环节 ③ · 样本回溯
样本池：加一个特征，只回溯这一个
过去：全量回溯
加 1 个新特征，100+ 个已有特征整份样本跟着重算
样本池：增量回溯
只算新增的那 1 个，原有特征直接复用；特征实时落盘，改在下发侧拼接
01打法思路
- 样本拼接从全量改成增量，原有特征复用
- 顺手解决线上线下特征不一致
02难点
- 跨 5 个四级部门，0 到 1 设计平台新功能和新流程
- 样本生成从离线数据源取特征，计算冗余
03解法
- 增量回溯
- 特征实时落盘
- 拼接从转化侧改到下发侧
04成果
- 样本生成 −81% / −92%
- join 43→1 次
- 模型更新速度商店 +92%、联盟 +75%
样本池由本人立项并首发。
环节 ④ · 训练与发布
两个平台合一，校验细到特征级：发布失败从每季度 20 起降到 0
01打法思路
- 由一个平台统一提供训练、校验、发布与日更
02难点
- 前置校验覆盖不全，带来 5 起业务感知事故
- 部分点击率场景、全部实时模型不支持校验
- 200+ 个任务积压
03解法
- 校验发布两期方案上线；老平台校验作业 100% 迁移
- 训练前校验从数据源级细到特征级
- 训练模块 40+ 项配置重新设计
04成果
- 校验失败 20 起/季→0
- 校验作业 1.5→0.5 小时
- 少维护 2 个服务，排查时间 −70%
想一想 · 04两套特征与训练平台怎么办点开看当时怎么选+
合并成统一平台
两套各自优化
老平台历史架构维护成本高、难迭代
校验 100% 迁移，200+ 个积压任务解决，校验失败 20 起/季 → 0
环节 ⑤ · 上线前评估
评估要判得出、算得全、测得准
离线实验要 1 周、没有工具；A/B 结论存在增收水分、极端值、对照组虚低、对比时间错位、分流不均。降方差、全局进组、季度反转的完整过程，在 A/B 实验平台的深水区一节。
想一想 · 05多个转化率实验的分流要不要隔离点开看当时怎么选+
保持现有分流：多重 t 检验 + FDR 校正，验证无显著干扰
完全流量隔离，成本极高
本人亲手写统计推断文档，证明现有方式没有明显误差
验证通过，省下大量流量成本
环节 ⑥ · 上线后更新与监控
每天准时更新、质量稳定：事前、事中、事后三段，先做见效最快的事中
训练前数据校验
从数据源级细化到特征级：12 个指标，一期 4 个核心，覆盖 9 个 p0 模型的 224 个数据源
监控平台重构
最收口、见效最快：数据源与业务看板统一，一站式报警配置，用户从算法扩到行业
延迟复盘机制
延迟更新 case 抽象成 8 类问题、25 项改进，按周跟进
01打法思路
- 事前预防、事中监控、事后恢复
- 先做最收口的事中监控
02难点
- p0 当天更新率 75%，训练异常频发、校验积压
- 实时模型被无效曝光卡住，gap 20%+
- 监控指标乱、操作复杂、误报 >50%
03解法
- 延迟复盘：8 类问题、25 项改进
- 监控平台重构，数据源统一
- 无效曝光专项：在商业侧剔除样本
04成果
- 当天更新率 75%→85%，首次多天 0 延迟
- 误报 −90%，人效 ×20，新增监控 164 个
- 实时模型覆盖率 +16%
无效曝光专项：源头改不了，就在商业侧把样本洗干净
预估值与实际值之比，越接近 1 越准
实时模型的覆盖率
成果汇总
效果上限与迭代效率一起提上来
展开详情成果台账：每个数的基线、达成值和口径共 17 项+
| 指标 | 基线 | 达成 | 口径与时点 |
|---|---|---|---|
| 行为宽表理论增收 | — | +51 万/天 | 45 次发布累计；2023 H1 |
| 宽表降本 | 7 条数据流 | 1 条（−60%） | 调价数据流合并 |
| 新 Label 对接 | 3 天 | 0.5 天 | 单模型接入耗时 |
| 厂商特色数据 · 广告主价值 | — | +39.53 万/天 | 支付 v1 +27.6、v2 +11.93；截至 2024 H1 |
| 厂商特色数据 · 收入 | — | +53.89 万/天 | 支付 v1 +36.3、v2 +17.59；截至 2024 H1 |
| 支付特征用户覆盖率 | 55.41% | 61.55% | 有特征值的用户 ÷ 手机系统活跃用户；2024-03 |
| 头部电商支付召回 | 1.4% / 42.4% | 93.2% / 85.8% | 游戏联运数据验证 |
| p0 模型当天更新率 | 75% | 85% | 2023 H2 |
| 样本生成 · 联盟点击率 | 973 小时 | 191 小时（−81.4%） | 2024 Q2 |
| 样本生成 · 商店转化率 | 466 小时 | 38 小时（−91.8%） | 2024 Q2 |
| 校验失败导致发布失败 | 20 起/季 | 0 | 2024 Q2；校验作业 1.5 → 0.5 小时 |
| 监控误报率 | >50% | −90% | 一站式配置，人效 ×20 |
| 无效曝光 · 样本 gap | 23% | 0.5% | 预估偏差 1.1 → 1.05；收入 +5 万/天 |
| 实时模型覆盖率 | — | +16% | 2024 H1 |
| A/B 报告查询 | 200 分钟 | 10 分钟 | 10 次 → 1 键 |
| 存储成本 | — | 每月 −61 万 / −62.5 万元 | 治理 / 上云；2024 Q2 |
| 端侧数据三季度增收 | — | +14.2 万/天 | 2023 H2 |
里程碑
- 2022-08
回到商业平台，任数据平台方向负责人
- 2023 Q1
行为宽表 90% 模型迁移，+51 万/天
- 2023 H1
落地页动态择优上线；全局进组 0 到 1；向 VP 汇报 A/B 建设，争取到高优资源
- 2023-09
升 17 级，本项目是答辩核心
- 2023 Q4
开辟算法数据产研方向；季度反转实验首次上线
- 2024-03
支付特征推全，+15.7 万/天
- 2024 Q2
样本池 1.0 上线（−81% / −92%）；A/B 报告一键化
- 2024 H1
厂商特色数据累计广告主价值 +39.53 万/天、收入 +53.89 万/天
- 2024-06
转岗投放平台，方向交接给培养的同学平滑过渡
佐证与影响力
经验被复制到调价、投放平台和赔付；方向带上正轨后平滑交接
荣誉与评优
- 二级部门优秀项目奖（数仓统一）
- 一级部门优秀项目奖（A/B 实验平台）
- 2023 H1 优秀员工
- 2023 青年工程师激励计划
- 小米价值观标杆奖
- 2023 年秋晋升 17 级，本项目为答辩核心
对外影响力
- A/B 方法论分享收录清河大学，互联网版块历史播放第 2
- 方法论文档 3500+ 次访问，集团每 40 人有 1 人看过
- 互部 150+ 人直播学习，受手机部、数据中台邀请授课
- A/B 实验知识白皮书（本人署名）
被复用、被借鉴
- 集团数据中台来信点名感谢
- 宽表经验复制到调价（7→1 条数据流）、投放平台统一数仓、赔付平台
- 实验 release 规范覆盖商业平台 100% 的实验
方法与能力关键词