READING NOTE / BLOG个人博客

近三年广告出价模型综述

Castle Zeng2026-11-03个人博客

近三年广告出价模型综述：从“调乘子”到“出价大模型”

Auto-bidding, 2024–2026：控制 → 离线 RL → 生成式决策 → 后训练 → 基础模型

过去三年，广告出价（auto-bidding）领域的论文明显多了起来。2023 年以前，大家讨论的主要是 PID、线性规划和在线 RL。到了 2026 年，同一个问题已经可以用 Decision Transformer、Diffusion、Flow Matching、GRPO，甚至 LLM 来做。方法换了好几轮，问题本身几乎没变：在预算和成本约束下，怎样在一天里把每个时刻的出价调到合适的位置。

这篇笔记想回答三件事：

这三年有哪些值得关注的出价模型？
每个模型真正的贡献是什么？去掉宣传用语以后，它比前作多做了哪一步？
这些模型之间是什么关系？谁在修补谁的问题？

范围与说明

时间范围：大约 2023.10 – 2026.10。少数更早的工作（USCB、SORL、Decision Transformer）只作为背景出现。
讨论对象：以广告主侧的自动出价策略为主，也就是在预算、CPA、ROI 约束下学一个出价策略。Bid shading、多渠道、平台视角会单独讲；拍卖机制设计和均衡理论只简单提到。
数字口径：文中的线上/离线提升都是论文自己报告的结果。各篇论文的基线、指标定义（例如 Target Cost）和实验协议都不一样，不能横向比大小。
会议信息：有明确录用信息的才标会议，其余标为 arXiv 预印本。
本文参考了两段 ChatGPT 对话（[[#参考资料|见文末]]），对其中的论文信息做了核对和补充，部分过于简化的说法也做了修正。RL 基础概念可参考 [[睡前学习强化学习]]。

0. 先给结论：一张图看懂三年演进

如果只用一句话概括：

出价问题的建模方式，从“根据当前状态算一个乘子”，变成了“根据历史、目标和约束规划未来，再用评估器筛选，最后执行”。

按技术范式排，大致是下面这条线。注意这里的箭头表示“后者在修补前者的问题”，不表示后者淘汰了前者：

flowchart LR
    A["控制 / 优化<br/>PID · MPC · Primal-Dual<br/>Field Guide"] --> B["在线 / 离线 RL<br/>USCB · SORL · TEE<br/>Meta Offline RL · PE-MORL"]
    B --> C["生成式出价 1.0<br/>DT · AIGB/DiffBid<br/>AuctionNet 基准"]
    C --> D["生成式出价 2.0<br/>改条件: GAVE · PRO-Bid<br/>加价值: QGA · GUIDE · SEGB<br/>推理优化: GAS · CBD · DRIVE"]
    D --> E["后训练 / 对齐<br/>GBS · CROP · D-GRPO<br/>Autobidding-GRPO"]
    E --> F["出价基础模型<br/>Bid2X · GRAD · OneBid<br/>LBM · AIGB-R1 · LangBP"]
    A -. "始终作为安全层与执行层" .-> F

驱动这条演进线的，是四组一直没有彻底解决的矛盾：

矛盾	典型问题	代表性的“接力”
探索 vs 安全	线上试错花的是广告主的真钱	在线 RL → 迭代离线 RL（TEE）→ 离线价值引导探索（GAVE）→ 带安全回退的探索（GUIDE）→ 离线相对策略优化（OneBid-CROP）
模仿 vs 超越	生成模型学会的是“历史上大家怎么出价”	DT/DiffBid → Q 正则、价值引导（QGA、GAVE）→ 推理时搜索（GAS、DRIVE）→ GRPO 类后训练
可行 vs 达标	生成的轨迹可能违反业务规律，或者达不到目标	DiffBid → CBD（Completer + Aligner）→ GRM（回到响应建模 + 解析控制器）
专用 vs 通用	每个场景各训一个模型，数据割裂	单场景模型 → VAO 跨任务数据共享 → Bid2X / OneBid 基础模型 → LLM 推理

后文基本按这张表展开。

1. 问题定义：出价到底在优化什么

1.1 一个广告主的一天

设某个广告计划一天会遇到 $N$ 次曝光机会。对第 $i$ 次机会，系统会预估它的价值 $v_i$ （例如预估转化率），竞价胜出后要支付 $c_i$ 。用 $x_i\in\{0,1\}$ 表示是否拿下这次机会。最常见的目标是：

\max_{x}\ \sum_i x_i v_i \quad\text{s.t.}\quad \underbrace{\sum_i x_i c_i \le B}_{\text{预算约束}},\qquad \underbrace{\frac{\sum_i x_i c_i}{\sum_i x_i v_i}\le C}_{\text{CPA 约束}}

ROI/ROAS 约束只是把 CPA 约束倒过来写，本质相同。

1.2 为什么最后只剩“一个乘子”

对两个约束分别引入拉格朗日乘子 $\lambda_1,\lambda_2\ge 0$ ，整理后，每次曝光的决策都会变成同一个形式：

\text{赢下第 } i \text{ 次机会}\iff (1+\lambda_2 C)\,v_i \ge (\lambda_1+\lambda_2)\,c_i .

在第二价格这类“如实出价最优”的拍卖里，最优出价就是：

\boxed{\,b_i = a\cdot v_i,\qquad a=\frac{1+\lambda_2 C}{\lambda_1+\lambda_2}\,}

这个结果非常关键。它说明：几百万次曝光的出价，最终可以压缩成一个（或少数几个）出价乘子 $a$ 。 这个结论 USCB（KDD 2021）、Google 的 Field Guide 等工作都推导过。

问题在于，最优的 $\lambda$ 要等一天结束、所有流量都看到以后才能算出来。实际投放时，系统只能把一天切成 $T$ 个决策时段（AuctionNet 中 $T=48$ ），在每个时段 $t$ 根据当时的情况决定乘子 $a_t$ 。于是整个领域都在研究同一个问题：

怎样随时间调好 $a_1,a_2,\dots,a_T$ ？

每个决策时刻能看到的信息，通常包括剩余预算、剩余时间、消耗速度、当前累计 CPA/ROI、最近的成交价格和流量水平。

1.3 难点在哪里

这个问题难，主要是因为：

环境不平稳：流量有早晚高峰，竞争对手也在不停调整；
奖励稀疏、反馈延迟：大部分时段转化都是 0，转化还可能隔天才回传；
约束多样：预算、CPA、ROAS、平滑消耗、出价上下限，不同广告主的设置可能相差几个数量级；
试错成本高：探索失败不是浪费一点算力，而是让广告主多花了钱。

接下来各节的方法，可以看成是对这几个难点的不同回答。

2. 底座：控制与优化并没有过时

先说一个容易被忽视的事实：到 2026 年，大量线上系统的执行层仍然是 pacing 控制器或 primal-dual 方法。 后面那些生成式模型，很多是在给这一层提供更好的“目标”或“乘子”。

2.1 Field Guide：多约束到底该怎么协调（Google，ICML 2024）

问题：预算 pacing 和 ROS（return on spend）pacing 在很多平台上是两个历史上独立建设的系统。它们应该串联、并联，还是合并？

论文比较了三种结构：

方法	做法	结论
Sequential	先由 ROS 控制器出价，再由预算控制器往下压	两个控制器会互相干扰，某些实例下约束违反达到 $\Omega(T)$
Dual-Optimal	两个对偶变量一起更新，按 $b_t=\frac{1+\lambda_t}{\mu_t+\lambda_t}v_t$ 出价	理论上最规范
Min Pacing	两个控制器各自独立运行，最后取更小的乘子	和联合优化同样有 $O(\sqrt T)$ regret，工程改动很小

主要贡献：证明了 min pacing 这种“最小耦合”的工程方案，可以获得和完全联合优化接近的理论保证。论文在 1 万个广告计划的半合成仿真里，严格满足 ROS 的比例为 Dual 62%、Min 49%、Sequential 11%。

我认为它的价值不在于提出新算法，而是把“为什么可以用一个乘子出价”“多约束为什么不能简单串联”“对偶方法和 PID 有什么关系”这几件事讲清楚了。后面不管用 PPO 还是 Diffusion 生成乘子，都还要回答这些问题。

2.2 理论与鲁棒性的一些重要补充

严格 ROS 约束的不可能性（Vaze & Sinha, 2025）：即使环境是 i.i.d. 的，在严格 ROS 约束下也没有任何在线算法能做到次线性 regret。这提醒我们，约束能满足到什么程度，本身就有理论上限。
非如实拍卖下的无悔学习（arXiv 2404.09832）：在一价等非如实拍卖中，同时处理预算和 ROI 约束。
价值预估不准时怎么办：用 conformal prediction 给 pCVR 加不确定性区间，再修正出价（arXiv 2509.16324，JD）；RobustBid（2510.08788）用鲁棒优化推出解析解，防止 CTR/CVR 扰动造成出价大幅偏离。
工程控制器的细化：小预算场景的 bucketized hysteresis 反馈控制（2509.25429）；直播场景的轻量级 BiCB（2508.06069），把最优出价公式和未来流量统计预估结合起来，实现秒级控制。
异构多渠道：HOB（2510.15238）在不同渠道的拍卖形式（一价/二价、是否混排自然流量）之间，推导出可以对齐的边际成本（MC）形式，用统一的 MC 目标协调各渠道，线上 GMV +3.0%。
综述：Google 团队的 Auto-bidding and Auctions in Online Advertising: A Survey（2408.07685），系统整理了出价算法、均衡效率和机制设计，适合作为理论入门。

3. 强化学习阶段：从模拟器走向离线日志

3.1 背景：在线 RL 为什么走不通

2021–2022 年的代表工作有两个：阿里的 USCB，用统一的最优出价公式加 RL 调参；以及 SORL，研究线上可持续 RL。它们共同面对的问题是：

在模拟器里训练，会有 sim-to-real gap；
直接在线上探索，花的是广告主的真钱。

所以工业界逐渐转向 离线 RL：用历史日志训练，上线前先评估。

3.2 TEE / SEAS：迭代离线 RL（阿里，WWW 2024）

问题：可以把“线上部署 → 收集数据 → 离线训练 → 再部署”做成迭代流程。但离线 RL 天生保守，每一轮的新策略都离旧策略太近，迭代很快就停滞了。

贡献：

TEE（Trajectory-wise Exploration & Exploitation）：以整条轨迹为单位设计探索和数据利用方式，让收集到的数据覆盖更多状态；
SEAS（Safe Exploration by Adaptive Action Selection）：给线上探索加安全阀，探索时不让 ROI 崩掉。

它把“怎样在离线框架里安全地拿到分布外的好数据”第一次作为核心问题提了出来。

3.3 Meta Offline RL：RL 只当优化器，不进生产（Meta，KDD 2024）

思路很“工程派”：保留生产环境里可解释的启发式 base policy，训练时让神经网络辅助优化 base policy 的参数，上线时丢掉神经网络，只部署优化后的参数。

贡献：不增加基础设施、安全性和可解释性成本，就拿到了离线 RL 的收益。我很推荐做工业系统的同学读这篇，它体现的是“RL as policy optimizer，而不是 RL as production policy”的思想。

3.4 更好地利用离线数据

PE-MORL（阿里，2506.17919）：从真实数据学一个环境模型，用“真实数据 + 模型生成数据”一起训练，扩大状态覆盖范围。环境模型采用置换等变结构（广告主的顺序不应该影响结果），离线 Q-learning 会对模型误差做悲观惩罚。可以看作把 Model-based RL 的思路正式引入出价。
OIL（2412.11434）：一天结束后，最优出价可以写成一个非线性的多选背包问题（MCKP）。先求出这个“事后最优”的 oracle 解，再训练一个只看实时信息的学生网络去模仿它。复杂度从“设计 RL 算法”转移到了“高效求解约束优化”。
HALO（2508.03267）：用 hindsight 的思路，把每一次探索重新标注成“某种约束配置下的有效样本”，失败的探索也能变成训练数据；再用 B-spline 表示从约束到出价系数的连续映射，提高跨约束的泛化能力。

3.5 分层与多渠道

当预算要在多个渠道之间分配时，自然会出现“上层分配预算 + 下层执行出价”的分层结构：

HiBid（2312.17503）：分层离线 DRL，上层做跨渠道预算分配，下层执行，并加入 CPC 引导的动作选择；
分层多智能体元强化学习（2412.19064）：上层用 CPC 约束的 Diffusion 动态分配预算，下层用多智能体 RL 出价；
ABPlanner（阿里，KDD 2025）：受 in-context RL 启发，把同一个广告主前几天的数据当作 prompt，逐天调整预算分配计划，实现少样本适配；
AHBid（WWW 2026）：上层用 Diffusion 生成预算和约束的分配方案，并加入约束强制和轨迹修正机制，下层用控制方法实时出价。

分层结构值得记住，因为后面的 LLM 方法（LBM、AIGB-R1）几乎都采用“上层慢思考、下层快执行”的形式。

3.6 RL 路线遇到的瓶颈

到 2024 年前后，大家对 RL 出价的不满主要集中在三点：

马尔可夫假设不够用：当前状态很难概括一整天的投放历史；
长时段的误差传播：Bellman bootstrapping 会把未来价值的估计误差一步步传回前面，在离线场景里尤其严重；
奖励稀疏：大量时段的奖励是 0，逐步的价值学习信号很弱。

这三点正好是生成式出价出现的动机。

4. 生成式出价 1.0：把出价当作序列生成

4.1 核心视角的转变

传统 RL 学的是“给定状态，输出动作”：

\pi_\theta(a_t\mid s_t)

生成式出价学的是“给定目标，生成整条轨迹”：

p_\theta(\tau\mid \text{目标回报},\ \text{约束})

模型要回答的问题，从“现在乘子该调成多少”，变成了“为了今天最终达到 ROI/CPA 目标，接下来应该走一条什么样的投放轨迹”。

这一时期有两条技术路线：Decision Transformer（DT） 和 Diffusion。

4.2 AIGB / DiffBid：Diffusion 正式进入出价（阿里，KDD 2024）

DiffBid 的设计分两步：先规划状态，再反推动作。

条件 Diffusion 生成状态轨迹。训练目标是条件最大似然： $\max_\theta\ \mathbb E_{\tau\sim\mathcal D}\big[\log p_\theta(x_0(\tau)\mid y(\tau))\big]$ 其中 $x_0=(s_1,\dots,s_T)$ 是一整条状态序列（剩余预算、消耗速度、CPC 等）， $y$ 是这条轨迹的属性，例如归一化回报、是否满足 CPC 约束、消耗是否平滑、是否偏早消耗。推理时使用 Classifier-Free Guidance 控制生成方向。
逆动力学（Inverse Dynamics）反推动作。知道“希望下一时刻到达的状态”以后，再由一个 MLP 推出需要采取的出价参数： $a_t=f_\phi\big(s_{t-L:t},\ s'_{t+1}\big)$

一个直观的例子：现在剩余 600 元，模型规划 15 分钟后剩余 575 元，那么逆动力学要回答“用多大的乘子才能在这 15 分钟里大约花掉 25 元”。

推理时采用滚动时域规划（receding horizon）：每个时刻都根据最新的真实状态重新生成未来轨迹，只取下一步 $s'_{t+1}$ 来执行。这和 MPC 的思路很接近。

主要贡献：

把出价从“动作优化”改成了“状态轨迹规划”，也就是目标 → 状态轨迹 → 下一目标状态 → 动作；
用条件生成统一了多种业务目标：回报、CPC 约束、平滑消耗都只是不同的条件；
理论上，第 5 章证明了条件 MLE 与一个“构造出来的”非马尔可夫序列决策问题具有相同的最优解；
阿里线上 GMV +2.81%，ROI +3.36%。

局限（这些局限也是后续工作的出发点）：

MLE 最优不等于广告收益最优。模型学的是“历史上高回报轨迹长什么样”。如果数据里根本没有“高回报且低 CPC”的轨迹，指定 $\bar R=1, E=1$ 也生成不出来；
条件生成不等于约束求解。指定 $E=1$ 只是让模型模仿历史上的合规轨迹，并不能保证 CPC 一定不超标；
生成的轨迹不一定可执行。例如剩余预算凭空上升。CBD 后来专门解决了这个问题；
没有 Bellman 误差，不等于没有误差。轨迹生成误差、逆动力学误差、“训练时用真实下一状态、推理时用生成的下一状态”带来的分布偏差，以及执行偏差，都仍然存在。

4.3 DT 路线与 AuctionNet：基准让研究爆发

Decision Transformer 把轨迹写成 $(\hat R_1,s_1,a_1,\hat R_2,s_2,a_2,\dots)$ ，其中 $\hat R_t$ 是 return-to-go（RTG），然后自回归地预测动作。和 DiffBid 相比，DT 直接生成动作，不需要逆动力学，推理也更快。

真正让这条路线热起来的，是阿里开源的 AuctionNet（NeurIPS 2024 Datasets & Benchmarks），以及同年的 NeurIPS 2024 竞赛“Auto-Bidding in Large-Scale Auctions”（其中包括 AIGB 赛道）：

环境部分：用深度生成网络合成曝光机会，在 GSP 拍卖下运行 48 个不同的出价智能体；
数据部分：1000 万次曝光机会、5 亿多条拍卖记录，并提供 LP、RL、生成式等基线；
评分方式：转化价值乘以 CPA 惩罚， $\text{Score}=V\cdot\min\{(C/\text{CPA})^2,1\}$ 。

此后，大量论文开始在 AuctionNet 及其稀疏版本（AuctionNet-Sparse）上报告结果。同期还有 Avito 的 BAT（WWW 2025）和 Autobidding Arena（2510.19357），后者提供统一协议，公平对比经典方法和 RL 方法。2026 年的 PlatformBid 又把评测扩展到平台视角（见 §8）。

4.4 DT 与 Diffusion 的区别

	Decision Transformer	DiffBid（Diffusion）
生成对象	动作序列	状态轨迹
动作从哪来	直接预测	逆动力学反推
条件	逐步的 RTG	整条轨迹的属性 $y$
优点	简单、快、容易部署	规划结果可以解释，多模态表达能力强
主要风险	RTG 与真实动作价值不一致	轨迹不可行、推理延迟高

值得一提的是，GAVE 在 AuctionNet 上的实验显示，DiffBid 明显弱于若干 DT 方法；CBD 也是以“DiffBid 在大规模竞价中表现不佳”为出发点的。这说明“轨迹级建模在理论上有优势”和“实际能生成可执行的好轨迹”是两回事。

4.5 1.0 阶段的共同问题：模仿 ≠ 超越

不管是 DT 还是 DiffBid，本质上都是条件模仿学习。GAS 论文把这个问题说得很清楚：

数据质量低时，RTG 这类条件和动作的真实价值对不上，长序列里尤其明显；
数据里占多数的偏好会压制少数广告主的偏好。

于是 2025 年以后的工作，基本都在回答同一个问题：

生成模型能模仿历史投放行为，那怎样让它生成比历史更好的决策，同时又不产生离谱或危险的动作？

5. 生成式出价 2.0：让生成模型超越历史数据

这是近三年最热闹的一段。按“在哪个环节施加改进”，我把它分成三条子路线：改条件（条件里装什么信息）、加价值（训练时引入 Q/V 做策略提升）和推理时优化（生成之后再搜索、修正）。

5.1 改条件：RTG 里应该放什么

普通 DT 的 RTG 只包含“未来还能拿多少转化价值”，完全看不到成本维度。这一支的演进线是：单一 RTG → 带约束惩罚的 Score → 价值与成本解耦的双条件。

GAVE 的 Score-based RTG（快手，SIGIR 2025）

先定义一个同时考虑收益和约束惩罚的 Score，再根据 Score 构造 RTG：

S_t = V_t\cdot \min\Big\{\Big(\tfrac{C}{\text{CPA}_t}\Big)^{\gamma},1\Big\},\qquad \text{RTG}_t = S_T - S_{t-1}

CPA 不超标时不扣分，超标后按幂次折损（默认 $\gamma=2$ ，与 AuctionNet 的评分一致）。论文的消融实验显示，训练用的 Score 和评估用的 Score 越一致，效果越好。它本质上是奖励设计和目标对齐，是一种软约束，不能保证 CPA 一定达标。

沿着这条线的后续工作：

R*DT（2506.21956）：DT 推理时需要人工预设 RTG，但这个值不好定。R*DT 先学会预测“这个状态下历史上能达到的最高 RTG”，再用模拟器筛选高回报的生成轨迹作为数据增强，逐步把策略推向更优；
EBaReT（2507.16186）：针对数据质量差和奖励稀疏的问题，补充生成一批专家轨迹，用 PU learning 判别器识别“专家级”的转移；同时把一段时间内的转移打包成一个 “bag”，让奖励更平滑；
C2（2601.20257）：用 cross-attention 加强 state/action/RTG 三条序列之间的交互，并用考虑预算和 CPA 的约束感知损失，让模型更多学习好轨迹；
PRO-Bid（CIKM 2026）：明确指出单一 RTG 会造成 state aliasing，也就是不同成本状态下 RTG 相同，模型分不清。解决办法是把全局约束拆成递归的 cost context 和 value context，并按经验 Pareto 前沿对轨迹重新加权；再用反事实遗憾优化（CRO）评估替代动作，克服“回归到历史平均”的问题；
OneBid 的 RTG + CTG 双条件、JD-BP 的“无记忆 RTG”（让历史上已经造成的约束偏差不影响未来的决策）也属于这条线，后文再介绍。

5.2 加价值：训练时把 Q/V 引回生成模型

GAVE：离线环境里的价值引导探索（快手，SIGIR 2025，NeurIPS 2024 AIGB 赛道第一名的核心方法）

GAVE 的“探索”很容易被误读。它不是 ε-greedy，也不是加随机噪声，而是在完全没有新的环境反馈时，做受控的离线策略提升。具体分三步：

可学习的受限扰动： $\tilde a_t=\hat\beta_t\, a_t$ ，其中 $\hat\beta_t=\text{Sigmoid}(f_\theta(h_t))+0.5\in(0.5,1.5)$ 。新动作只能在历史动作附近，扰动幅度是学出来的；
用 RTG 比较新旧动作：用 RTG 预测器估计两个动作各自的未来回报，算出权重 $w_t=\sigma(\alpha(\tilde r_{t+1}-\hat r_{t+1}))$ ，再用加权损失 $(1-w_t)(\hat a_t-a_t)^2+w_t(\hat a_t-\tilde a_t)^2$ 决定更多学习哪个动作。论文称之为保持稳定的更新（stability-preserving update）；
高分位价值函数指明方向：用 expectile regression（ $\tau=0.99$ ）学一个“高价值参考水平”，把探索动作对应的预测回报往这个水平拉，同时缓解 OOD 问题。

它的局限也很明确：探索动作好不好，是由同一套离线模型估计的，没有经过真实环境验证，预测误差仍然可能被优化过程利用。

后续沿着这条线的工作：

QGA（2601.02754，部署于淘宝）：在 DT 主干上直接加 double Q-learning 的 Q 值正则，同时优化“模仿数据”和“最大化动作价值”，并提出双重探索：既用多个 RTG 目标作为条件，也对动作做局部扰动，所有候选都由 Q 模块评估。线上 GMV +3.27%，ROI +2.49%；
GUIDE（SIGIR 2026，与 QGA 为同一团队，部署于淘宝）：在 QGA 的基础上补上了安全回退。DT 同时预测下一步动作和下一状态；Q 模块引导 DT 去探索；另外用逆动力学模型（IDM），根据 DT 预测的下一状态推出一个保守、和历史行为一致的动作作为后备；最后由 Q 模块在“探索动作”和“保守动作”里选一个。论文称为 explore–safeguard–select。线上 GMV +4.10%，ROI +3.52%。可以看出它把 DT 和 DiffBid 的“逆动力学”思路合到了一起；
SEGB（2602.22226）：用局部自回归 Diffusion 只生成短时域的未来状态，给每次出价提供“近期预判”；再做价值引导的自我迭代改进，全程不依赖模拟器或外部专家。线上 target cost +10.19%；
GRAD（美团，KDD 2026）：用 Action-MoE 做多样化的动作探索，用 Causal Transformer 的价值估计器处理 CPM、ROI 等约束。美团多个场景线上 GMV +2.18%，ROI +10.68%；
AIGB-Pearl（阿里，2509.15927）：给 AIGB 的生成式规划器加一个轨迹评估器，并设计KL-Lipschitz 约束的分数最大化方案，在有理论保证的前提下，让规划器安全地探索数据集之外的区域。可以看作“生成式规划 + RL 策略优化”的正式结合。

这条线的演进是：纯条件模仿 → 加价值正则 → 显式的“候选—评估—选择”流程。

5.3 推理时优化：生成之后再搜索、再修正

这一支和 LLM 领域的 test-time scaling 很像：不要完全相信生成模型第一次给出的答案。

GAS：训练后搜索（快手，WWW 2025 Companion，已开源）

基础 DT 先生成一个动作，在它附近做约 ±10% 的扰动得到多个候选；
针对不同广告主偏好，训练多个基于 Transformer 的小型 Q critic，用投票（Q-voting）选择最终动作，降低单个 critic 估计偏差的风险；
作者称之为 weak-to-strong search alignment：小 critic 引导大策略。所谓 MCTS-inspired，实际上更接近由 critic 指导的局部候选搜索，并不是完整的蒙特卡洛树搜索；
有两种部署方式：每次推理时搜索（GAS-infer），或者用搜索结果对 DT 做监督微调（GAS-sft），省掉线上搜索开销；
快手线上 target cost +4.60%。

主要贡献：基础模型不用重训，就能适配不同偏好，也能提升决策质量。

CBD：Diffusion 的 Completer–Aligner（快手，arXiv 2025.09）

CBD 是 DiffBid 的直接后继，沿用了 Diffusion 主干和逆动力学，专门解决 DiffBid 的两个失败模式。

Completer：解决“动态合理性”（dynamic legitimacy）。DiffBid 可能生成剩余预算凭空上升这样不可能发生的转移。CBD 把训练目标从“生成整条轨迹” $p_\theta(s_{0:T}\mid y)$ 改为“给定真实历史，补全未来”： $p_\theta(s_{t+1:T}\mid s_{0:t},y)$ 训练时随机选择截断点 $t$ ，去噪损失只在 $t+1:T$ 段计算。需要强调的是，DiffBid 推理时本来也会输入历史状态，CBD 的创新是让训练过程系统地学习“补全”这个任务。
Aligner：解决“轨迹合理但没达到目标”。先训练一个轨迹级的回报模型 $R_\phi(\tau)$ ，推理时直接对生成的未来状态做梯度修正： $\tilde s'_{t+1:T}=\tilde s_{t+1:T}-\eta\nabla_{\tilde s}\big\|R_\phi(\tilde\tau)-y\big\|^2$ 这里修改的是状态的数值，不是模型参数；目标是让轨迹属性和条件 $y$ 匹配，不是无限追求更高的回报。

方法（标准预算）	AuctionNet	AuctionNet-Sparse
DiffBid	316.5	31.3
CBD-Completer	370.4	40.4
CBD	374.0	40.7

从消融结果看，大部分提升来自 Completer，Aligner 只锦上添花。这说明 CBD 的核心贡献主要在训练方式上，而不是推理时的梯度修正。快手线上：消耗持平，target cost +2.0%，CPA 达标率 +1.85%，推理延迟增加 6ms。

Target Cost 是什么？

快手系列论文（GAS、GAVE、CBD、PlatformBid）常用 Target Cost 作为线上指标，它衡量的是广告主获得的“加权转化价值”，不是“CPA 上限变高了”。按 GAVE 的说明：Costcap 场景下，每次转化的价值按广告主设置的 CPA 上限计算；Nobid 场景下按流量的平均实际 CPA 计算。例如 CPA 目标 100 元，转化从 1000 次增加到 1020 次，Target Cost 就从 10 万增加到 10.2 万，即 +2%。在消耗不变的情况下 Target Cost 上涨，说明同样的钱换来了更多有效转化。

其他推理时优化工作：

DRIVE（美团，ICML 2026）：认为单峰的参数化策略会把多种好的出价方式“平均”成一个次优动作。解决办法是：用分布式的动作建模生成候选，从历史高质量决策里检索候选，最后用价值评估选择。它是一个可以叠加在多种 Transformer 方法上的通用框架；
EGDP（CIKM 2025）：在 Diffusion 规划器里加入专家轨迹引导，补充“回报”之外的个性化结构信息，并用 skip-step 采样降低推理延迟。线上转化 +11.29%。

5.4 Diffusion 路线的家谱

把 Diffusion 相关工作单独拿出来，演进线非常清楚：

flowchart TD
    DD["Decision Diffuser<br/>(ICLR 2023, 通用离线RL)"] --> DB["DiffBid / AIGB<br/>状态轨迹 + 逆动力学"]
    DB --> EG["EGDP<br/>专家引导 + 跳步采样（提速）"]
    DB --> CBD["CBD<br/>Completer（可行性）+ Aligner（对齐）"]
    DB --> PE["AIGB-Pearl<br/>评估器 + 约束分数最大化（RL化）"]
    DB --> HL["分层规划器<br/>多渠道 Diffusion 预算分配 · AHBid"]
    CBD --> SG["SEGB<br/>局部自回归 Diffusion（短时域）+ 自进化"]
    DB --> LG["Latent Graph Diffusion<br/>多智能体图表示 + 奖励对齐"]
    CBD --> BF["BidFlow (PlatformBid)<br/>Flow Matching 策略"]

这条线有一个趋势：规划的时域在缩短，生成的约束在加强。 从“生成整天轨迹”，到“补全剩余轨迹”，再到“只生成短期未来”；或者退到上层，只负责分配预算。这背后是延迟、可行性和误差累积三方面的共同压力。

5.5 一个“反潮流”的信号：GRM

GRM（Generative Response Model，2605.27811）的思路很值得注意。它认为 RL 和生成方法把约束“折”进了奖励信号里，结果约束违反被掩盖，在分布偏移时表现也会退化。于是它把学习对象从动作换成了响应：

用一个以历史为条件的序列模型，预测未来的流量规模，以及累计 cost/value 随单一乘子变化的曲线；
再用一个解析控制器，通过一维求根直接满足各个约束；
论文证明，单乘子控制相对于逐时段控制的最优性差距，受逐时段边际 value/cost 离散程度的约束；在滚动重规划下，约束违反也可以用预测误差来界定。

它和 Bid2X（§7）一样，都在说：也许生成模型更适合做“世界模型/响应模型”，决策还是交给有保证的优化器。

5.6 小结：GAVE、GAS、CBD、GUIDE 对比

	GAVE	GAS	CBD	GUIDE
主干	DT	DT	Diffusion	DT + IDM
生成对象	动作	动作	未来状态轨迹	动作 + 下一状态
改进发生在	训练时	推理时（或 SFT）	训练时 + 推理时	训练时 + 推理时
怎样超越历史	受限扰动 + 价值引导	critic 搜索 + 投票	补全训练 + 梯度对齐	Q 引导探索 + Q 选择
怎样控制风险	扰动范围 + 高分位价值	候选限制在 ±10%	以真实历史为条件	IDM 保守回退
主要风险	预测 RTG 高估	critic 偏差	回报模型被“钻空子”	Q 值误判

它们并不是同一条直线上的前后版本，而是从不同环节解决“模仿 ≠ 超越”的问题。各篇论文的实验协议也不完全一致，例如 CBD 没有和 GAVE、GAS 在同一协议下直接对比，所以不能简单排出“谁最强”。

6. 后训练时代：GRPO 和 DPO 进入出价

2025–2026 年最明显的新变化，是 LLM 的后训练范式被整体迁移到了出价领域：

\text{预训练（模仿日志）}\ \rightarrow\ \text{奖励模型 / Critic}\ \rightarrow\ \text{相对策略优化}\ \rightarrow\ \text{部署}

为什么 GRPO 适合出价？因为两者有一个共同点：事先并不知道“正确答案”，最优出价就像最优回答一样无法直接标注，但对一组候选做相对比较是可行的。而 critic-free、按组算优势的做法，又能避开 actor-critic 交替训练的不稳定。

主要工作有：

GBS：生成式 bid shading（美团，SIGIR 2026）。传统做法是“先建模竞价景观，再用运筹方法求最优 shading”，两段式流程存在单峰假设和误差级联。GBS 改为用自回归的逐步残差生成 shading 比例，以 CHNet 作为奖励模型，再用 GRPO 同时优化短期和长期 surplus。已部署于美团 DSP，每天处理数十亿次出价请求。它是“LLM 后训练技术直接用于广告决策”的标志性工作；
Autobidding-GRPO（2608.28199）：把 GRPO 用来微调一个强启发式基线，在 BAT、iPinYou、AuctionNet 上和 actor-critic 方法对比，点击量指标上稳定领先；
OneBid 的 CROP（快手，2026.09）：由学到的 critic 对候选动作做组内相对打分，在离线环境里完成类似 GRPO 的策略优化，避免 GRPO 原本需要的在线 rollout，同时限制策略偏移幅度以降低 OOD 风险；
JD-BP（JD）：联合输出出价和计价修正项，用 Energy-Based DPO 加 cross-attention 学习两者的联合决策；
LLM 方向也大量使用这类方法：LBM 的 GQPO、AIGB-R1 的 D-GRPO、DARA 的 GRPO-Adaptive、LangBP 的 EGPO（见 §7.2）。

7. 出价大模型：基础模型与 LLM

7.1 数值型基础模型：一个模型服务所有场景

过去的做法是 CPA 一个模型、ROAS 一个模型、注册一个模型、付费一个模型。这一支要解决的是“专用 vs 通用”的矛盾。

Bid2X（阿里，KDD 2025）：它不直接出价，而是学习出价环境的动力学，即一个跨场景通用的函数 $f(\text{状态},\text{出价})\to(\text{消耗},\text{GMV},\text{PV},\dots)$ 。它为异构数据设计了统一的序列嵌入，分别在变量维度和时间维度上做注意力；针对“大量为 0”的出价数据，设计了 zero-inflated 投影模块。淘宝线上 GMV +4.65%，ROI +2.44%。可以把它理解为“出价世界模型”；
VAO（阿里，2510.07760）：小场景数据不够时，跨任务共享数据会带来梯度偏差。VAO 根据目标任务的验证集表现，动态调整其他任务数据的权重，并在此基础上用单一模型统一多个任务；
GRAD（美团，KDD 2026）：作者直接称它为“可扩展的出价基础模型”（见 §5.2）；
ADAPT（2609.21308）：把广告主画像拆成静态部分和动态部分，动态部分再拆成共性和个性，新广告主冷启动时不需要重新训练就能构建画像；
OneBid（快手，2026.09，已全量部署）：这是目前最完整的“出价基础模型”方案，可以看作快手 GAS/GAVE/CBD 这一系列工作的集大成。它有三个核心设计：
1. 双原子条件：用 Return-to-Go（转化价值）加 Cost-to-Go（成本比例）代替单一 RTG，再在下一动作预测上加价值感知正则；
2. 序列级 MoE：共享专家学习跨场景的共性知识，稀疏路由的专家学习场景特有模式，在满足延迟要求的前提下，效果随模型规模和数据量稳定提升；
3. CROP 离线后训练（见 §6）。
快手 oCPX 广告整体 ADVV +2.2%，ROAS 场景最高 +13.1%。

7.2 LLM 进入出价：慢思考在上层，快执行在下层

LLM 的吸引力在于先验知识、推理能力和用自然语言表达策略的能力。它的问题也很直接：数值精度不够、会产生幻觉、推理延迟高。 几乎所有工作都用“分层”来化解这些问题。

工作	时间	核心设计
RTBAgent	WWW 2025	第一个基于 LLM 的 RTB 智能体系统，配有 CTR 预估等辅助模块，通过多步决策给出出价
LBM（快手）	2026.03	上层 LBM-Think 做推理，下层 LBM-Act 生成动作；用双嵌入融合语言和数值输入；提出离线强化微调 GQPO，抑制幻觉，不需要模拟器或线上 rollout
DARA	WWW 2026	少样本的预算分配：用 LLM 的 in-context 能力从少量数据里泛化，再用 GRPO-Adaptive（动态更新参考策略）提升数值精度
SemBid	KDD 2026	先做了一项实证研究：LLM 嵌入里确实有与出价相关的信息，但不能替代数值特征；简单拼接没有用，必须在 token 级别把 Task/History/Strategy 语义和数值轨迹融合
AIGB-R1（阿里）	2026.07	Planner–Executor 分层，配合经验驱动的自进化循环；流程是离线预训练 + 后训练对齐，用 D-GRPO 做优势解耦的端到端优化
SAGE	2026.07	参数高效：用门控 cross-attention 对齐轨迹和文本，用约束作为路由信号的 LoRA 专家，可训练参数不到全量微调的 10%
HOBA	KDD 2026	三个时间尺度分层：LLM 用 Think–Act–Observe–Reflect 循环推断超参数，SARSA 智能体在 PID/MPC/RL 等专家模型之间切换，底层执行出价
LangBP（JD）	2026.08	Semantic DT 根据指令和历史预测目标状态，再用逆动力学推出出价加计价的联合动作；EGPO 按执行效果分组平衡策略更新

我从这张表里看到两个规律：

LLM 基本不直接输出出价数值。它负责“定策略”，比如超参数、预算计划、目标状态；数值精度交给 DT、逆动力学或控制器。这和 §3.5 的分层出价是一脉相承的；
LLM 的作用还在被证明。SemBid 的实证研究很有价值：如果融合方式不对，语言信息不会带来收益。目前大部分 LLM 工作只在 AuctionNet 上做了离线验证，有完整线上结果的较少。

8. 视角扩展：从单个广告主到平台与博弈

传统设定是“我是一个出价方，其他人都是环境”。但如果所有广告主都在用智能出价，环境本身就在不停变化。

NCB（阿里，2503.10304）：把自动出价重新表述为带纳什均衡约束的平台级优化，用基于惩罚的 primal-dual 梯度法求解，并证明了收敛性。它同时兼顾单个广告主的稳定性和整个生态的最优性；
Latent Graph Diffusion（2503.05805）：用图表示曝光机会之间的依赖关系和多智能体之间的动态，再用潜空间 Diffusion 规划，并通过奖励对齐来满足 KPI 约束；
PlatformBid + BidFlow（快手，2026.07）：现在的大平台同时运营 SSP、DSP 和 Ad Exchange，出价算法不仅要优化广告主的转化，还要考虑平台总收入。PlatformBid 定义了三种评测设定：同质竞争、异质竞争、大促期间部分广告主突然加预算。基于这些设定，作者提出了用 Flow Matching 表示策略的 BidFlow，快手线上 target cost +0.68%；
JD-BP / LangBP（JD）：把“计价修正项”也纳入决策，和出价一起联合生成，用来吸收预估误差和反馈延迟带来的偏差。京东线上广告收入 +4.70%，target cost +6.48%；
SWAG-Bid（AliExpress，2026.07）：很多广告主的转化很稀疏，单日 CPA 统计不可靠，平台改为按 7 天滑动窗口考核。这样一来，每天的决策会影响多个窗口，出现跨 episode 耦合。SWAG-Bid 的做法是：上层用 Masked Trajectory Model 预测市场并生成候选计划，用多窗口 MPC 采样打分；下层用门控 AdaLN 决定在多大程度上听从上层的指导；
均衡理论：近两年还有一批研究自动出价均衡的计算复杂度（PPAD 难度、不可近似性）、动力学混沌，以及一价比例机制效率的理论工作。它们提醒我们，在多智能体环境里，“单个智能体最优”和“系统稳定”是两回事。

Bid shading 也有一条独立的线。一价拍卖越来越普遍，“如实出价”不再是最优策略：

MEBS（2403.02607）：多坑位展示广告的多任务端到端 bid shading，线上 GMV +7.01%；
双重分布鲁棒 bid shading（Yahoo DSP 数据，2410.14864）：同时对价值预估和竞争出价分布的不确定性做 KL 模糊集上的 max-min 优化；
GBS（美团，2025–2026）：生成式加 GRPO（见 §6）。

此外，隐私和延迟反馈也成为出价问题的一部分。字节跳动 KDD 2024 的 Spending Programmed Bidding 把问题拆成两层：宏观层做长时域的消耗规划（目标 ROI → 预期消耗），微观层做短时域的出价执行（预期消耗 → 出价），以此应对归因延迟和转化聚合带来的反馈缺失。

9. 迭代关系总览

9.1 主要模型一览

模型	时间 / 出处	部署平台	范式	一句话贡献	承接 / 改进对象
Field Guide	ICML 2024	Google（仿真）	对偶/控制	Min pacing 获得与联合优化接近的保证；串联控制可能严重违约	预算/ROS pacing 体系
Meta Offline RL	KDD 2024	Meta	离线 RL	RL 只用来优化 base policy 的参数，上线时丢掉神经网络	生产启发式策略
TEE / SEAS	WWW 2024	阿里	迭代离线 RL	轨迹级探索与利用 + 安全探索	SORL、离线 RL 的保守性
AIGB / DiffBid	KDD 2024	阿里	Diffusion 规划	状态轨迹生成 + 逆动力学；条件统一多种目标	MDP 类 RL
AuctionNet	NeurIPS 2024 D&B	阿里	基准	大规模竞价环境与数据集；配套 NeurIPS 竞赛	—
PE-MORL	2025.06	阿里	基于模型的离线 RL	置换等变环境模型 + 悲观 Q	离线 RL 状态覆盖不足
OIL / HALO	2024.12 / 2025.08	—	模仿 / 后见学习	事后最优 oracle 模仿；后见轨迹重标注	RL 样本效率低
GAS	WWW 2025	快手	DT + 推理时搜索	多 critic 投票搜索，无需重训即可适配偏好	DT 的 RTG 与真实价值错配
GAVE	SIGIR 2025	快手	DT + 价值引导	Score-RTG + 受限可学习探索 + 高分位价值	DT 行为克隆坍缩
ABPlanner	KDD 2025	阿里	分层 + in-context RL	少样本预算规划	分层出价
Bid2X	KDD 2025	阿里	环境基础模型	跨场景“出价 → 效果”世界模型	场景专用环境模型
EGDP	CIKM 2025	—	Diffusion	专家轨迹引导 + 跳步采样	DiffBid 的条件信息不足和延迟
CBD	2025.09	快手	Diffusion 规划	补全式训练保证可行性 + 回报模型对齐	DiffBid
AIGB-Pearl	2025.09	阿里	生成式规划 + RL	轨迹评估器 + KL-Lipschitz 约束优化	AIGB 无法超越数据
GRAD	KDD 2026	美团	DT + MoE + 价值	Action-MoE 探索 + 约束感知价值估计	生成式出价的探索不足
QGA	2026.01	淘宝	DT + Q 正则	double Q 正则 + 双重探索	GAVE 类方法
PRO-Bid	CIKM 2026	—	DT 条件设计	成本/价值解耦 + Pareto 重加权 + 反事实遗憾	RTG 的 state aliasing
SEGB	2026.02	—	局部 Diffusion + 自进化	短时域预判 + 离线自我改进	长轨迹 Diffusion
GBS	SIGIR 2026	美团	生成式 + GRPO	自回归 shading + 奖励模型 + GRPO	两段式 bid shading
GUIDE	SIGIR 2026	淘宝	DT + IDM + Q	探索—安全回退—选择	QGA、GAVE（缺少安全回退）
GRM	2026.05	—	响应建模 + 解析控制	预测响应曲线，一维求根满足约束	“约束折进奖励”的做法
DRIVE	ICML 2026	美团	候选生成 + 评估	分布式动作 + 检索增强 + 价值选择	单峰策略的“平均化”
LBM / AIGB-R1	2026	快手 / 阿里	LLM 分层	上层推理、下层执行 + 离线 GRPO 类后训练	生成式出价的模式覆盖不足
PlatformBid / BidFlow	2026.07	快手	基准 + Flow Matching	平台视角评测 + Flow 策略	广告主单方视角
OneBid	2026.09	快手	基础模型	RTG+CTG 双条件 + 序列级 MoE + CROP	GAS / GAVE / 单场景模型

9.2 四条主线的“接力”

flowchart LR
    subgraph S1["探索 vs 安全"]
        a1[在线 RL] --> a2[TEE/SEAS] --> a3[GAVE] --> a4[QGA] --> a5[GUIDE] --> a6[OneBid-CROP]
    end
    subgraph S2["模仿 vs 超越"]
        b1[DT / DiffBid] --> b2[GAS 搜索] --> b3[DRIVE] 
        b1 --> b4[AIGB-Pearl] --> b5[GRPO 类后训练]
    end
    subgraph S3["可行 vs 达标"]
        c1[DiffBid] --> c2[CBD] --> c3[SEGB 短时域]
        c2 --> c4[GRM 响应建模]
    end
    subgraph S4["专用 vs 通用"]
        d1[单场景模型] --> d2[VAO] --> d3[Bid2X] --> d4[OneBid]
        d4 --> d5[LBM / AIGB-R1]
    end

从机构来看，也能看出明显的研究风格：

阿里妈妈：范式开拓型。AIGB 提出生成式出价，AuctionNet 搭建基准，Bid2X 做环境基础模型，NCB 做均衡，AIGB-R1 引入 LLM，基本每一轮新范式都有它的身影；
快手：工程迭代型。GAS → GAVE → CBD → LBM → PlatformBid → OneBid，几乎每篇都有线上 A/B 结果，最后收敛到一个统一的基础模型；
淘宝（QGA/GUIDE）：专注“DT + Q 值”这条线，强调安全；
美团：GRAD、DRIVE、GBS，偏向“生成 + 价值评估 + 后训练”，并且把这套方法延伸到了 bid shading；
京东：JD-BP、LangBP，开辟了“出价与计价联合决策”的新问题；
Google：偏理论，研究约束优化、pacing、均衡与机制；Meta 则提供了一条非常务实的离线 RL 路线。

10. 我的几点判断

1. 控制层不会消失，只会被“包”起来。 从 Field Guide 到 GRM，有一条暗线始终存在：最终的约束满足最好交给有理论保证的优化器或控制器。生成式模型更适合提供“对未来的预判”和“好的目标”，例如 Bid2X 预测出价后的效果、GRM 预测响应曲线、LLM 推断超参数。我预计未来的主流架构是：基础模型负责规划和预判，控制器负责执行和兜底。

2. 真正的瓶颈是离线评估，而不是生成模型的表达能力。 GAVE 的 RTG 预测器、GAS 的 critic、CBD 的回报模型、OneBid 的 CROP critic，本质上都在回答“没试过的动作好不好”。这些评估器一旦出错，就会被策略优化利用（reward hacking）。比起把 DT 换成 Diffusion 或 Flow，更可靠的离线策略评估（OPE）和带约束的策略提升，可能更有价值。

3. 论文之间很难公平比较。 AuctionNet 统一了离线环境，但各篇论文的预算设置、基线实现、评分口径（Score、Target Cost、ADVV）仍然不一样；线上 A/B 的基线也是各家自己的生产模型。读论文时我更关注消融实验（例如 CBD 的提升主要来自 Completer），而不是最终的数字。

4. 规划的时域在缩短，这本身值得研究。 DiffBid 生成 96 步完整轨迹却只用下一步；SEGB 只生成短时域；AHBid 把 Diffusion 退到上层只做预算分配。“完整轨迹生成”相对于“直接预测下一步最优状态”到底有多大优势，目前还没有清晰的答案。

5. LLM 的价值还需要更多证据。 SemBid 的结论很实在：LLM 嵌入不能替代数值特征，必须精细融合才有收益。在毫秒级出价场景里，LLM 最有可能发挥作用的位置是低频的策略层（预算计划、超参数、运营意图理解），而不是高频的执行层。

几个我觉得值得尝试的研究方向：

CBD 的 Completer 生成未来状态 → 逆动力学产生候选动作 → GAS 式的 Q-voting 选择。在同等参数量和推理预算下，比较“提高轨迹质量”和“增加搜索”哪个收益更大；
把 GRM 的“响应建模 + 解析控制”和 OneBid 的跨场景基础模型结合，让基础模型输出响应曲线而不是动作；
面向出价的 OPE 和 critic 不确定性估计，为 CROP、GRPO 类方法提供更可靠的离线信号。

附录 A：推荐阅读顺序

如果时间有限，我建议按下面的顺序读，基本能把这条线串起来：

Field Guide（2302.08530）：理解约束、对偶和乘子
Meta Offline RL（2310.09426）、TEE（2402.15102）：理解为什么走向离线，以及离线的代价
AIGB / DiffBid（2405.16141）：生成式出价的起点
AuctionNet（2412.10798）：后续论文的共同实验环境
GAS（2412.17018）→ GAVE（2504.14587）→ CBD（2509.03348）：快手的三条改进路线
GUIDE（2605.19457）、DRIVE（2606.14192）：“候选 + 评估 + 选择”的成熟形态
GBS（2508.06550）：后训练进入出价
Bid2X（2510.23410）→ OneBid（2609.21550）：基础模型
GRM（2605.27811）、SemBid（2605.05833）：两篇“冷静剂”，前者回到控制，后者检验 LLM 到底有没有用

附录 B：论文列表（arXiv 编号）

展开完整列表

控制 / 优化 / 理论

A Field Guide for Pacing Budget and ROS Constraints — 2302.08530
Auto-bidding and Auctions in Online Advertising: A Survey — 2408.07685
No-Regret Algorithms in non-Truthful Auctions with Budget and ROI Constraints — 2404.09832
Online Bidding Algorithms with Strict ROS Constraint — 2502.05599
Auto-bidding under RoS Constraints with Uncertainty Quantification — 2509.16324
RobustBid: Robust autobidding for noisy conversion prediction — 2510.08788
Feedback Control for Small Budget Pacing — 2509.25429
BiCB: Lightweight Auto-bidding in Live Advertising — 2508.06069
HOB: Holistically Optimized Bidding — 2510.15238

RL / 离线 RL / 分层

Offline RL for Optimizing Production Bidding Policies (Meta) — 2310.09426
TEE: Trajectory-wise Iterative RL for Auto-bidding — 2402.15102
PE-MORL — 2506.17919
OIL: Oracle Imitation Learning — 2412.11434
HALO — 2508.03267
HiBid — 2312.17503
Hierarchical Multi-agent Meta-RL for Cross-channel Bidding — 2412.19064
ABPlanner — 2502.05187
AHBid — 2602.22650

生成式出价

AIGB / DiffBid — 2405.16141
GAS — 2412.17018（代码）
GAVE — 2504.14587
R*DT — 2506.21956
EBaReT — 2507.16186
EGDP: Expert-Guided Diffusion Planner — 2508.08687
CBD — 2509.03348
AIGB-Pearl — 2509.15927
QGA — 2601.02754
C2 — 2601.20257
PRO-Bid — 2602.08261
SEGB — 2602.22226
GUIDE — 2605.19457（代码）
GRM: Constrained Auto-Bidding via Generative Response Modeling — 2605.27811
DRIVE — 2606.14192
Multi-agent Latent Graph Diffusion — 2503.05805
SWAG-Bid — 2607.25233

后训练 / 基础模型 / LLM

GBS: Generative Bid Shading — 2508.06550
Fine-Tuning Autobidders with GRPO — 2608.28199
Bid2X — 2510.23410
GRAD — 2508.02002
VAO — 2510.07760
ADAPT — 2609.21308
OneBid — 2609.21550
RTBAgent — 2502.00792
LBM — 2603.05134
DARA — 2601.14711
SemBid: On the Role of Language Representations in Auto-Bidding — 2605.05833
AIGB-R1 — 2607.17281
SAGE — 2607.24232
HOBA — 2607.24779
JD-BP — 2604.05845
LangBP — 2608.30343

平台 / 博弈 / Bid shading / 基准

NCB: Large-Scale Auto-bidding with Nash Equilibrium Constraints — 2503.10304
PlatformBid / BidFlow — 2607.27265
MEBS — 2403.02607
Double Distributionally Robust Bid Shading — 2410.14864
AuctionNet — 2412.10798
BAT — 2505.08485
Autobidding Arena — 2510.19357

参考资料

ChatGPT 对话：广告出价趋势综述 — https://chatgpt.com/share/6acc8eb9-0f3c-83e8-b419-2e6cb7b3b3f9
ChatGPT 对话：AIGB 解读（含 GAS/CBD/GUIDE 对比）— https://chatgpt.com/share/6acefe66-555c-83ee-a11d-f82b95a38d3b
以上各论文的 arXiv 摘要页（2026-10-14 检索）

标签