随机性是一面镜子，因果推断照见了自己。
7月7日，国际机器学习大会（ICML）在首尔召开。在首日Keynote演讲中，斯坦福大学商学院技术经济学教授、前美国司法部反垄断部门首席经济学家 Susan Athey 发表了一场跨越经济学、统计学与机器学习边界的演讲，题为“Causal Inference with Transformer Models”（基于 Transformer 模型的因果推断）。
Athey 过去二十年来一直站在 AI 与因果推断的交叉点上。她个人曾同时包揽约翰·贝茨·克拉克奖与约翰·冯·诺伊曼奖，也曾是微软首席经济学家，亲历了搜索引擎推荐系统的因果难题。如今，她将目光投向了一个更棘手的战场：在生成式 AI 时代，当每个用户看到的每一条回复都独一无二时，我们还能不能做因果推断？
Athey 的回答是：能。但必须换一种思路。她提出了一套全新的方法论：“以彼之矛，攻彼之盾”——利用大语言模型（LLM）天生的随机性，来做天然的随机实验。
这一方法有三个颠覆性的特点：
第一，它绕过了传统因果推断中最棘手的步骤——估计倾向得分（Propensity Score）作为用户特征的函数。 在 Athey 的框架里，概率计算只在“用户内部”进行：“这个特定用户，在这次特定查询中，看到 A 而非 B 的概率是多少？”这意味着即便不记录用户查询本身，也能得到因果效应。
第二，它巧妙借用了 LLM 的内在随机性。 由于 LLM 在 temperature>0 时会为同一查询生成不同回复，只需在夜间 GPU 空闲时重新调用一次 API，就能低成本获取反事实曝露。“你不需要额外招募实验对象，你只需要把白天的数据晚上再跑一遍。”
第三，它回答的是一个极其务实的问题：“当系统在两种回复之间近乎无差异时，朝某个方向轻轻推一把——比如让语气更温暖——会有什么效果？”这不是一个学术玩具问题，是每个 AI 产品经理每天都在做的决策。
总结而言，Athey 的核心洞见是：生成式 AI 看似让因果推断变得更难，因为内容维度爆炸、每个人看到的东西都不同。但同时，看似维度爆炸的大模型，实则为因果推断送上了最好的武器。
以下是 Susan Athey 在 ICML 2026 大会发表的 Keynote 演讲精编稿，基于原英文演讲内容进行了不改原意的翻译编辑：
“Causal Inference with Transformer Models”
主讲人：Susan Athey，斯坦福大学商学院
从搜索引擎到生成式 AI：因果推断的二十年
我对 AI 与经济学交叉领域的兴趣始于 2000 年代末，当时我加入了微软研究院，帮助创立了跨经济学与计算机科学的 New England Lab。同时，我在微软还有一个运营角色，主要关注搜索引擎。那时我试图把此前作为纯经济学家学到的一切，与我在搜索引擎中看到的实际问题结合起来。一个深刻影响我此后职业生涯的洞见是：机器学习与因果推断之间，存在巨大的协同空间。因果推断横跨经济学、统计学、计算机科学和许多其他社会科学。
从那以后，我一直在试图解决一个问题：在一个高度个性化的环境里，如何做因果推断、如何估计因果效应？我们面临一个悖论——你在个性化上做得越好，就越难学会如何个性化。因为如果你对每个人都实现了完美个性化，你就永远看不到他们看到别的东西会有什么反应。
多年来，学界发展了许多方法处理观测数据，即那些并非随机采集、而是推荐系统根据用户特征匹配推送的数据。我和许多同行一直在推进这些方法。但大语言模型和 Transformer 的出现，把一切推向了极限——也把我们从前那些“勉强能用”的方法推向了“可能失效”的边缘。维度太高了，我们做的事情太复杂了，以至于很难找到抓手。
今天，我要讲两个项目。在这两个项目中，我不仅找到了抓手，而且我们发现：这些方法不仅能解决生成式 AI 带来的新问题，甚至能让旧世界的答案也变得更好。
微型实验：把每个查询变成一次随机对照
首先，我要打破一个我通常会告诫年轻同事的铁律：“永远不要在重要演讲中第一次讲一篇论文。”我觉得今天的演讲应该算重要，但我还是要打破这个规则。这篇论文的主题与我的摘要一致，但具体内容没有写在摘要里——因为我在旅行途中遇到 Wi-Fi 问题，没赶上 arXiv 截止时间。所以它目前挂在 Zenodo 上，但愿明天能上 arXiv。这是与 Guido Imbens 和 Zoe Gu 的合著。
这篇论文的核心动机是：如何利用大型文本平台生成的观测数据做因果推断？这些平台使用的是“随机算法”（Stochastic Algorithms）。大多数用来给用户推送个性化结果的算法，本质上都是随机的。
在旧世界，比如向用户推荐电影或书籍，因果推断已经很难了。但至少不止一个人看过同一部电影，所以你还有一点希望去学习用户对电影的偏好。但在生成式 AI 的世界里，如果把推送给用户的回复看作一部“电影”，我们面临的是同样的 Netflix 问题，只不过现在没有人会看到相同的上下文两次，也没有人会看到相同的回复两次。所以我们需要一种不同的方法。
一种方法是降维：用嵌入（Embedding）来表示内容，为用户估计嵌入向量，然后做匹配。这可以作为不错的近似，能帮你走很远。但在这第一篇论文里，我要追求更少偏差的结果，而代价是回答一个更窄的问题。
我们只关心少数几个特征（Features）的因果效应。我承认，要估计一条回复中每一个元素的因果效应是不可能的，响应面太复杂了，一条回复与另一条回复之间的差异方式太多了。我不会试图估计从内容特征到用户结果的整个函数曲面。相反，我一次只关注少数几个特征。
你想知道的因果问题：从情感语气到产品决策
这些特征可以是科学问题。比如，情感语言对消费者反应有什么因果影响？我曾在虚假信息语境下用真实用户做过实验，发现情感语言对于让人们停下来思考自己在网上分享了什么至关重要。但现在，我们可以在更大规模上、无需招募大量用户就能研究情感语言的因果效应。
另一个例子：电商平台可能想知道用户对质量的支付意愿，或者用户是否真的会关注质量信息——这关系到信号理论和提供质量的经济激励。在在线教育中，我们可以利用教育类 AI 导师的数据来研究不同教学方法的因果效应。
在产业实践中，一个典型问题是：更友好的回复有什么效果？我不知道在座各位的习惯，但可能有人跟我一样——我会告诉聊天机器人：“别闲聊了，别拍我马屁了，直接给我答案。”当然，人们对聊天机器人是否应该寒暄有不同的偏好。所以“是否应该让聊天机器人更友好”本身就是一个需要回答的因果问题。
我们都知道，不同场景使用不同的系统提示（System Prompt）。编程 Agent 有一套提示，闲聊 Bot 有另一套。应用开发者每天都在做这些主动决策。我在另一篇论文中研究过微笑照片对 P2P 借贷平台 Kiva 的影响——我们发现微笑的借款人更容易获得贷款。那篇论文里，我们用生成式 AI 修改照片来创建纯随机实验，验证了观测数据的因果估计。
反事实暴露：方法的核心
现在让我用一张幻灯片讲完这篇论文的核心。我们引入了一种新的数据结构，命名为“已记录的反事实曝光”（Logged Counterfactual Exposures），名字还在打磨中。来自上下文 Bandit 文献的朋友会觉得似曾相识，但在我们的设定中有所不同。
通常我们记录的数据是：一个用户、一个查询、一条回复、以及用户的行为反馈（比如点赞或点踩）。我们需要额外记录两样东西：第一，至少一条用户“本可以看到但没看到”的内容；第二，用户看到 A 而非 B 的相对概率。
如果你有一个大语言模型，你可以对同一用户查询做多次采样（temperature>0），拿到不同的回复。这就是创建反事实曝光的两种方式。
对于那些不熟悉因果推断的听众，让我解释为什么这很微妙。因果推断的核心挑战是：我能看到你看到的东西的结果，但看不到你没看到的东西的结果。所以它本质上是一个缺失数据问题。在我们的数据增强方法中，我们永远不会看到“你没看到的东西”的结果。那么，为什么还需要知道那个你没看到的东西是什么？
我们的洞见是：把每个用户查询当作一个微型实验。 在这个实验里，有一个用户看到的东西和一个用户没看到的东西。然后我像分析一堆微型实验一样分析数据，把它们平均起来。
具体操作流程是：白天记录用户查询和实际回复；晚上 GPU 空闲时重新调用 API 获取反事实曝光；然后运行一个分类器来标记两条回复的特征（比如“语气是否温暖”）；最后，扔掉所有实际曝光和反事实曝光在目标特征上相同的数据（即“一致对”），只对“不一致对”（Discordant Pairs）做均值差。
与传统方法的本质区别
如果与传统离线策略评估（Off-Policy Evaluation）对比，差异就很清楚了。离线策略评估试图估计：如果换一种内容分配策略，会有什么效果？这需要估计倾向得分作为用户特征的函数——而这正是高维空间中最难估计的对象。
我们的方法也需要概率，但概率是在“用户内部”计算的：“这个特定用户，在这次特定查询中，看到不同内容的概率是多少？”我甚至不需要记录用户查询本身。如果担心隐私问题，我可以在拿到反事实曝光后就扔掉用户查询，仍然能得到因果效应。这是与传统因果推断文献的根本性分歧。
我们把每个用户看作一个 n=1 的实验，然后对所有微型实验求平均。我们最终估计的是：在那些实际经历了特征变化的用户中，该特征的平均因果效应。如果语言模型的 temperature 较高、两条回复的概率差不多，那甚至不需要加权，直接做简单平均就好。
这个因果效应到底回答了什么问题？
听到这里，你可能会觉得我像是在变魔术，甚至想问：兔子是怎么凭空变进帽子的？因为我看似扔掉了传统观测数据因果推断中的许多底层硬性假设。但这个“魔术”的玄机其实在于：我们并没有解决那个庞大的全局难题，而是将视角转向回答了一个范围更窄、更具体的问题。
假设你听了这场演讲后回到实验室，决定试一试。你可以在向用户展示两条备选回复之前，选择那条语气更温暖的。你实际在做的，恰好就是我们估计的那个因果效应。所以这个估计值回答的问题就是：“当系统在两种回复之间近乎无差异时，选择更温暖的那一条，会有什么效果？”
如果你想让这个因果效应与修改系统提示对应起来，可以这样写提示词：“如果你在考虑是否要友好一点，请向友好的方向倾斜。”我们的因果效应衡量的就是这种“轻微推动”（Nudge）的效果——在系统本来就在两种选择之间“犹豫”的边界上，朝某个方向轻轻推一把。
但我们的方法不适合另一种场景：先生成回复，然后在后处理中“强行”让它变温暖。因为那种情况下，你没有在观测数据中见过“本来不温暖却被强行变温暖”的例子，也就无法学到这种干预的因果效应。
与负采样文献的关系
在推荐系统领域，有一个与我们的方法精神相近的文献——负采样（Negative Sampling）。它处理的也是“大多数物品没有与大多数用户互动”的问题。研究者从物品目录中采样一些用户没看过的物品作为负样本，然后在增强后的数据集上做分析。
但关键区别在于：负采样文献通常不关心用户到底被曝光了什么，它们用“假零”（Fake Zeros）来补全数据，知道这些估计是有偏的，但作为一个工程妥协，在实践中效果不错——它给我们推荐了让我熬夜追的好电影。
而我们的方法是无偏的。我们保留了真实的 0/1 结果，但创建的反事实样本来自于“我们知道用户没看到、但本可以看到”的内容。这更接近一种精心设计的实验，而非工程妥协。
由于时间关系，第二个项目我只能简要介绍。这是一个高度跨学科的团队，涵盖了经济学、市场营销、计算机科学、工程学和统计学。
我们做的事情是：用 Transformer 模型对职业序列建模，而非对词语序列建模。 这对研究者来说是个很好的实验平台——因为职业词汇表只有 330 个职业，而不是 30000 个单词。这意味着我在 2022 年就能用斯坦福的机器训练一个基础模型。
我们先用抓取的非代表性简历数据预训练基础模型，然后在一个包含工资数据的较小数据集上做 fine-tuning。这个数据集有数千名工人、数万次职业转换，来自政府调查数据，任何人都可以下载。
因果推断在这里的应用是性别工资差距分解（Gender Wage Decomposition）。性别工资差距被分解为两部分：一是“如果男女有相同的职业历史，工资差距会是多少？”二是“男女职业历史本身的差异贡献了多少？”这个分解直接指导政策制定。
技术的核心在于改造 fine-tuning 的目标函数。传统 fine-tuning 用均方误差（MSE）作为损失函数。我们改用“残差对残差回归”（Residual-on-Residual Regression）：先取结果变量减去模型预测结果的残差，再对“性别减去模型预测性别”的残差做回归。这个目标函数有三十年的理论历史，能让你在控制正确混杂因素的前提下得到因果效应。
让我特别兴奋的是：这只是一个例子。你可以通过改变随机梯度下降的目标函数来回答各种因果问题。后训练（Post-Training）一度失宠，但现在它回来了，我一直知道它会回来的。所以，对于那些对训练后调整感兴趣的人来说，这真的是一种有趣的做法，即改变目标函数，使其针对特定的感兴趣参数，并集中精力确保该参数正确。
在 云栈社区，你同样可以找到这种将理论与工程实践结合的深度内容，与志同道合的开发者们一同探讨技术前沿的演进之路。
发表于 昨天 23:52
|
查看: 3|
回复: 0
