这项由LinkedIn公司联合哈佛大学、佐治亚理工学院共同完成的研究，以预印本形式发布于2026年7月，论文编号为arXiv:2607.05339。感兴趣的读者可以通过该编号在arXiv平台查阅完整原文。
每个学过数学的人大概都有过这样的经历：盯着一道难题看了半天，脑子里反复转着同样几个解题思路，却始终走不出那个死胡同。换个角度看看答案，或者听旁边的同学说一声"你试试这个思路"，往往一下子就豁然开朗了。这篇研究恰恰发现，当今最先进的AI语言模型在学习推理能力时，面临着完全相同的困境——而研究团队给出的解决方案，和那位提示你"换个思路试试"的同学，本质上如出一辙。
一、AI也会陷入"思维定势"
要理解这项研究解决的问题，先要理解一种叫做GRPO的AI训练方式。这个缩写代表"组相对策略优化"，听起来很复杂，但原理其实很直观。
把AI的学习过程想象成一个学生在做练习题。每次遇到一道题，这个学生会给出一批答案——比如同时写出八个不同的解题过程——然后老师（也就是验证程序）来判断哪些对、哪些错。答对的解题方式会被鼓励，答错的会被纠正，学生就这样慢慢进步。这个方法有个很大的优点：AI学什么，考试时就用什么，训练和实际使用高度一致，不会出现"课堂上学的和考场上考的完全两回事"的尴尬。
然而，这里藏着一个致命的弱点。这个训练方式只能强化AI已经"想到过"的解法。如果一道难题的正确解法，AI从来都没有在那一批答案里碰巧写出来，那无论训练多少次，验证程序根本没有机会告诉AI"这个方向是对的"——因为AI压根就没往那个方向想过。
研究团队把这个现象描述为"探索支持度不足"。通俗地说，就是AI的思维盲区：AI总是在自己熟悉的几个解题套路里打转，而真正正确的解题路径，就藏在那个它从未踏入过的区域里。面对这种情况，就算给AI更多的练习次数、更严厉的评分标准，也无济于事——因为问题根本不在于怎么评分，而在于AI首先得"想得到"那个正确的解法。
二、"偷师"的艺术：让AI先看看答案长什么样
研究团队提出的方案叫做TREK，这个名字来自"Teacher-Routed Exploration via Forward KL"的缩写，翻译过来大意是"通过前向KL散度进行教师引导的探索"。但这个技术术语背后的核心思路，用一句话就能说清楚：**先让更厉害的"老师"给出几个正确答案，让AI看看正确答案的样子，再用这些例子把AI的思路"校准"过来，然后继续正常的自主练习。**
具体来说，TREK分成四个紧密衔接的阶段。
第一个阶段是识别"卡壳"的题目。每次训练时，系统会让AI自己先尝试解答一批题目，记录下来AI的正确率。对于那些AI几乎从来解不对的题目——研究中设定的门槛是正确率不超过八分之一——就把它们标记为"困难题"，等待下一步处理。正确率还不错的题目，则继续走正常的训练流程。
第二个阶段是向"提案来源"寻求帮助。对于那些被标记的困难题，系统会去找一个更强大的"提案来源"，让它来解这些题。这个"提案来源"可以是一个更大、更强的外部AI模型，也可以是同一个AI在拥有额外辅助信息（比如之前失败经验的总结）的情况下再次尝试。关键在于，系统只保留那些经过验证是正确的解答，错误的解答一律丢弃。
第三个阶段是筛选"最近的"正确答案。这里有一个微妙但至关重要的设计。假设外部模型给出了五个正确解法，研究团队不会把所有五个都拿来用。他们会计算每个正确解法和当前AI的"距离"——技术上用的是一种叫做"修剪后长度归一化负对数似然"的指标，听起来很拗口，但意思很简单：哪个正确解法的思路和AI现在的思维方式最接近，就优先使用哪个。
这个设计的逻辑非常直观。一个在小学数学水平的学生，如果给他看一篇博士论文里的解法，他可能完全摸不着头脑，甚至产生挫败感；但如果给他看一个稍微比他强一点点的同学的解法，他就能看懂，也能学会。同理，如果直接把外部强大模型那种完全陌生的解题风格塞给AI，AI可能根本无法吸收；选择最接近自己风格的正确解法，才能真正帮助AI打开思路。
第四个阶段是短暂的"对照学习"，然后回归正常训练。系统对筛选出来的这些正确解法做一轮简短的学习——技术上称为"前向KL散度最小化"，直白地说就是让AI努力模仿这些正确解法的写法，让这些原本陌生的解题路径变成AI自己也能"想到"的路径。完成这一步之后，这些题目就被放回正常的训练流程，AI开始凭借自己的力量重新解答它们。只要AI现在能自己解出来，就代表这个"偷师"的过程成功了。
三、为什么是"前向KL"而不是别的方式？
这里有一个技术细节值得详细解释，因为研究团队在实验中特意证明了这个选择的重要性。
在TREK中，让AI学习筛选出来的正确解法时，研究团队用的是"前向KL散度"这个数学工具。简单类比：假设你想把某个地区的地图（AI目前的思维模式）调整成和标准地图（正确解法）更相似。有两种截然不同的调整方式：一种是逐点核查，重点惩罚"标准地图上有路，但你的地图上没有画"的情况；另一种则是重点惩罚"你的地图上画了路，但标准地图上没有"的情况。前向KL散度对应的是前者——它特别严格地惩罚AI"缺漏"正确解法的情况，强迫AI去把那条之前没有走过的正确路径纳入自己的"版图"。
研究团队同时测试了另一种方案，叫做OPD（在线策略蒸馏），它的侧重点恰好不同。实验结果表明，在AI根本解不出来的困难题上，OPD的效果明显不如前向KL。原因很清楚：OPD依赖于AI能从自己的答案里提取信号，但AI在困难题上本来就解不出来，也就没有有效信号可以提取；而前向KL直接从正确解法出发，强制扩展AI的思维边界，才真正解决了"思维盲区"的问题。
四、不需要窥探"老师"的大脑
TREK还有一个值得单独提及的设计优势：整个方法只需要"老师"给出正确的解答文本，完全不需要知道"老师"内部的任何参数、概率或计算细节。
这一点在实际应用中意义重大。现实里，很多最强大的AI系统是"黑盒"的——你可以用它们、向它们提问、得到答案，但你无法查看它们内部的工作原理。很多现有的AI训练方法需要深入访问"老师"模型的内部状态，这就把它们的使用范围限制在了可以完全控制两个模型的场景下。TREK没有这个限制：任何能给出正确解答的系统，无论是商业黑盒API、更大的开源模型，还是同一个模型在额外辅助下的运行，都可以充当"提案来源"。
五、实验结果：数字背后的故事
研究团队在两类完全不同的任务上测试了TREK：数学推理和智能体任务。
在数学推理方面，他们选用了三个不同规模的Qwen3系列模型（1.7亿参数的小型、80亿参数的中型、140亿参数的大型），在两套竞赛数学题（AIME 2024和AIME 2025）上进行测试。这两套题目来自美国数学奥林匹克的资格赛，对普通高中生来说就已经相当困难，对AI来说更是极好的"难题测试床"。
以中等规模的Qwen3-8B模型为例，单纯依靠GRPO训练之后，它在AIME 2025上每次独立尝试的平均正确率是36.9%，在AIME 2024上是47.9%。用了TREK（以DeepSeek-V4作为外部提案来源）之后，AIME 2025提升到了40.3%，AIME 2024提升到了51.1%。这些数字看起来不大，但放在竞赛数学的难度背景下，每提升一个百分点都相当不容易。更重要的是，这个提升在所有三个规模的模型上都出现了，说明这不是某个特定模型的偶然运气，而是方法本身带来的稳定增益。
研究团队还测试了一个特别有意思的变体——"自我上下文"版本。在这个版本里，根本不引入任何外部更强的模型；提案来源就是同一个Qwen3模型，只不过在提问时额外附加了一段从自己之前失败经验中总结出来的"教训"。附录里展示了这段教训的具体内容，包括一些简短的规则，比如"仔细重读题目实际问的是什么，确保最终答案对应的是题目要求的量，而不是某个中间变量"，以及"在开始计算之前，先列出所有隐含约束条件：整数、正数、非零、各不相同、某个替换的定义域——然后在给出答案之前验证每个代数候选解是否满足这些约束"。
仅靠这段"自我提醒"，同一个Qwen3-8B模型在AIME 2025上达到了38.5%，在AIME 2024上达到了49.6%——虽然不如引入DeepSeek-V4的版本，但依然超过了普通GRPO。这说明TREK的核心机制并不依赖于"必须有更强大的外部老师"，让AI在有额外辅助信息的情况下自我探索，同样能发现它平时探索不到的正确路径。
在智能体任务方面，实验选用了两个模拟环境：ALFWorld（一个模拟家庭场景的文字冒险游戏，AI需要完成"把苹果拿到冰箱里"这类任务）和ScienceWorld（一个模拟小学科学实验的环境，AI需要规划并执行多步骤的实验操作）。这类任务特别能体现长链条推理中的探索问题：一旦某个关键动作没想到，后续所有步骤都会失败。
结果同样引人注目。在ALFWorld上，普通GRPO的成功率是75.8%，TREK（使用DeepSeek-V4作为提案来源）将其提升到了82.8%，自我上下文版本也达到了80.4%。在ScienceWorld上，提升幅度更加显著：普通GRPO只达到12.5%，而TREK直接将成功率提升到了26.7%——几乎是两倍多。
六、最惊喜的发现：不只是最终成绩，更快到达终点
研究团队在智能体实验中还发现了一个特别有价值的附加效果，这甚至可能比最终成绩的提升更有实际意义。
回到学生学习的比喻：假设一个班上有两组学生，一组从第一天起就能看到一些经过筛选的正确参考解法（TREK），另一组完全靠自己摸索（普通GRPO）。两组学生都会随着时间推移慢慢进步，而且如果训练时间足够长，普通GRPO组最终也能追上来。但关键问题是：到达同样水平需要多少练习？
实验数据显示，在ALFWorld上，TREK自我上下文版本在训练第20步时，成功率就已经超过了60%；而普通GRPO在同样的时间点还不到50%，大约需要额外5倍的训练步数才能追上。在ScienceWorld上，这个差距从训练第10步开始就持续存在，贯穿整个训练过程。
研究人员特意指出：普通GRPO如果训练足够久（大约到85%的成功率），最终也能达到接近的水平。所以TREK的主要价值不是提高天花板，而是大幅缩短到达同等水平所需的训练时间。在智能体任务里，每一步训练都需要和真实环境交互，成本相当高；能用五分之一的训练时间达到同等水平，在实际应用中意味着巨大的资源节省。
研究团队还对ALFWorld的六种不同子任务进行了细分分析，这个分析直接验证了TREK的核心假设。在普通GRPO基准成功率最低的两种任务类型上（"在光线下检查"基准成功率56.2%，"加热并放置"基准成功率59.5%），TREK带来的提升最大，分别增加了12.6和19.1个百分点。而在本来就已经接近满分的任务上（"拿取并放置"基准91.2%），TREK的影响微乎其微，甚至略有下降（-3.0个百分点，属于统计噪声范围）。这个模式恰恰说明：哪里的探索最困难，TREK的帮助就在哪里最明显。
七、相比其他方法，TREK站在什么位置
理解TREK在技术版图里的位置，需要把它和几类已有方法对比。
此前有一大类方法叫做"在线策略蒸馏"（OPD），它的思路是：与其让AI模仿固定的教师输出，不如让AI先自己生成答案，然后用教师的知识来改善AI对自己答案的评分和反馈。这在中等难度的题目上效果不错，但面对AI根本解不出来的题目时，就遇到了一个死循环——AI没有对的答案可以改善，教师的信号也就无从发挥作用。
还有一类方法叫做"课程学习"，它按照难度顺序安排练习，让AI从简单题目开始，逐步接触更难的题目。TREK和这个思路有相似之处——它同样基于题目难度做决策——但有本质区别：课程学习只是调整练习顺序，并不主动为困难题引入外部的正确解法；TREK则明确地在困难题上触发"外部提案+筛选+短期校准"这个额外机制。
还有一些方法专注于"教师辅助的强化学习更新"，比如在训练过程中把教师模型的信号融入奖励函数或置信度估计。这些方法通常需要访问教师模型的内部参数或概率分布，而且它们关注的是如何更好地利用AI已经到达的解法，而不是如何让AI到达它从未到达过的解法。
TREK在这个版图里占据了一个此前被忽视的位置：专门解决"AI根本到不了正确解法"的问题，同时只需要正确解法的文本输出，不需要任何内部访问权限。
八、方法的局限和未来方向
研究团队对方法的局限相当坦诚。
首先，整个方法的质量依赖于"验证程序"的质量。在数学领域，答案对不对很清楚；在智能体任务里，任务是否成功有明确定义。但如果是开放性的写作任务、创意生成或道德判断，就很难有一个可靠的自动验证程序，TREK的筛选机制也就失去了根基。
其次，那个用来衡量"解法和AI当前思维距离"的指标（修剪后长度归一化负对数似然），虽然在实践中有效，但它其实是个较粗糙的工具：它对答案的长度和表面形式很敏感，不一定能准确反映解题思路的真正相似程度。
第三，TREK在每个训练轮次上的计算量比普通GRPO更大——它需要额外的模型调用、额外的验证，以及额外的筛选和学习步骤。研究团队提出了一个"流水线化"的调度方案，让这些额外工作可以和普通训练并行进行，而不是串行等待，从而缓解这个问题。但整体而言，资源消耗确实更高。
第四，研究团队目前只保留通过验证的正确解法，丢弃了所有失败的尝试。他们也承认，那些没有完全正确但很接近正确的解法，可能同样包含有价值的学习信号——只是对于目前研究中的小规模模型来说，处理这类"近似正确"的解法往往不稳定。随着模型规模的增加，这个限制未来可能会放宽。
研究团队还指出，TREK的基本思路应该可以推广到其他类似GRPO的训练框架，比如DAPO和GSPO——凡是遇到"AI自己采样到正确答案的概率太低"这个瓶颈的地方，原则上都可以用类似的"先校准、后强化"思路来应对。
归根结底，这项研究揭示的问题和提出的解法，都比单纯的"让AI做数学题"要深远得多。它指出了当前最主流的AI训练范式（基于自身采样的强化学习）的一个结构性盲区：AI只能强化它能想到的，而它想不到的部分，无论训练多久都无法突破。TREK提供了一个务实的出口：找到那些卡壳的地方，以最小的代价引入一个"往这个方向看看"的提示，让AI先见过正确路径的模样，再凭自己的力量走上这条路。这个逻辑不仅在AI训练里成立，在任何面临"思维边界"的学习场景里，恐怕都值得细细体味。有兴趣深入研究技术细节的读者，可以通过arXiv编号2607.05339查阅完整论文。
Q&A
Q1：TREK方法中的"前向KL散度"和普通的模仿学习有什么区别？
A：普通的模仿学习让AI尽量模仿老师的整体行为风格，而前向KL散度专门惩罚AI"遗漏"正确解法的情况——也就是说，正确解法里有的东西，AI必须学会，而不只是表面上看起来像。这在AI完全解不出某类题时特别有效，因为它直接强制扩展AI的思维边界，而不是依赖AI已有的解题经验做微调。
Q2：TREK需要外部更强大的模型才能用吗？
A：不一定。TREK的"提案来源"可以是外部更强的模型，但也可以是同一个AI模型在附加了额外辅助信息（比如之前失败经验总结）的情况下再次尝试。实验证明，即使不引入任何外部模型，这种"自我上下文"变体依然能超越普通GRPO训练，只是提升幅度略小于使用外部强模型的版本。
Q3：TREK在哪类任务上效果最好，哪类任务上效果不明显？
A：TREK在AI原本很难靠自己解出来的困难任务上效果最显著，比如竞赛数学题和复杂的多步骤智能体规划任务。相反，在AI原本已经能高频率解对的简单任务上，TREK几乎没有明显效果，因为那些任务根本不存在"思维盲区"的问题。实验中在近乎满分的ALFWorld子任务上，TREK甚至带来了轻微的负波动，说明它的价值完全集中在有探索瓶颈的困难场景里。