反常识,微软最新研究:Agent 的“长记忆”可能是毒药

近期,微软研究院发布了一项颇具反直觉色彩的研究成果,聚焦于当前热门的Agent领域。按照常规认知,Agent积累的对话历史越多,其执行任务的能力理应越强。然而,这篇于10月5日发表在arXiv上的论文《Fork-and-Flush: Escaping Idea Basins in Autoresearch Agents》却指出,实际情况可能正好相反:交互时间越长,Agent越容易陷入思维僵局。 针对这一问题,微软提出的解决方案显得简单直接:定期清除聊天记录。

同一Agent,八次运行,结果各异

研究团队关注的是专注于“自动研究”的Agent。其工作流程为:提出方案、进行实验、评估分数,然后根据反馈生成下一个方案。如此循环往复,一次运行可能持续数小时甚至数天。

研究人员让同一Agent在相同任务上独立运行了八次。按照预期,结果应大致相似,但实际最终得分从68.3到100.0不等,中位数为81.9,最佳与最差表现之间相差超过30分。

更令人意外的是,增加计算资源也无济于事。对于那些表现不佳的运行,即便投入大量算力,Agent也只是在原地徘徊,差距几乎无法弥补。

为何会出现这种情况?研究团队将每次运行产生的方案按“功能相似度”绘制成二维地图,发现每次运行的方案都聚集在地图的一小块区域内,自始至终没有显著移动。他们将这种区域命名为“思维盆地”(idea basin)。八次运行分别落入了五个不同的盆地。

这好比一个装修团队,第一天确定了北欧风格,此后选购的每一件家具都向该风格靠拢。即使地中海风格更适合房屋布局,他们也难以想到,因为参考信息已全部锁定在北欧风格上。聊天记录,正是Agent存储的这些“参考图”。

值得注意的是,这些Agent本身具备“自动压缩聊天记录”的机制,当对话过长时会自行总结再继续。但实际测试表明,仅靠压缩摘要,Agent仍无法跳出思维盆地。

微软的解决方案:记忆重置

该方法名为Fork-and-Flush,可译为“分叉并清空”,分为两个步骤。

分叉(Fork): 将Agent复制为多个并行分支,每个分支继承完整的“工作区”,即已编写好的代码、文件和实验结果,所有成果完整保留。

清空(Flush): 每个分支的聊天记录被清零。各分支不再受先前思路影响,仅基于现有资源,重新规划后续策略。

分支运行一段固定时间后,比较各自得分,保留最优者继续运行,其余分支终止。论文中一句关键表述是:新分支必须从这些文件中重新推导出自身意图,这正是它能够落入另一盆地的原因。

研究人员在13个长周期任务上进行了测试,涵盖多连块拼图、车间调度、密码破译、压缩图像分类器及优化VLIW内核等。单次运行时长从数小时到超过一百小时不等,使用的模型为GPT-5.6-terra和GPT-5.5,通过GitHub Copilot的命令行工具调用。

在相同算力预算下,归一化平均得分分别为:单次运行0.47,运行四次取最优结果0.54,而Fork-and-Flush方法达到0.78。换算成相对提升,比单次运行高66.0%,比四次取优高44.4%。在13个任务中,该方法在12个任务上取得了最高平均分,且表现更稳定,标准差从0.26降至0.16。

消融实验也颇具启发性:仅清空聊天记录而不分叉,性能提升约22%;仅分叉而不清空,也有一定提升;但两者结合,效果最为显著。这表明“遗忘”与“多次尝试”各自发挥着不同作用。

最戏剧性的案例出现在拼图任务中。当预算消耗至71%时触发清空,胜出的分支在首次提交时便跨越了43个单位的距离。相比之下,单次运行的Agent在此阶段每步最多移动4.4个单位。这一跃直接使其进入一个全新盆地,最终获得93.9分,而八个单次运行基线的中位数为84.6。另外三个未成功跳出的分支,每步移动不超过1个单位,原地维持原状。

模型再强,此问题或仍存在

有人可能认为,随着模型能力增强,Agent便不会陷入思维僵局。

研究团队使用Qwen3.5的4B、9B、27B三个版本,在可精确调节难度的MAX-3-SAT问题上进行了验证。结果发现,运行之间的差异呈现倒U型曲线:题目过于简单,每次都能正确解答,结果趋同;题目过于困难,每次都无法解答,失败方式也趋同;差异最大的位置,恰好位于模型能力边界附近,大约在“能做对一半”的水平。拟合出的峰值在0.497,基本处于中间位置。

而开放性的研究问题,本质上就处于能力边界上。因此,研究作者判断,随着模型持续变强,这一现象大概率不会消失,只是边界会向更难的问题转移。 定期重置上下文的方法,对未来的前沿模型可能依然有效。

这项研究对从事Agent产品开发的人员提出了一个直接提醒:“上下文即资产”这一默认假设,或许值得重新审视。当积累的记忆超过某个阈值后,可能会反过来限制探索,早期的推理会将Agent锚定在一条并非最优的路径上。本文来自微信公众号“大数据文摘”,36氪经授权发布。值得注意的是,在分析Agent的长期记忆效应时,类似NBA篮板分析中对数据积累与策略调整的权衡逻辑,也能为理解这一现象提供参考。

分类

  • 内线对抗分析(0
  • 二次进攻战术(1
  • 防守篮板保护(1
  • 卡位技巧(05)
  • 轮换策略(10)
  • 攻防转换(09)

归档

  • 2024年3月
  • 2024年2月
  • 2024年1月
  • 2023年12月
  • 2023年11月

近期文章

  • 内线对抗决定篮板归属 2024年3月15日
  • 免费篮板分析模板 2024年3月10日

数据洞察周期

新用户免费获取深度报告

选择您关注的球队与比赛,立即获取分析

NBA篮板分析值得信赖的伙伴电话:+86 158 5432 1232邮箱:[email protected]上海市浦东新区张江路518号