Agent不是关键！人大AiScientist实现23小时、74轮长程记忆

中国人民大学团队打造的AiScientist旨在解决长程机器学习研究工程的持续性难题。自动化科学研究正在成为人工智能领域最受关注的方向之一。在机器学习场景下已经有越来越多系统能够参与 idea generation、literature synthesis、targeted experimentation、scientific writing 等研究环节。无论是从论文到代码还是从实验到分析AI for Research 的边界都在快速外扩。AiScientist的切入点是在这些已有进展的基础上进一步关注一个更具操作性、也更接近真实科研流程的设定长程ML research engineering。在这一设定下系统不只是完成某一个环节而是要从论文或研究目标出发连续处理环境配置、依赖管理、资源获取、代码实现、实验执行、结果对比、错误归因和反复修复。这里既有局部环节本身的技术难度也有跨阶段持续推进时的系统性挑战。更关键的是这些问题往往不会即时暴露。一个早期决策的偏差可能要到数小时后的实验结果里才会显现而一旦项目状态在多轮推进中丢失后续阶段就很难判断问题究竟来自论文理解、实现细节、数据处理还是基础设施配置。中国人民大学高瓴人工智能学院此次提出的AiScientist正是沿着这条方向试图把AI从「能参与若干研究环节」进一步推进到「能持续接手研究工程流程」。论文https://arxiv.org/pdf/2604.13018仓库https://github.com/AweAI-Team/AiScientist23小时、74轮实验AiScientist在做什么AiScientist最直观的结果来自MLE-Bench Lite的Detecting Insults任务。在这一任务上AiScientist在23小时内自主完成了74轮实验循环将validation AUC从0.903提升到了0.982期间实现了18次best-so-far update。这一结果的意义不只是分数提高了多少更在于它呈现出了一条完整的研究工程链路从读取任务、搭建环境、撰写实现到运行实验、分析偏差、修补系统、再验证结果整个过程并非单次生成而是持续迭代。换句话说AiScientist试图解决的并不是「再做一个更强的代码助手」而是让 AI 在真实科研流程中开始具备持续推进任务的能力。AiScientist在解决什么问题现有不少AI for Research系统已经能在某些研究环节展现出很强能力例如生成代码、总结论文、辅助实验设计甚至完成一整篇论文的撰写。AiScientist聚焦于实验性更强的场景ML research engineering它不是一个单点问题而是一条跨阶段、长时间的连续任务链。系统需要先理解论文和目标设定再处理依赖与资源完成实现运行实验并根据实验输出做归因、修正和继续迭代。其中每一个环节本身都已经足够困难。论文可能是不完整、欠规格化的环境配置与依赖下载常常琐碎而脆弱实验反馈具有明显延迟而且错误原因往往交织在实现、数据、超参与基础设施多个层面。论文也指出这一困难已经在严苛评测中有所体现在 PaperBench 这类高难度从零复现任务上最佳已报告agent仅达到约21%的replication rubric而顶尖ML PhD在48小时预算下可达到41%。这说明长程研究工程的瓶颈并不只是模型能否完成局部推理而是系统能否跨越多个阶段保持状态连续和决策连贯。也就是说长程ML research engineering既包含很多高难度的local problem也要求把这些问题在时间线上顺序串起来、相互校正、持续推进。真正的难点不只是「这一轮会不会推理」而是系统能不能在不同阶段之间保持coherent progress。不只是「多几个Agent」AiScientist 的核心设计理念可以概括为一句话thin control over thick state。在这套系统中顶层Orchestrator负责阶段级控制与任务推进相当于一个轻量的总调度器而真正承载项目记忆的则不是一轮轮对话上下文而是workspace中持续演化的分析、计划、代码、日志与实验记录。换句话说AiScientist并不试图让某一个Agent把所有细节都「记在脑子里」而是让不同角色围绕一个持续更新的项目状态展开协作。顶层控制保持轻量底层状态保持厚实系统因此可以在长程任务中逐步积累而不是反复从头开始。这也是这篇工作的一个重要判断让系统跑长的关键不只是多智能体分工本身而是这些分工能否建立在稳定、可继承的项目状态之上。File-as-Bus是关键AiScientist将这种「项目状态」进一步落实成了File-as-Bus机制。简单理解它不是把文件当作普通附件来存放而是把文件系统本身当作长程协作的底座。论文分析、任务计划、实现代码、实验日志、错误记录和中间结果都被持续写回workspace成为后续阶段可以重新读取和利用的 durable artifacts。这意味着系统不是依赖对话里残留的几句摘要继续工作而是可以围绕真实存在的项目证据来推进下一步决策。对于长程研究工程来说这一点非常重要。因为前一阶段的一个判断可能会在几个小时后才以实验异常的形式暴露出来如果这些中间状态无法被完整保留后续阶段就很难准确归因更难在正确位置做修补。也因此AiScientist的重点并不只是「让多个Agent配合起来」而是让整个系统具备一种更稳定的外部记忆能力。真正需要被传递的不是某一轮的表面结论而是项目在不同阶段里逐步积累下来的状态本身。实验结果在PaperBench上AiScientist相对最佳匹配基线平均提升约10.54 分。这一结果说明它并不只是在某个单独case上有效而是能够在从论文复现到完整工程实现的高难度场景中稳定拉开与现有方法的差距。在MLE-Bench Lite上AiScientist达到了81.82% Any Medal说明它不只擅长「把系统先跑起来」也能在更接近真实竞赛和研究迭代的场景中持续优化结果。更重要的是这种提升并不是简单靠「多交互几轮」堆出来的。论文明确指出More interaction alone is not enough.额外的轮次只有建立在前面正确积累的状态之上才会真正转化为长程能力。否则更多交互反而可能带来更高成本和更多噪声。机制分析进一步说明了这一点。移除File-as-Bus后AiScientist在PaperBench上下降6.41分在MLE-Bench Lite上Any Medal下降31.82个百分点。这表明状态连续性并不是一个「锦上添花」的设计而是长程研究工程里真正影响系统能否持续推进的关键因素之一。与此同时论文也没有把File-as-Bus说成唯一答案。实验同样表明hierarchical orchestration也在性能提升中起到了重要作用。换句话说AiScientist的价值并不来自某一个单独组件而是来自orchestration与state continuity 共同支撑的系统设计。启示如果只看结果AiScientist的贡献似乎只是「分数更高了」。但从论文给出的机制分析来看这项工作的价值其实更立体。第一长程ML research engineering不只是很多local problem的堆叠它本身还是一个更难的 systems problem。论文理解、环境配置、资源下载、代码实现、实验执行、误差诊断这些环节单独拿出来很多都已经是足够困难的技术任务更难的是要把这些环节在长时间跨度里顺序接起来、相互校正、持续推进。也正因为如此决定系统成败的不只是某一步做得好不好而是整个流程能否在跨阶段推进中保持连贯。第二AiScientist的关键不只是用了multi-agent而是把状态连续性做成了系统能力。层级化orchestration当然重要它帮助不同角色聚焦不同阶段但真正让这套组织形式产生复利的是项目状态能否以durable artifact的形式被稳定保存、读取、继承和继续利用。换句话说multi-agent是组织形式状态连续性才是这套系统真正跑长的基础。第三File-as-Bus的价值更多体现在后期refinement而不只是前期搭一个能跑的脚手架。从消融结果看去掉File-as-Bus后系统未必立刻连基础可运行性都失去但在更依赖后期优化和结果逼近的指标上会出现更明显退化。这意味着它真正带来的不只是executability而是fidelity让系统能在多轮诊断、修补、对齐和优化中把每一轮试错都建立在前一轮留下的有效证据之上。为什么这件事值得关注从更大的视角看AiScientist指向的是一个比benchmark分数更值得关注的问题AI能否真正进入科研流程而不只是停留在某一个局部环节。长程ML research engineering既是很多困难local problem的串联也是一个更难的systems problem。每个局部环节都足够复杂而把这些环节接起来、在多轮反馈里保持一致性、让前一轮决策真正服务于后一轮推进则更难。AiScientist给出的一个重要启示是未来的AI科研系统关键不只是模型会不会推理、会不会写代码、会不会调用工具而是能否在长时间跨度里稳定保存、继承并利用项目状态。这也是为什么这项工作值得被放在更广的AI for Research进展中来看。它讨论的不是单步能力的再增强而是 AI 如何真正从「辅助一个环节」走向「接手一条流程」。与此同时团队也在将AiScientist从benchmark中的评测对象逐步推进为真实可用的软件系统。换句话说这项工作并不只是想回答「分数能不能提高」也想回答「AI 能不能真正走进实验、复现、调参和迭代的日常流程里进一步解放实验层面的生产力」。总结AiScientist试图推动的并不只是一个更强的科研Agent而是一种对长程研究工程的新理解在真实科研任务中真正重要的往往不是单次生成得多漂亮而是系统能否在跨阶段、跨轮次、跨文件的任务链中把项目状态稳定存住并据此持续推进。如果这一点成立那么AI进入科研流程的方式也将从「辅助某一步」逐渐走向「接手整条链路」。