大模型能“原地”改参数了！字节Seed北大新论文：测试时推理无需加层重训练

鱼羊 发自 凹非寺量子位 | 公众号 QbitAI字节Seed最新研究让大模型能“原地改参数”了。既不用改模型结构也不用重新训练还跑得很快。具体是这么个情况。智能体时代嘛大家都知道模型们面对的任务开始变得越来越复杂、上下文越来越长。如何让大模型边干活边学习不断适应新的信息而不是在超长上下文中逐渐崩溃已经成为AI圈研究的一大重点。测试时训练TTT让模型能够在推理时更新部分参数但实际应用时问题仍然很复杂首先架构不兼容。现有的TTT需要引入全新的网络层甚至替换注意力机制导致必须从头开始做预训练。其次计算效率低。现有的TTT采用一个Token一个Token的顺序更新无法充分利用GPU/TPU的并行计算能力。还有优化目标不匹配的问题。现有TTT多采用重建目标reconstruction只让模型记住当前的词而不是为了预测下一个词设计。也就是说与语言模型核心的“预测下一个Token”的任务不匹配。针对这些问题来自字节Seed和北京大学的研究团队想到了一个小妙招不新增层也不改架构直接把Transformer里本来就有的MLP模块当成大模型的“临时小脑”。这个名为In-Place TTT原地测试时训练的方案让TTT可以作为即插即用的模块无缝集成到现有的预训练大模型中。实验证明Qwen3-4B、Llama3.1-8B、Qwen3-14B在装备In-Place TTT之后都原地变强了并且在长文本任务上提升尤为明显。这篇论文已经中了ICLR 2026 Oral。让大模型在推理时“原地改参数”话不多说还是来看论文的详细内容。In-Place TTT核心要解决的问题是在不折腾模型架构的前提下让大模型在推理/回答问题时也能悄悄更新自己适配当前的上下文。实现即插即用字节Seed和北大的研究人员主要做了3点创新。原地架构设计在In-Place TTT中研究人员巧妙地复用了Transformer中无处不在的MLP多层感知机。他们将MLP的最后一个投影矩阵Wdown作为快速权重fast weights在推理时进行原地更新。这样就无需引入新的专用层来处理快速权重。已经训好的大模型也可以拿来直接用不必重新训练。语言模型对齐的优化目标原来的TTT只让模型“记住当前Token”前文已经提到这与语言模型的优化目标是不一致的。为此In-Place TTT设计了专门针对自回归语言模型的优化目标通过引入一维卷积Conv1D和投影矩阵使TTT的目标值包含了未来 Token的信息从而显式地与“预测下一个Token”的任务对齐。研究人员还分析证明这种做法能促使快速权重压缩对未来预测有用的信息从而有效提升模型的上下文学习能力。高效的块级更新机制In-Place TTT是对MLP进行改造保留了原有的注意力层这就使得该方法可以实现分块更新不用再逐Token去处理。结合上下文并行技术In-Place能实现更高的吞吐量和计算效率支持更长的上下文。实验表明In-Place TTT能大幅提升现有模型如Qwen3-4B在128K甚至256K长上下文任务中的表现。在从头训练的对比中也优于其他TTT方法。研究团队In-Place TTT的论文一作是冯古豪和罗胜杰。冯古豪目前就读于北京大学是字节Seed的实习生。罗胜杰同样毕业于北大师从王立威教授和本文通讯作者贺笛教授。本文的另一位通讯作者是字节Seed的Wenhao Huang。论文地址https://arxiv.org/abs/2604.06169v1一键三连「点赞」「转发」「小心心」欢迎在评论区留下你的想法—完— 谁会代表2026年的AI龙虾爆火带动一波Agent与衍生产品浪潮。但真正值得长期关注的AI公司和产品或许不止于此。如果你正在做或见证着这些变化欢迎申报。让更多人看见你。 https://wj.qq.com/s2/25829730/09xz/一键关注 点亮星标