大语言模型的上下文窗口正变得越来越大，但”能塞进去”不等于”用得好”。当智能代理需要处理长文档、多轮对话或多工具调用时，不加筛选地将全部上下文喂给模型既浪费 token 又稀释有效信息。一篇来自 MIT 和斯坦福联合团队的最新研究表明，传统的固定检索策略在复杂任务中已不再是最优选择，一种能够感知当前负载的部署感知压缩模型正在改变游戏规则。
固定检索策略的瓶颈：当上下文长度超过阈值
研究团队首先对固定检索策略的瓶颈做了定量分析。他们设计了一套涵盖代码生成、文档问答和多步推理三类场景的 15 项基准，分别测试使用 Top-k、MMR 和 BM25 三种常见固定检索方法在不同上下文长度下的表现。结果显示，当上下文总量低于 8K token 时，固定检索的表现与全上下文输入基本持平；一旦超过 16K token，三种方法的有效信息召回率平均下降 23%，而 token 消耗却增长了 2.7 倍。
更深层的问题出现在多步推理任务中。以”从一份 50 页的技术文档中找到三个特定参数的取值范围并分析其变化趋势”为例，固定检索往往只命中前两步的最相关段落，第三步的上下文依赖由于被早期信息淹没而丢失，导致整体任务正确率仅有 41%。研究团队在论文中指出，固定检索的内在假设是相关性可独立评估，但实际任务常常需要跨段落的联合推理，相关性本身是上下文依赖的。
部署感知模型：按需决定压缩还是保留
针对上述问题，团队提出了一个部署感知的上下文压缩框架。其核心思想是让模型在运行时根据当前任务的负载特征——包括上下文长度、推理复杂度、可用算力等因素——动态选择压缩策略。例如在 token 预算充裕且推理时间敏感的简单问答场景中，模型采用轻度压缩保留全部关键信息；而在 token 预算紧张或多步推理的复杂场景中，则切换到高压缩比的路径，仅保留最关键的推理链。
实验数据显示，部署感知模型在 15 项基准上的平均 token 消耗较最优固定检索策略降低了 44%，同时任务准确率提升了 12.6%。在最具挑战的多步推理任务中，部署感知模型将准确率从 41% 拉升至 73%，近乎翻倍。尤为重要的是，这一框架不需要重新训练基座模型，仅需在推理层附加一个轻量级的选择器模块，参数量不足 50M，现有系统可以低成本兼容升级。
斯坦福大学计算机科学教授 Christopher Manning 评价说：”上下文压缩的核心挑战不是决定删什么，而是判断什么时候需要全貌、什么时候只需看关键路径。部署感知框架抓住了问题的本质。”研究团队在结论中指出，下一阶段的重点是将部署感知框架从离线切换扩展到在线自适应——让模型在运行过程中根据实时的推理反馈持续调整压缩策略，而非仅在任务开始时做一次性选择。这一方向如果实现，将进一步释放智能代理在复杂生产环境中的自主运行效率。
参考：研究论文
