2026年上下文工程：Towards AI团队实测11种预设，提示缓存让压缩技术失效

近日，Towards AI团队进行了一项针对上下文工程的实测，对比了11种预设配置在开源AI导师上的表现。结果令人意外：最便宜的配置竟然是发送最多token的配置。在召回率、成本和延迟三个维度上，不做任何压缩处理、直接保留完整历史记录的方式，全面击败了所有压缩技术。团队自己的生产默认配置甚至不如直接保留历史记录。这一发现对当前流行的上下文压缩技术提出了严峻挑战。

核心原因在于提示缓存。在测试中，97%的token都命中了缓存，而缓存token在某些API上价格低至50倍。这意味着，压缩上下文虽然减少了token数量，但重写上下文会使缓存失效，反而增加了成本。Louis-François Bouchard指出，摘要可能是一个陷阱，因为它在节省token的同时，牺牲了缓存带来的巨大优势。

Omar Solano详细介绍了他们的架构和首次运行，包括他们构建的知识库浏览工具。该工具在测量后发现，虽然返回的召回率与未压缩时相同，但运行速度却慢了50%。这进一步说明，压缩技术不仅可能不省钱，还可能带来性能损失。

Samridhi Vaid则进一步验证了完整历史的优势：在保留完整历史的情况下，特定细节的召回率达到95%，而摘要后仅为32%。此外，独特事实在长达80万token的上下文中依然清晰，没有出现明显的退化。这表明，在长上下文场景下，完整历史的价值远超预期。

然而，硬件限制会改变答案。在本地32k窗口的限制下，保留全部上下文变得不可能，此时压缩技术成为必要。但值得注意的是，更大的参数规模并不自动带来更大的上下文窗口，这提醒我们在实际应用中需要根据硬件条件权衡。

对于中文AI/科技读者而言，这一研究具有重要启示：在API成本日益降低、缓存机制普遍应用的今天，盲目追求上下文压缩可能适得其反。理解提示缓存的工作原理，合理利用缓存优势，或许比花哨的压缩算法更能提升效率。同时，这也为长上下文应用的设计提供了新思路：在条件允许时，优先考虑完整历史，而非过度压缩。