moyu (@moyu123) 在 学了很多 AI ,触发压缩存档:聊聊 AI 的上下文空间 中发帖
[image (1)]
(Claude code 的上下文窗口内容分布)
故事的开始,要从这个图来说起,这可能是 Claude 最近分享中,非常核心的核心了,实在没忍住,就写一些吧。
这张图背后的信息量极大,背后对应着一条 AI 工程化时的主线命题:高效使用上下文窗口(当然也可以看出 Claude code 的主要核心架构)。
先从问题开始:为什么上下文空间高效利用如此重要,主流模型不是都在扩大上下文窗口吗?从64k➡到128k➡再到最近 Claude 的 1M ,我选择最大的窗口不就好了。
为什么:要高效利用上下文窗口
如果纯依赖模型窗口去做架构设计,大概率遇到现实和 AI 的两道坎:
现实 Context 永远都是超出上下文窗口的:要想获得好的输出,就要提供更好更多的 context 。欲望总是无限的,无数人都想把自己全部的 context “喂”给模型。
大模型的...