l (@lih) 在 上下文1M的意义大吗? 中发帖
我认为意义不大,因为上下文长了模型就开始流口水。我一般都是在300k的时候进行压缩。luna这种小模型上下文呢都是限制在150k,用满了就新开会话。实际工作中压根就用不到这么长的上下文,对我来说400k就够用了我认为意义不大,因为上下文长了模型就开始流口水。我一般都是在300k的时候进行压缩。luna这种小模型上下文呢都是限制在150k,用满了就新开会话。实际工作中压根就用不到这么长的上下文,对我来说400k就够用了