zeusfunkGLM5.2的注意力似乎有点儿【过头】了? 不知道佬们有没有感觉 中发帖

GLM5.2刚出的时候就宣传1M“真”上下文,这几天蹬了4~5亿Tokens吧,发现问题: 
(首先GLM5.2确实Coding挺强)在长上下文的真实工程中, 
 [image] 
到200k作用时仍然能够回归检索最开始的一些内容, 
实际实际体验是在150k左右思考链会变得特别长, 
观察thinking block会发现大量的wait /actually /let me等“左右脑互博”的内容,且经常是于最最开始的内容相关(比如我最开始几轮对话有一个要求它已经实现了,但是它还是会提到该事件)或者一些【关系不大的之前的内容】。这种情况随着上下文越长,越严重,在300k左右的时候,每次思考耗时都超过1分钟多。
 
 
Back to Top