42 (@rs42) 在 Seed团队发现DeepSeek存在性能漂移 中发帖

字节Seed团队最新发布的论文《Periodic Weak Spots》发现，以DeepSeek V4系列为代表的模型，使用压缩稀疏注意力，会导致长上下文时发生性能漂移。 
 [image]
 
 
Back to Top