Veblen 在 最近计划开源一个低秩压缩论文，问问各位佬在本地部署Qwen3.8 27B时的需求 中发帖

[7fad6defe44c9f218374be593f51a424] 
目前看起来50%的低秩压缩可以和FP8几乎无损叠加。在纠结支持低显存预算（24G）下与量化算法结合起来实现激进的压缩，还是追求无损的情况下保守压缩，希望尽可能能被广泛使用。 
p.s. IFBench的分数很奇怪，但是官方模型测了所以这里也测了，分数高主要是因为回答更短
 
 
Back to Top