ZeusFunk 在 一种较新的量化格式 EXL3 中发帖

之前部署了NVFP4的qwen3.8-27b 感觉精度损失较多 偶发循环思考和错位编码（NVFP4版本，我有个文件夹是xxx/测试/，它一直访问xxx/test/，即使提示后也仍然是访问错位路径） 
最近看到EXL3 声称能在5-6bit效果达到FP8甚至更低的损失（和原生BF16相比） 
 [image] 
然后我本机5090 32g选择的是btw4 + q8kv 上下文拉满262k mtp-3 速度在150tps左右 
体感效果比nvfp4好一些，未出现循环思考 
附： 
 [image] 
【无敌核心】 
 [image]
 
 
Back to Top