Eic本地部署qwen3.8-27b做代码review 中发帖

因为使用实际代码仓库测试了qwen3.8-27b能力,当时的测试结果是纯代码上比dsv4f差一点,但是整体代码能力比较接近,加上公司有25090就起了本地部署的心思,自己主用cc还有codex和ds,用来做子代理感觉没什么必要,就构建了一个本地专门的代码review循环。 
本地部署使用ninfer部署,因为有一张卡在我用的机器上是都是单卡部署,本机用wsl,而ninfer是5090部署最优选择性能超群,nvfp4格式 + nvfp4 kvcache有382K,harness使用的grok,200k自动压缩,独立部署时开3并发,本机部署因为有windows占用显存开2并发,开高一些并发是因为工具调用、测试这些显卡会闲置,高并发在高上下文时虽然会排队,但是能补上这些工具请求的等待时间,总体能高20%多的decode输出 
ubuntu部署: 
 [1789382924625_d] 
wsl...
 
 
Back to Top