熊大快跑 (@cuser)云端部署Qwen-3.8-27b 记录 中发帖

配置: 
单卡RTX5880 48G显存 32核心 64G内存 (实际就GPU在干活,cpu单核90+,剩下31个核心动都不动) 
lallm+投机加速 
精度:K16 V16 
参考文章: 分享一下关于部署 qwen27b 的最新成果【配置分享】 
使用效果(双人使用稳定75+tps): 
 [image] 
单人使用稳定110tps 
 [image] 
当然这里也准备了一份搭建文档,供大家学习(文档是ai生成的哈,但是思路是一步一步试错出来的) 
部署教程总结 
有什么不对的地方欢迎指正 
当然鹈鹕测试少不了: 
 [鹈鹕]
 
 
Back to Top