llliiilll (@ZoroAster) 在 Qwen3.8-27B部署讨论 中发帖
目前在A100上部署的bf16的qwen3.8-27b,多模态效果比较惊艳,coding感觉没有aa给的52分那么高,但速度实在是太慢了,才70+/s,用sglang部署的(vllm缓存命中有坑)。
问题:
1、因为机器比较老所以没按照官方推荐配置mamba之类的,有效果影响吗?
2、看到有些版本有dspark,不知道大佬们有无测试效果?速度提升多少?效果降低多少?
期待同部署了未量化的Qwen3.8-27B的朋友一起讨论。