429_TooManyRequests 在 有佬有4080s 32G魔改版本，能试试qwen3.8 27B部署效果咋样的么？ 中发帖

每个会话单路 256K（262,144 Tokens）极限上下文运行 Qwen3.8-27B Q4_K_M + TurboQuant3 




并发路数
总管理上下文 Token 数
总显存占用量
显存水位与状态
单用户吐字速度 (tok/s)
多路聚合总吞吐 (tok/s)




并发 2 路
52.4 万 Tokens
22.8 GB
71%（极度安全）
55 ~ 60
110 ~ 120


并发 4 路
104.8 万 Tokens
27.5 GB
86%（生产推荐黄金档）
45 ~ 50
180 ~ 200


并发 5 路
131.0 万 Tokens
29.8 GB
93%（稳定上限档）
40 ~ 45
200 ~ 220


并发 6 路
157.2 万 Tokens
32.1 GB
98%（物理硬极限）
35 ~ 38
210 ~ 230



帮忙看下上面这个数据靠...
 
 
Back to Top