moonheart 在 4070TiS 跑 Qwen3.8-Flash-Next IQ2_XS prefill 2443 t/s，decode 80 t/s 中发帖

配置: 

CPU：Intel Core Ultra 7 265K
GPU：RTX 4070 Ti SUPER，16GB 显存
内存：64GB DDR5 6400
系统：Windows 11 专业版
Strata：0.1.34
模型：Qwen3.8-Flash-Next IQ2_XS
上下文：32K，KV 缓存 INT8
MTP 推测解码开启，--spec 4
图片输入开启





输入长度
Prefill
输入处理耗时
Decode




4,119 tokens
1,490.7 t/s
2.76 秒
77.1 t/s


14,714 tokens
2,443.3 t/s
6.02 秒
85.1 t/s



实际跑起来内存用了 37G, 显存占满, 推理过程中 CPU+GPU 跑满 
"E:\Apps\Strata\.venv\Scripts\python.exe" "E:\Ap...
 
 
Back to Top