@bwylbt部署gemma-4-E4B-it 和 31B Q4量化 测试测试 中发帖

【Wiki】语言模型区分题库:从文本到多模态 - 文档共建 / 文档共建, Lv1 - LINUX DO 
简单测下Gemma4-31b-it - 搞七捻三 - LINUX DO 
这个有佬测过就不测了,只是这次部署的是Q4量化版本的31B 
起因是 
有点无聊,本地部署llama.cpp测试一下Gemma4,其实是灵豆到期了ahhh~领的200灵豆到期了,然后每天签到送10,有效期3个月。 
硬件配置:RTX5880 48G 

gemma-4-E4B-it-Q4_K_M 速度 120 t/s
gemma-4-31B-it-Q4_K_M 速度 28-30 t/s

 [image] 
均为Q4量化 
总结:E4B 简单看看得了 
没放的 就是还没测(bushi) 
而且 31B思考 需要 很长很长 的时间 是E4B的 五到十倍 token~~详细看图吧 
目前来看31B还是挺强的~...
 
 
Back to Top