@bwylbt 在 部署gemma-4-E4B-it 和 31B Q4量化 测试测试 中发帖
【Wiki】语言模型区分题库:从文本到多模态 - 文档共建 / 文档共建, Lv1 - LINUX DO
简单测下Gemma4-31b-it - 搞七捻三 - LINUX DO
这个有佬测过就不测了,只是这次部署的是Q4量化版本的31B
起因是
有点无聊,本地部署llama.cpp测试一下Gemma4,其实是灵豆到期了ahhh~领的200灵豆到期了,然后每天签到送10,有效期3个月。
硬件配置:RTX5880 48G
gemma-4-E4B-it-Q4_K_M 速度 120 t/s
gemma-4-31B-it-Q4_K_M 速度 28-30 t/s
[image]
均为Q4量化
总结:E4B 简单看看得了
没放的 就是还没测(bushi)
而且 31B思考 需要 很长很长 的时间 是E4B的 五到十倍 token~~详细看图吧
目前来看31B还是挺强的~
▶
...