for_the_zero (@for-the-zero) 在 哪个端侧小参数模型最好用 中发帖
最近想要找一个端侧的小模型,最高8b,不知道哪个好,特地来问问佬友
小模型的话我就不看编码能力了,主要看看角色扮演、简单任务执行(指令遵循)、在一般硬件上的推理速度等
目前的想法是gemma4-e2b,但是在角色扮演上我感觉不太行