XiNian_dada 在 混元 1.8B 的翻译模型有点说法哟 中发帖

这两天闲的没事干, 又正好发现沉浸式翻译的Bing老抽风, 干脆自己部署小的 AI 模型跑翻译得了 
我的配置是M1Pro 32G, 下了个混元 1.8B, 翻译时输出Token居然能干到 100tok/s, 而且翻译质量看起来还不错 😋 
 [image] 
最重要的是这玩意占用是真低啊, 比Idea都低, 推理时占用也很低 
[image]
 
 
Back to Top