iceberg (@iceberglau)最近有点痴迷大模型的本地部署 中发帖

22年初自己组装的电脑,12900k+64G ddr5+3090,当时也算顶配了吧,主要是玩玩游戏,毕竟大模型时代还没到来 🤣 
近两年各种量化开源模型层出不穷,各种安装调试,感觉也就是玩玩,不过最近安装了Qwen3.8 27b,接入pi后,感觉速度、智商、上下文都挺能打了,只要不是特别复杂的任务,完成度都不错,最重要的是本地化那种完全由自己掌控的感觉太爽了,而且还有各种Uncensored版本,所以有些蠢蠢欲动,想搞个专门的AI推理机,有没有志同道合的佬友分享分享经验。
 
 
Back to Top