Y.Z.Wu (@kkskkwn) 在 想询问佬们一个大模型本地部署相关的技术问题 中发帖
kimi-k3开源了,是2.7T参数激活参数104b的大模型
想问问专业人士,如果真的要本地部署这个模型,大概需要什么样的设备?多大的显存和内存?
稠密模型我记得得把整个模型置入显存,moe专家模型好像有其他办法,可以只将常用的激活参数读入.但是具体情况我完全不了解.kvchache需要的显存,最终模型的吞吐速度大概会是多少?
求专业的佬友解答,感谢!