Comm 在 Colibri Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine 中发帖

看到GitHub - JustVugg/colibri: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦 · GitHub 
消费级电脑能跑744B参数的量化 
这样看感觉是不是大模型主要是训练烧钱，使用上边际成本很低？就像做药品那样
 
 
Back to Top