最近刷到一个挺抽象的项目： 


25GB 内存，无 GPU，纯 C，硬跑 GLM-5.2 744B。 
这个项目不是把完整模型塞进内存里，而是利用 GLM-5.2 的 MoE 结构。模型总参数虽然有 744B，但每次推理真正激活的只是其中一部分。 
简单理解就是：内存装不下，那就把硬盘也算进推理流程里。 
项目本身是纯 C 写的，没有 Python，没有 GPU 依赖，也没有套一堆框架。核心代码量不算特别大，想看底层推理逻辑的话，比直接啃 vLLM 这种项目轻松不少。 
作者也不是单纯 mmap 一下就完事了，还做了不少优化。 
但是！一个 token 十几秒，一段正常回答可能要跑很久。 
所以这玩意目前基本没什么实用性，拿来日常聊天肯定折磨自己。真想本地用，还是老老实实上小模型或者 GPU。 
但这个项目有意思的点也不在好不好用，而在于它证明了超大模型不一定非得全塞进显存或者内存，也可...