lulutong 在 大家最近本地跑小模型都用啥？Ollama 和 vLLM 差别大吗 中发帖

手头折腾了台机器想在本地跑跑 Qwen 和 DeepSeek 的小尺寸蒸馏版，平时主要写写脚本和做点简单总结。之前一直图省事用 Ollama，听说 vLLM 推理吞吐和显存优化更好一些，但配置好像略折腾。大家日常本地轻度用或者给局域网提供 API，更推荐哪个？多卡或者单卡跑 14B/32B 体验差距大吗？
 
 
Back to Top