有感而发，写下本贴，主要是想和各位佬友进行一个本地AI的大讨论。 

事情的起因是在和朋友聊及本地AI时，大部分人的第一反应都是部署成本高，智商低。 


即使大部分人认为本地AI不具备任何实际用途，但也有一部分人热衷于折腾本地部署，包括我。 


这不禁让我有疑问折腾本地部署的人，到底图些什么呢？ 

为了讨论这个问题首先我们先来梳理一下当前本地部署AI的几个大方向的发展情况。 
大语言模型
无论是从早期的llama系列到现在的qwen35基模/gemma4基模系列，还是如deepseekv4f等现今的主流开源模型。本地大语言模型都是本地化AI部署里最关注的一环。 

对于个人部署而言：受限于内存/显存容量，更多的人考虑的还是qwen35/gemma4基模里的各类模型。若选用的模型参数量低如qwen3.5-9b/gemma4-e4b等低存储需求的小模型会出现模型能力不够的问题，而选用相对...