zeroqin求推荐本地Ai模型部署推荐以及部署模式推荐 中发帖

现有环境 9950 64g GPU:pro6000 96g满血版 
现有个人需求:龙虾以及小型api任务 包括但不限于翻译 编程 对话等 后续可能会有微调小模型的需求(玩/学) 
目前了解到比较合适的模型:Qwen 3.6 27B 以及glm等开源模型 
想求问两个问题 
1.推荐部署的模型 
2.推荐的部署方式(可能会有gui切换实时模型的需求)
 
 
Back to Top