埃里克 (@tim9527)关于私有模型的一些问题 中发帖

场景:私有大模型服务器,公司买的K100AI的卡8*64的显存 内存900g 硬盘11T 海光DCU 
现在安装模型,只能安装海光的提供的模型,且只能定制对方提供的docker镜像和vllm指定的版本 以及模型。 
想用来做claude code的调用安装模型。目前按照了千问的122b激活a8b的模型 但是claude code调用有问题,串行的命令无法执行。 
比如:帮我优化某某方法。 
私有模型:说一句话就停住了,根本走不下去,没有edit,只有单独的add内容 
购买的coding plan 同样的场景 是正常没问题的 
有没有佬遇到这种情况,是咋处理的。。。 
厂商那边沟通费劲。
 
 
Back to Top