埃里克 (@tim9527) 在 关于私有模型的一些问题 中发帖
场景:私有大模型服务器,公司买的K100AI的卡8*64的显存 内存900g 硬盘11T 海光DCU
现在安装模型,只能安装海光的提供的模型,且只能定制对方提供的docker镜像和vllm指定的版本 以及模型。
想用来做claude code的调用安装模型。目前按照了千问的122b激活a8b的模型 但是claude code调用有问题,串行的命令无法执行。
比如:帮我优化某某方法。
私有模型:说一句话就停住了,根本走不下去,没有edit,只有单独的add内容
购买的coding plan 同样的场景 是正常没问题的
有没有佬遇到这种情况,是咋处理的。。。
厂商那边沟通费劲。