@MinatoAquin 在 请教佬们本地模型推荐部署什么 中发帖
课题组需要部署一个本地模型,用来将病历文本转换成数据库字段,目前课题组工作站是高u低显,因为之前都是cpu负载的任务,配置是epyc9755+576g内存+亮机卡4070s
目前考虑Qwen3.5 4B,可以完整部署到显存里,但是又担心效果不好。请教佬们,有没有更合适的模型可以部署?