琴酒Gin (@ginwineli) 在 佬友们有没有小模型推荐部署玩 中发帖
如题所示,目前手头上有两台实验室闲置的2xK80服务器,佬友们有没有什么推荐的模型可以部着玩玩且有用的?
因为之前的工作都是用的新核心框架的卡,能直接使用vllm部版本比较新的本地模型,现在换成这种老卡有点抓瞎了。
两台机器的配置都是图里这样的
[image]