琴酒Gin (@ginwineli)佬友们有没有小模型推荐部署玩 中发帖

如题所示,目前手头上有两台实验室闲置的2xK80服务器,佬友们有没有什么推荐的模型可以部着玩玩且有用的? 
因为之前的工作都是用的新核心框架的卡,能直接使用vllm部版本比较新的本地模型,现在换成这种老卡有点抓瞎了。 
两台机器的配置都是图里这样的 
 [image]
 
 
Back to Top