又是疲惫的一天 (@sakle) 在 求教：5 台 8 卡 H100，部署几十种开源模型，有什么好的调度方案？ 中发帖

各位佬，想请教一下多机、多模型的部署和调度方案。 
目前手头有 5 台服务器，每台 8 张 H100，共 40 张卡，准备部署 Wan2.2、Qwen-Image 等几十种开源模型，主要覆盖生图、生视频和语音等场景。 
想了解一下，这种场景有没有比较成熟的开源框架或平台，能统一管理模型和调度 GPU 资源？ 
有佬做过类似的部署吗？求推荐一些开源项目或实践方案
 
 
Back to Top