宫廷玉液酒 (@godzilla)【求助】100W搞AI? 中发帖

背景是公司对于数据安全管的很严格,计划完全本地化部署,自购硬件做模型训练和微调。 预算约20万美元,当前初步规划了一台训练塔式工作站 + 一台推理服务器(机架或塔式二选一)。 
主要场景: 


训练:70B参数模型的全量训练 / LoRA微调,利用4卡NVLink显存池化。 


推理:内部AI Agent(知识库问答、设备预测性维护、机器人对话等)。 


下面贴出详细配置,并附上几个纠结的问题,请各位佬指点一二。 

核心疑问(求指教)


CPU瓶颈:Gold 6430 作为数据加载和预处理(NVMe直通)是否够用?尤其训练时4卡A6000全速跑,CPU会不会成为拖累? 


VROC稳定性:用板载M.2 + Intel VROC做RAID 1,实际生产环境可靠吗?有没有踩过坑的佬有相关经验? 


散热与噪音:PX塔式放在普通办公室(非机房),四张A6000满载时风扇噪音能扛得住...
 
 
Back to Top