daben (@daben2010)本地部署AI大模型求教【35万预算配置】 中发帖

服务器配置: 

CPU:Intel Xeon Platinum 8368 38C 2.4GHz ×2
内存:DDR4 3200 64G RDIMM ×8
系统盘:480G SATA SSD ×2(RAID1)
热数据盘:3.84T U.2 NVME SSD(直通)
冷数据盘:8T SATA HDD ×3(RAID5)
硬盘控制器:LSI 9560‑8i 4G RAID卡+超级电容
GPU:NVIDIA RTX 4090 24G双宽涡轮显卡 ×8
网卡:双口1G RJ45网卡+双口25G网卡(含模块)
电源:2000W电源模块×4

各位佬,公司是制造业,最近一年多在弄智能化,然后也想顺便本地部署大模型,折腾了三四个月,现在已经确定了上面的配置,端午开工后就到货了。 
他们也没有想好具体要弄哪些东西,现在也比较懵,需求就是没那么清晰,大致就是需要员工可以本地用聊天AI,能有类似“阿里百炼”...
 
 
Back to Top