月亮大大滴 (@lightchan) 在 有没有自建AI推理服务器的佬,150w买什么样的服务器合适? 中发帖
公司领导给批了150w的额度去买服务器,打算建一个AI服务专门用于处理公司内部事物。他的想法是能跑多大的模型就跑多大的模型,保证数据不泄露。我看了一下,这150w很难配,要不就配两台RTX Pro 6000D 84g的服务器,但是这无法串起来跑如GLM5.2,Kimi k3这样的模型。买一台吧,又不够钱买H20这样服务器。
我也考虑国产,华为910C应该是勉强能买到,但是他又不支持CUDA生态,然后跑不了原生FP4的模型,最新的昇腾950支持cuda生态,不过现在都还未正式大量上市,更买不到了。其他的只了解过阿里的,他们报价更高,也不够钱买。。。。
现在就挺尴尬的,我的想法也是最好只买一台,显存越大越好,宁可慢一点都比跑不动强,佬们有这方面的经验么?请佬们指导一下我