@lht本地部署大模型求推荐 中发帖

目前搞了个服务器,想部署一个大模型主要用于项目需求和日常聊天和agent,并且希望大模型能够处理pdf和图像。 
服务器参数型号: 
DELL 
CPU:2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ) 
内存:256G 
系统盘:960G SSD固态 
数据盘:8TB 
显卡:RTX4090 48G*2块 
电源:1400W 
但是自己没有本地部署经验,求大佬们给个推荐,部署什么模型什么参数的最好?
 
 
Back to Top