@lht 在 本地部署大模型求推荐 中发帖
目前搞了个服务器,想部署一个大模型主要用于项目需求和日常聊天和agent,并且希望大模型能够处理pdf和图像。
服务器参数型号:
DELL
CPU:2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ)
内存:256G
系统盘:960G SSD固态
数据盘:8TB
显卡:RTX4090 48G*2块
电源:1400W
但是自己没有本地部署经验,求大佬们给个推荐,部署什么模型什么参数的最好?