这几天在研究本地部署大模型，很是好奇怎么判断一个显卡能不能运行大语言模型（LLM，以下简称 LLM），如果能的话，怎么判断能运行多大的模型，吐字速度有多快？这个问题也可以等价为：显卡的技术参数到底代表了什么？花了点时间和查找了资料，有了这篇文章。这篇文章纯手打，也是现学现卖，如有错漏，欢迎指正。 
技术指标：显存、显存带宽和算力
简单来说，一个显卡重要的参数就三个：显存、显存带宽和算力。 
算力
算力比较好理解，一般用每秒能运行多少次运算来衡量一个显卡的算力。常用的算力单位有 TOPS（每秒能够进行多少万亿次操作）和 FLOPS（每秒能够进行多少万亿次浮点运算），比如下图的 Jetson Orin Nano 系列： 
 [图片.png] 
这里面的 8GB 型号的 67 TOPS，是指其最高可达到 67 TOPS 的 INT8 AI 性能。需要注意的是，TOPS / FLOPS 通常是理论...