最近参观调研了某国产卡，BS拉满的情况，他们16卡配xx，跑GLM5.3，归一到单卡可以跑到几千TPS，总体>x万TPS，64卡的情况单卡也是几千TPS，总体可以跑到几十万TPS。当时把我惊呆了，因为第一次接触多卡推理，印象里都是单卡几十TPS的速度，当时听到还问是不是总共64卡加起来几千TPS，讲解后才发现确实是单卡几千TPS，因为BS拉到几千了，瞬间我理解了为什么数据中心可以支持几亿人同时推理。 
不能报具体数据，感觉是内部数据，怕报详细了有问题，只是表达一下震惊