@Jayisan 在 云端模型的量化程度在哪里能查到? 中发帖

现在各公司开放的模型,云上只能看到模型名,最多调个思考强度。但按本地部署经验,满精度和 4-bit 以下量化,资源消耗和推理能力差距都很大。 
想问下,有没有哪里能看到这些云端模型的实际量化程度?官方不公开的话,有什么间接判断的方法吗?
 
 
Back to Top