dovelie_z (@zhdovelie) 在 根据kvcache大小预测下国模价格 中发帖

刚才让模型分析了一下 各家开源模型的 KV cache 的规模(120k bf16)。 
发现模型的定价基本上是跟kvcache的大小是高度正相关的。 
鉴于当前ds-v4最新的架构引领，估计新的国模肯定会快速跟进新架构设计，并且大幅降价(80%以上). 
存储芯片的价格可能不太好预测, 虽然cache存储量大幅降低了, 但是用户量+需求量还在井喷增长, 二级市场可能会相对降温. 
 [image] 
[image]
 
 
Back to Top