l (@lih) 在 源神：AI一定要普惠！ 中发帖
deepseek开源DeepInfer推理框架。根据披露的信息，基于这个推理框架，deepseek-v4.1-flash单集群吞吐量能达到每天155万亿token，缓存最多能保留72h。关键是这个推理框架能降低dsv4.1flash的部署成本，有助于ai普惠。源神伟大