@logan22 在 DeepSeek开源了大规模云服务推理框架 DeepInfer 中发帖
知乎-DeepSeek V4.1 Flash 大规模推理部署实践
此前,我们已开源用于开发高性能算子的 TileLang 以及一系列推理算子库。今天,我们正式开源大规模云服务推理框架 DeepInfer。 基于这一框架,我们已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。目前单一集群的服务吞吐是 155 万亿 Tokens/天,整体收入是每卡每小时 38 美金(按谷价)
源神DeepSeek真是什么都开源啊,收入也开源
每卡38美元(梁文谷!),怪不得现在计算卡涨上天了