Kenneth (@KennethCC) 在 Anthropic 借助 Claude,用 Rust 重写服务 API,CPU 用量降四至五成 中发帖

Anthropic 的 Messages API 最初是跑在单一 GCP 区域的 Python 单体服务。随着流量增长,CPU(而非 GPU)成为瓶颈。团队决定整体迁移到 Rust,尽管起步时“会议室里一个 Rust 开发者都没有” 
工程师负责系统设计和验证,Claude 负责代码实现。团队通过对照新旧系统的输出来验证迁移结果。迁移后 CPU 用量降低约 40% 至 50%,首个 token 的响应时间缩短约 10% 至 20%。
 
 
Back to Top