拾雨 (@c519127) 在 芯展速 AI90 固态硬盘显存化方案亮相：首 Token 延迟缩短至 1/50 中发帖

IT之家 7 月 20 日消息，芯展速 (GenStorAIGE) 在 WAIC 2026 展出了其 AI90 软硬件一体化 AI 推理加速方案。 
 [1fdc5f67-9e1c-4840-884c-673febb4735e] 
其将高性能 SSD 纳入 GPU 显存体系，让 KV Cache 卸载到更大容量的固态硬盘上，形成 HBM + DRAM + SSD 三级存储体系。 
这一方案可将首 Token（词元）延迟从秒级降低至亚秒级，提速 50 倍；吞吐量提升 5.1 倍；显存节省 39%。结合智能 P2P 多卡互联技术，AI90 可让 8 卡 NVIDIA GeForce RTX 5090 集群推理加速可达 5.8 倍、支持 128K+ 上下文。 
 [f140f505-7b49-4f7d-be99-258788a0aec1] 
而为了满足 KV Cache 卸载带来的高写入负载，芯...
 
 
Back to Top