bamboo (@liaobamboo)关于未来LLM的缓存会不会非常大,缓存命中会不会非常高? 中发帖

我们知道KV Cache和Prompt/Prefix Caching , 一直在变大,存在内存或存储里,缓存命中,也确实是会变高。 
但是我以为是在重复性的生产方面,缓存才会高命中。 
在真正的非重复性生产方面,比如做原创项目,开发产品,调试产品方面;再比如各个环境不同的agent的各种调用,这些是不是命中缓存会低一点? 
我以为,比如王者荣耀,十几年了那么多局,哪有一局是一样的。 
那么,我的朋友讲的未来cache会很大,大到几乎所有人的99%的input/output都会命中缓存,然后算力需求会急速下降,这个是可能的吗?
 
 
Back to Top