@doremifa 在 关于mistral的DS缓存低的问题 中发帖

在magpie中使用，已经加了prompt_cache_key和x-affinity 
缓存率只有80%左右 
按80%缓存率算，165刀大概能用DSV4.1F1017 24亿左右（各位佬友有什么办法提高cache rate） 
 [magpie-windows-amd64_LxUWSg6S5h]
 
 
Back to Top