锦衣夜行孙大侠 (@DaiSun) 在 【技术讨论】有点好奇Tiger家的“读取1h缓存,按5m计费”是怎么做到的 中发帖
早上看到帖子
【Tiger永在】全网耐用王、低倍率,读取1h缓存,按5m计费,优质的服务,更实惠的价格!!!
说是能做到1h的缓存读,但缓存写仅按5min收费,那这不是纯纯的大善人!同时也激发了我对技术上的好奇,这是怎么做到的呢?
于是抓了下cc的包,发现无论发什么,tiger的缓存写入都是5min,如下图
[image]
,这就激发了我更大的好奇,如果这个字段的意思是anthropic官方按5min对用户上下文进行缓存,那tiger是怎么做到1h缓存读的呢;还是这个字段有其他意思呢…
如果是前者,也就是说a畜服务器上仅对我的上下文进行了5min缓存,tiger服务器上缓存了1h?但是tiger服务器跟anthropic的响应又没什么关系,所以这个技术上到底是怎么做到的呢,确实有点困惑了