白包 (@FollowOne) 在 GPT实现永久缓存的方法猜测-可能是Tibo的文字游戏炒作 中发帖
今天Tibo宣内codex登录用户永久缓存,API缓存12小时
永久缓存怎么想都不太可能
所以以下是我的脑洞猜测实际情况:
实际缓存只储存12小时,超过12小时的缓存会生成一段类似hash的校验值放到HHD并记录在用户的帐号数据中,原本真正的缓存会删除。
下次用户进行请求时先进行校验,先把codex的上下文生成一个校验值与储存在帐号数据的校验值匹配,校验成功的上下文以缓存的价格/额度进行扣费。
这也是为什么只有登录用户能用,因为从整个数据库匹配要花太多时间和成本,不太可能,但限制到帐号的数据范围就很简单。
因为把超过12小时以上的对话重新拉出来的需求不会太多,成本上也能够负担。
因此所谓永久缓存其实是Tibo把对用户让利写成技术突破的炒作
(纯脑洞猜测)