smyle[快科普] 长对话中,为什么你只回复了"ok",却给你扣了大量token(费用) 中发帖

对很多佬们应该是常识,不过可能还是有小白不知道这点,稍微提一下 
众所周知(是吗?至少常用agent的基本都知道一些吧),大模型是没有状态的,一问一答就结束了,它完全记不住之前发生了什么。而为了让大模型在一次长任务/对话中知道我们当前要干什么,无论网页聊天还是用cc、codex等AI agent,同一个session中 ,每一次你的回复(包括工具调用也算你的回复)都会【完整地】带上你和大模型之间之前对话的所有内容作为输入发过去 
所以,假设你之前跟大模型之间的累计对话内容到0.5M了,现在这一轮,你回复了两个英文字母"ok",虽然感官上你跟大模型像真人一样一来一回聊天,但: 
这一次它不是只计算你"ok"的token,而是算之前0.5M+"ok"的token 
然后下一次你回复呢? 0.5M + “ok” + ok那次的大模型回复 + 这一次你的回复 
而AI公司计费也是这么算的,你哪怕回...
 
 
Back to Top