@histore求佬们科普下模型输入输出缓存的知识,看下这个数据是否异常 中发帖

Token 明细: 
输入 Token:67.085 亿 
输出 Token:0.805 亿 
缓存命中 Token:169.675 亿 
主要是编程用,我这种数据是正常的吗 

输入和输出的消耗比   200:1
缓存命中 token 比输入和输出加起来都多
 
 
Back to Top