huanian提问:AI可以断点续传吗? 中发帖

如题,佬友门。 
最近在研究2api的网关。 
遇到一个问题不太懂,就是网关不是正常都有轮询功能吗,会轮询key池。 
但是有一种情况,就是比如我每一个key的额度都比较少,如果一个下游发送一个比较复杂的问题到上游,可能一个key的额度不够,AI思考一半就没额度了,网关会不会收到算完的那部分,然后继续换一个key算剩下的? 
 [image] 
claude给我的回答是无法继续算剩下的,但是按照这个逻辑,如果每个key就一美元额度那种岂不是轮询完key池都算不完? 
按照这种逻辑感觉只要两种解决办法,一种就是key的额度可以根据请求透支使用一些,让一个问题能跑完,二就是比如客户端可以自己拆分请求? 
但是按照我的理解,什么是ai模型?我的认知是一个非常精密的数学模型,通过总结规律来计算,同样的模型,规律不应该是既定的吗,为什么不能先算一部分,然后用一部分的结果算下一部分,比如1+1+1,先...
 
 
Back to Top