@duoluoluo通过 API 调用以达到无限 thinking 的想法 中发帖

我们知道在调用 API 的时候,如果给了一个比较难的问题,模型可能会思考很久。这时候如果出现了网络波动,亦或是各种其他原因导致思考被中断的话,那这次思考就相当于白费了🤔。 
不过我注意到当如上情况发生时,本次调用是不计费的,但是我们是可以实打实地看到思考内容的,那如果我们把思考内容重新喂给模型,或许能够在一定程度上帮助模型延续上一次中断的思考,并且只有最后一次回答才会计费,大大节省了思考过程中产生的开销。 
下面是我对这个想法的一个实践,首先我把题目告诉 GPT 并让它直接给我代码,然后思考过程在 15 分钟的时候中断了(可能是我这里的原因,因为我之前也有在 15 分钟中断的情况发生),然后我直接把思考内容重新发给 GPT 并让他继续,这一次它只思考了 7 分钟就给出了回答。 
 [image] 
 [image] 
然后下面是两次调用的计费情况,可以看到只有第二次才有开销。 
 [ima...
 
 
Back to Top