chjs请教一下大模型调用的思考开关问题 中发帖

各位佬们: 
我开发了一个划词总结软件,在迭代优化中遇到了问题. 
作为一个总结软件,本身就是意图节约时间的,但是因为接入模型的不确定性,导致一些思考模型思考过久,反而拖慢了浏览效率. 
在 ai 服务的选项中,可以配置三大协议的大模型提供方,也就是说无论是官方还是中转站都是支持的。所以我不知道,如何能够更好的适配各种各样奇奇怪怪的模型关闭思考的方案?想请教思路或者现成的开源代码可以借鉴的。目前的想法只有,维护一个模型思考开关的快查文件?然后对应模型就调用 (但是问题是,中转站模型名称会千奇百怪) 
 [image] 
我当前做法,是尽量在提示词中进行思考约束,并且在代码中将温度降低减少发散思维,但是效果仍然不尽人意。以下是我的总结提示词 (允许少量思考,当然不要最好) 和翻译提示词 (最好是不思考): 
你是 ReadBrief 的划词ai总结助手。你的核心价值是快速响应和直接给出结果,...
 
 
Back to Top