have (@planbAbc) 在 【中转站搭建请教】自建模型中转站的方案推荐 中发帖
接话题【付费中转站推荐】做规划请教
【求助】付费的中转站推荐
上一个话题收集了各位佬友的优质付费中转站推荐,真的很感激各位佬友的推荐(太爱L站的氛围了)
**搭建目标:**做一个给公司内和合作公司用的中转站,主要是开发和模型应用会来用到token
**核心追求:**稳定可用,也考虑一定的成本(所以找稳定的付费中转站作为上游)
**风险把控:**风险我们会自己评估,不把敏感数据和业务数据暴露使用在中转站上,只是用它来辅助。重要的内容,我们会通过订阅官方的api或者私有部署开源模型来规避(肯定不给数据泄露的风险,希望各位佬能指教一下)
互联网和站内搜了一下中转站的部署方式,几乎隔段时间就有更新,多种多样。不知道怎么选择了,特此来请教各位佬,望指教(抱拳感谢.jpg)
架构上:
上游:综合上一个话题的付费中转站做模型源,轮询调用,不用维护各个模型的源头问题
中转站:搭建后,公司...