喝假酒的鳄鱼 (@hejiajiudeeyu)企业接入模型 API 时,如何评估供应商稳定性和设计容灾方案? 中发帖

最近在考虑企业业务中接入模型 API,想请教一下佬们怎么评估供应商对企业供应的稳定性,以及如何设计比较稳妥的接入架构。 
我现在主要关心几个问题: 

供应商稳定性应该怎么评估?

除了价格和模型效果以外,企业接入时应该重点看哪些指标 

可用性
平均响应时间
P95 / P99 延迟
错误率
限流策略
高峰期稳定性
故障响应速度


SLA 应该怎么定义?

和供应商约定稳定性指标,哪些条款比较有实际意义 

可用性怎么统计
5xx、超时、限流是否计入不可用。特别是网络问题如何划定边界
响应时间过长是否算服务异常
故障恢复时间应该怎么约定
不达标时一般是服务补偿、费用抵扣,还是其他方式


多供应商 fallback 应该怎么做

如果同时接入多个模型 API 或多个供应商,比较合理的容灾方式是什么 
目前想到的方案包括: 

主备供应商切换
按错误率自动熔断
超时后切换备用模型
按模型...
 
 
Back to Top