喝假酒的鳄鱼 (@hejiajiudeeyu) 在 企业接入模型 API 时,如何评估供应商稳定性和设计容灾方案? 中发帖
最近在考虑企业业务中接入模型 API,想请教一下佬们怎么评估供应商对企业供应的稳定性,以及如何设计比较稳妥的接入架构。
我现在主要关心几个问题:
供应商稳定性应该怎么评估?
除了价格和模型效果以外,企业接入时应该重点看哪些指标
可用性
平均响应时间
P95 / P99 延迟
错误率
限流策略
高峰期稳定性
故障响应速度
SLA 应该怎么定义?
和供应商约定稳定性指标,哪些条款比较有实际意义
可用性怎么统计
5xx、超时、限流是否计入不可用。特别是网络问题如何划定边界
响应时间过长是否算服务异常
故障恢复时间应该怎么约定
不达标时一般是服务补偿、费用抵扣,还是其他方式
多供应商 fallback 应该怎么做
如果同时接入多个模型 API 或多个供应商,比较合理的容灾方式是什么
目前想到的方案包括:
主备供应商切换
按错误率自动熔断
超时后切换备用模型
按模型...