公司主要接入bedrock，openai，Anthropic，Openrouter,火山方舟，deepseek，google vertex，都是通过官渠接入 
主要需求： 

通过key或者认证文件接入后可以在通过自定义key分发
控制key可以使用的模型
调用方式统一
可以看到自定义key的token用量信息，费用信息
最好还可以看到调用请求的日志（请求内容/大模型回复内容）因为是公司内部用

公司已经在用litellm了，没用newAPI是因为统计用量信息太少 
求推荐其他好用的开源平台 
手里还有一个两个月到期的✈，每月800G流量，问题一经采纳，赠送以作感谢 😘