dfeiwej有没有带安全审计的 llm gateway? 中发帖

需要一个可信的 LLM 网关 ,在每个中转站返回结果后,立即调用便宜的像 DeepSeek API 做 LLM-as-a-Judge。 
搜了下grok,貌似目前没有一个完全现成的 “Octopus + DeepSeek 输出审计” 开源项目。 
当前最现实的路径优先级(考虑你对 LiteLLM 投毒事件的顾虑): 

Portkey AI Gateway —— Guardrails 功能最成熟,支持自定义 LLM Judge,最接近开箱即用。
极简自建 FastAPI 薄代理(推荐给你,目前最可控、攻击面最小)—— 只做路由 + DeepSeek 输出审计,代码量很少。
在现有 Octopus(Go)上加 middleware —— 调用 DeepSeek Judge。
LiteLLM 最新版(1.85++ 严格 Docker + 签名验证 + 自定义 post-call guardr...
 
 
Back to Top