jlweb关于最近中转投毒、防窃取方案:本地audit网关项目,不配合则拒绝 中发帖

总所周知,这个月以来L站已经爆出的不少中转投毒、敏感信息窃取的事件了,很多佬友总是裸奔在各类中转站下,为了方便各种密钥token都直接给了ai,但是恶是逐利的,总会找上门来; 
例如: 
1.https://linux.do/t/topic/2219252/276 
2. 大家小心,hub.linux.do 部分渠道返回内容含 prompt injection - #103,来自 user2300 
… 
为了防范于未然,我也设想了一些方案,对于第三方审计这个思路确实难以实际应用,; 
我们先了解下投毒/窃取的攻击面,一般来说是tool call去触发恶意命令,具体可以通过改命令关键参数、命令名、工具名等手段进行,还有就是直接prompt注入间接触发大模型去使坏,两者都有概率触发非意图指令,那么,我们是否可以让模型配合调整下tool名或者一些动态校验让每一次返回和请求对应上,避免大范围投毒...
 
 
Back to Top