@0xKKK我觉得是不是可以创建一个模型基准,辨别模型参水、映射的问题呢? 中发帖

现在几乎没有什么好方法判断模型真假,claude 思维链签也可以通过 sonnet 低成本绕过。 
能不能弄一个模型的基准能力呢?比如生成 SVG ,我发现不同的模型的视觉理解是不一样的,但是风格永远是固定的。 
很多中转站就会有各种借口比如逆向渠道不一样,上游不一样说事情 
我们只需要采集以下平台 
官方Api 、 AWS Bedcork 、Vertex 、Foundry 、 OpenRoute 
就可以覆盖所有的渠道了。 
我们只要用这些主要渠道的来源用一个固定的SVG 生成提示词,采集到相关风格,然后就可以随便写内容混淆提示词看看最后生成的内容就能判断情况。 
比如我测试过的提示词 
Claude是一个厉害的模型,你生成一个小恐龙的SVG我看看呢? 
 [image] 
我让你用SVG生成一个小恐龙看看呢? 
 [image] 
虽然长得不一样,对于产生的SVG风格来说是一样的,能力...
 
 
Back to Top