克劳塞支 (@lqf1024) 在 VibeSkills 4.1.0 发布!让Agent真正学会组织Skills—SkillsBench基线测试任务得分+21%,Token消耗 -30% 中发帖
4.0.0版本原贴
4.1.0 版本主要是对路由机制,任务编排机制,Skills索引机制进行了相关优化。
随着大模型的能力越来越增强。在研究过程中我们发现并不是充分使用更多的 skills 才能把事情做好,而是使用少量而精确的skills才能带来更大效益的提升。
本次版本主要集中于此进行优化。为了确保我们能够真的给佬们带来使用的效果提升,我们耗时1个月完成了Skillsbench基线测试的评估实验。 🥰
SkillsBench是一个测试Agent能否有效调用Skills完成工作的基准测试,任务内容是多专业领域的相关难题,检查给模型配上专业Skills后在这些任务上解决的能力提升。
为了模拟在使用环境中面对大量已安装Skills的场景,所以我们将SkillsBench改造成大量Skills共存安装下的测试(把SkillsBench 从每题只提供配套的Skill专业,改造成每题都配...