GreatMOLA 在 Artificial Analysis 推出 V5 版本智能指数 中发帖

新增内容： 
➤ FrontierCode 2.0：Cognition 新推出的私有基准测试，针对现实世界的编码任务，根据仓库维护者是否会合并代理的更改进行评分 
➤ Terminal-Bench-Science：70 个代理式科学研究任务，在终端环境中运行 
升级内容： 
➤ HLE-Diamond（取代 Humanity’s Last Exam）：人类最后考试的精炼版，包含 1000 个问题，推理题和知识题各占一半 
➤ AA-Omniscience v1.1：更新后的数据集，移除了饱和和公开集问题，添加了新问题，并修订了模糊或错误的问题 
➤ CritPt v2：CritPt v2 的私有 40 题困难子集，由 CritPt 作者修订，并使用代码执行工具运行 
保留在指数中的内容：AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-...
 
 
Back to Top