Jedilus 在 最近大火的Laya 与 Jev:我就做了一次本地对比测试 中发帖
Laya 与 Jev:一次本地对比测试
测试于 2026 年 9 月 21 日完成。非专业测试,仅供参考,不代表官方评测或完整的模型排名。
看到 Laya 宣称能以很低的延迟完成分类和判断,我把它部署到本机,与 Jev API 做了一轮对比。主要想看看:它实际快多少,以及速度之外,准确率和稳定性怎么样。
本机使用 RX 6800 XT 16GB,运行 Laya 多语言基础版,约 3.22 亿参数,通过 ROCm 进行 GPU 推理。Jev 使用远程 API,返回版本为 1.13.0。两边都没有针对本次数据做微调或概率校准。
测试采用两个公开数据集:
MASSIVE:中文语音助手场景分类,从 18 个类别中各抽取 30 条,共 540 条。每题提供完整的 18 个候选类别。
XNLI:判断两句话之间是蕴含、中立还是矛盾,每类抽取 200 条,共 600 条。同时用这批句对测试“前...