a12908 在 华为昇腾 0 Day 支持智谱 GLM-5.2 模型,提供全面推理优化 中发帖
[IT之家]6 月 18 日消息,“昇腾 AI 开发者”公众号 6 月 17 日宣布,昇腾 0 Day 支持 GLM-5.2,为编程与长程任务提供全面推理优化。
据官方介绍,目前昇腾 A3 系列产品已经支持 GLM5.2 的单双机以及大 EP 推理部署。针对 GLM5.2 模型的结构特点,昇腾围绕以下几个关键技术开展了高效推理优化:
**MOE 大融合算子:**将专家路由、加权计算与结果归约融合为统一算子,消除中间张量冗余读写,显著提升计算效率。
**通信与计算融合:**通过将 AllReduce 优化为 ReduceScatter 与 AllGather 通信原语,并与矩阵计算形成紧耦合流水线,实现通信延迟的有效隐藏。
**注意力前处理与多 Token 预测优化:**采用注意力前处理融合算子,结合多 Token 预测(MTP)机制的加速,提升单步生成效率。
**...