kor1 在 一个关于量化模型神奇的事儿 中发帖
我这里设计了一个双输入双输出的分割模型(一些特殊识别需求),要部署在 RKNN 平台上。这个模型是基于 mobilenetv3 做为backbone 开发的。
这没什么问题,问题出现在量化上。
因为训练很慢,为了快速验证,我拿第一个epoch 来走流程,去验证模型是否可以部署在 rknn 开发板上。
顺序是: pytorch -> onnx -> rknn
在 onnx 转 rknn 的时候,没有任何错误,理论上,按之前的一些经验,没错误基本上没太大的问题,但是为了验证是否对齐,写了一个onnx 和rknn 的对比脚本,也没什么问题:
热力图对比:
ONNX 范围: [0.2439, 0.5265]
RKNN 范围: [0.2369, 0.5236]
平均误差 (MAE): 0.0055
最大误差: 0.1145
分类概率对比:
ONNX prob: 0.5...