@voideluyi 在 求助：有没有人在MI50（gfx906）上成功跑通 MiniMax-H3？ 中发帖

最近想尝试在 AMD MI50 16GB（gfx906）上部署 MiniMax-H3，目前还没有跑通，想问问论坛里有没有成功案例。 
之前尝试过 INT8 量化路线，但运行到 PyTorch 的 torch._int_mm 时会进入 hipBLASLt。gfx906 缺少对应支持，最后报类似错误： 
rocblaslt error: Cannot read TensileLibrary_lazy_gfx906.dat
RuntimeError: HIPBLAS_STATUS_INVALID_VALUE

换了几个gguf的也因为oom等问题没成功，有没有跑通的分享个经验
 
 
Back to Top