812011525 在 8g显存16g内存部署Ternary-Bonsai-2-27B 中发帖

8g显存16g内存部署Ternary-Bonsai-2-27B 用KVMem-llama.cpp 可以开128k上下文 22tok/s 感觉是最优解了
 
 
Back to Top