@NukaColaM 在 Bonsai+kvmem可以在4060 mobile上跑128K上下文跑出约40t/s的速度 中发帖
参考kvmem官方发布的[Bonsai 2 prism.3 — Experimental]版本及其说明。
本机配置为7945HX + 4060 mobile，8G显存，32G内存。
具体模型效果不做详评，但在我的应用场景中，已经可用。
实际运行效果
5.49.621.948 I slot prompt eval time = 6097.37 ms / 1543 tokens ( 253.06 tokens per second), cache = 0
5.49.621.952 I slot eval time = 252377.37 ms / 10240 tokens ( 40.57 tokens per second)
5.49.621.953 I slot total time = 258474.73 ms / 11783...