mikey (@mikeee) 在 免费kaggle 一键跑Ornith-1.0-9B/35B 及其他模型 中发帖

交互的话可在Widget里选模型。后台跑的话改一下default_model_id 
tps数字大致如下。其他性能没测过。 
deepreinforce-ai/Ornith-1.0-9B-GGUF CPU 3tps
                                    2xT4 31tps
deepreinforce-ai/Ornith-1.0-35B-GGUF CPU 4.5tps
                                    2xT4 40-60tps
 
 
Back to Top