storyyy (@dafire)minimax highspeed实际速率 中发帖

写了个benchmark想看看实际的速率区别。 
▶ 
测试-1
▶ 
bench代码
▶ 
config.json
2.7-highspeed在代码生成类别速度比文字快一点,而且如果涉及到中文tps就会变低。在设定maxtoken比较小的情况下速度也会打折扣。这个速度比率和价格感觉不如买非极速版了。这个约100TPS就很灵性,主打四舍五入。bench代码的计算不知道对不对,有懂得佬看看。
 
 
Back to Top