Nick Hugo (@guanhuhao)为什么Jev会引爆市场?从“人机交互原理”理解“LLM永远的痛”! 中发帖

915 日,前 OpenAI 研究员 Diogo Almeida 发布了 Jev。几天内获得 3000 万次浏览,上万条讨论随之出现,这个看似简单的“超级分类器”突然成了 AI 圈最热门的话题之一。 

Jev框架的设计直接颠覆传统LLM的思维定势,当别家模型还在卷谁的思维链更长,推理能力更强,能推多少数学定理的时候,Jev直接开辟一条新的赛道说: 

天下武功唯快不破,管你这那的,你就说快不快吧! 

想要了解为什么Jev会在短时间迅速引爆市场,我们需要了解传统LLM永远的痛 —— 实时性。 

前言、传统模型的速度指标
对于传统文本生成式的模型来说延迟主要指的是两个指标 TTFT(首字延迟) 以及 生成速率(Tok / s)。 
首字延迟评价的是响应速度:即LLM收到请求后输出第一个token所需的时间,这个时间通常需要 1~2s,如果开启思考模式甚至需要30s以上, 1s内算...
 
 
Back to Top