Galaxy Hs感觉模型的智能程度的决定因素最本质的还是算力 中发帖

想必大家也有发现最近sol非常不聪明啊,是因为他把算力拿去搞gpt6了 
事实上好像每次发布新模型都是这样,新模型刚发布牛的一批,过一段时间开始流口水,下次发布一切全是口水了 
不知道各位还记不记得gpt5啊,毫不夸张地说5.0刚发布的时候绝对不比今天的sol难用 
但一段时间后感觉就像是推理从bf16变成int4了 
这个带来的差距,我的感觉远远大于这几个版本的更新 
还有juice值也是降了又降 
越来越感觉决定智能最本质的因素还是算力啊 
算力给够的话qwen27b这种dense模型他也很聪明 
我甚至有感觉llm领域大多数优化都是算力不够的妥协,如mtp、量化、moe、注意力机制什么的,都是降低推理成本的工作,可是一旦用了模型只能就会降低一档 
如果不考虑这些东西,在进步的就是数据和scale了。数据质量确实是进步的一大原因,但scale的本质还是算力的提升 
其他方面考虑的东西,...
 
 
Back to Top