Bunn (@BunnHack)Subquadratic推出全球首个全亚线性大模型SubQ,12万上下文长度 中发帖

AI 创新企业 Subquadratic 正式宣布推出 SubQ 1M-Preview。这是全球首个基于全亚线性(Fully Subquadratic)架构的大语言模型(LLM)。该架构彻底打破了传统 Transformer 模型中计算量随上下文长度呈二次方(Quadratic)增长”的致命瓶颈,实现了计算量随上下文长度的线性增长。 
在长达 1200 万 Token 的研究测试中,SubQ 成功将注意力机制的计算量较当前主流前沿模型降低了近 1000 倍,实现了性能、精度的双重飞跃。 
传统模型由于每个 Token 都需要与其他所有 Token 进行比对,导致算力需求随文本增长呈二次方爆炸。这使得长文本处理极其昂贵且不稳定,迫使行业不得不依赖 RAG(检索增强生成)、分块(Chunking)和复杂的提示词工程等缝补方案。 
SubQ 从底层数学逻辑彻底重构了注意力机制。不仅大幅扩展了上下...
 
 
Back to Top