Bunn (@BunnHack)Pokee AI发布全球首个1000万Token上下文AI模型 可在单张GPU本地部署 中发帖

人工智能初创公司Pokee AI于202684日正式发布技术报告,推出旗下大型语言模型Pokee-Isaac 28B。该模型宣称支持高达1000万Token的超长上下文窗口,是目前已公开的同类模型中上下文长度最长的模型之一,并可在单张NVIDIA B200显卡上完成本地部署运行。 
Pokee-Isaac 28B拥有28B参数,采用非纯解码器架构设计。在单张B200显卡上,该模型预填充速度最高可达每秒13.7万Token,解码速度约为每秒335个Token。公司强调,该模型无需依赖云端服务,可直接部署于企业内网(VPC)、本地服务器或终端设备,完全在用户数据边界内运行,从根本上解决了数据主权问题 
 [17858922966328891887470733402942] 
根据技术报告中的基准测试数据,Pokee-Isaac 28B在RULER长文本检索评测中,于256K至1000万To...
 
 
Back to Top