黯绛 (@amlkiller)推荐的各种端侧LLM模型和用途 中发帖

首先限定一下条件在具有一定算力的端侧设备,搭载了ai优化的硬件。。 
说明一下本地ai的特点, 
TTFT极低,无限制用量,稳定,隐私,具有相当于次时代旗舰模型的智力。 
还有一个我认为更加重要的是丰富的社区模型。 
你想要什么模型都有,应有尽有。 
其实除vibe用途外基本都可以用本地模型来处理。稍微列举下我的用途。 
1.数据清洗 
需要反复迭代、高频调用、处理海量本地文本的自动化脚本跑起来非常合适。什么文档分析,归类,OCR,提取等等,基本都能用一个10B左右的模型来解决。准确率也相当高,由于上面提及的优点,推荐以不同temp生成两次防止模型抽风。 
推荐gemma-12B(更新的知识,能力) qwen-9B(更高的智商) 
2.翻译 
各种本地翻译项目很多了,现在llm的能力之下完全不推荐使用传统的机器翻译,这部分需求算力是溢出的,可以牺牲一部分速度换质量(其实也没差多少基本TTF...
 
 
Back to Top