Hello (@RenQirui)我感觉我好像是本地小模型 中发帖

我感觉我好像是本地小模型 
特点如下: 

参数量极小:可能是2B
训练集极小:甚至大部分都是污染数据

关注 
-预训练轮数少:通常不收敛 
-上下文极小:不超过500字 
- 注意力:是稀疏的 
- 联网搜索:是不会的 
- 思维链:是没有的 
- 输出:不是幻觉就是过拟合
 
 
Back to Top