闲云野鹤 (@DiscoveryH2)把小模型调到顺手:经验分享 中发帖

各位佬们晚上好啊,本人最近开始迷恋上了炼丹,虽然过程中屡屡碰壁但也算稍微总结了一点经验所以就想分享一下 
1. 先准备什么硬件和系统
最低建议


系统:Linux 或 WSL2 


Python:3.103.11 


显卡:NVIDIA 


显存:8GB 起步 


更实际的建议


8GB 到 12GB:优先 0.5B 到 1.5B 小模型,尽量短序列,必要时走更省显存的配置 


12GB 到 24GB:1.5B 到 7B 的 LoRA/QLoRA 基本都能试 


24GB+:可以训练更长上下文、更大的 batch,调参空间也大很多 


强烈建议
如果你现在是原生 Windows,本地训练不是不行,但坑会更多。 
更稳的顺序是: 


Linux 服务器 


WSL2 


最后才是原生 Windows 


原因很简单:训练栈大多数先照顾 Linux。 

2. ...
 
 
Back to Top