闲云野鹤 (@DiscoveryH2) 在 把小模型调到顺手:经验分享 中发帖
各位佬们晚上好啊,本人最近开始迷恋上了炼丹,虽然过程中屡屡碰壁但也算稍微总结了一点经验所以就想分享一下
1. 先准备什么硬件和系统
最低建议
系统:Linux 或 WSL2
Python:3.10 或 3.11
显卡:NVIDIA
显存:8GB 起步
更实际的建议
8GB 到 12GB:优先 0.5B 到 1.5B 小模型,尽量短序列,必要时走更省显存的配置
12GB 到 24GB:1.5B 到 7B 的 LoRA/QLoRA 基本都能试
24GB+:可以训练更长上下文、更大的 batch,调参空间也大很多
强烈建议
如果你现在是原生 Windows,本地训练不是不行,但坑会更多。
更稳的顺序是:
Linux 服务器
WSL2
最后才是原生 Windows
原因很简单:训练栈大多数先照顾 Linux。
2. ...