@Blackwood416 在 爆改了一顿MiniMind 中发帖

前几天看到qwenputer突发奇想,将“把GDN当模拟硬件用”这个想法融入到了小模型训练当中,把MiniMind爆改了一下搞了一个超级缝合的雷霆架构,除了思路其他具体实现全部由Gemini4 Argon(AI Studio反代)负责,借助Radeon Cloud免费的W7900D(48GB显存),成功训练出来了。跑分如下: 
 [image] 
让Opus 5.5 Medium做了个架构演示,可以看一下: 
 [ov] 
[fw] 
[core] 
▶ 
原始HTML(改后缀)
 
 
Back to Top