BA nana (@Henry_He) 在 分享 AI 时代的思维框架 中发帖
先说背景,某互联网金融大厂,参与预测模型的训练,现负责 FDE 团队,说背景是不想花很多功夫证明自己技术能力(好像也没有啥技术能力)
分享实操过程中我个人基于经验构建的思维框架,不是正经的学术讨论,各位当小说看就好了,也好完善自己的思考体系来指导实际工程架构的搭建,科研佬手下留情
19 世纪中后期麦克斯韦和玻尔兹曼共同提出玻尔兹曼分布,引入概率统计的方法来解释热力学现象,奠定了统计力学基础。
1985 年 Hinton 引入统计力学的玻尔兹曼分布来构建神经网络概率,发明了玻尔兹曼机 [^2] 并因此获得诺贝尔奖。
1989 年,John Bridle 正式定义 Softmax 函数并将其应用于深度学习解决概率分布。
Transformer 架构将 Softmax 作为注意力机制核心。
Transformer Softmax:将一个向量(通常是模型输出的未归一化得分/Logi...