https://linux.do 论坛的话题更新通知频道。
老鸽 (@olddove) 在 【模型训练】MoE相关知识点汇总与讲解(上) 中发帖
引言
在写了之前那篇KL散度的文章之后受到了许多佬友的鼓励！深受感动，果然来L站是正确的选择(，今天给大家带来的是MoE相关知识点，其在Transformer中有着相当重要的地位。但是发现很多初学者(包括我)只知道MoE的基本概念:不让所有参数每次都工作，把模型分成很多“专家”，每次输入只激活其中一小部分专家。但是对于MoE背后的专家选择机制(路由)及变体，负载均衡，容量相关机制都不太深入了解，甚至连MoE在模型训练中所处的位置都不知道(好吧就是我)。因此这边写一篇文章来详细讲解下MoE背后更深层次的知识点。
关于KL散度那篇，我这边目前遇到了些问题，稍微鸽一下(，私密马赛
MoE基本定义
MoE是什么，在哪？
就像我开头所说的，一些初学者甚至不知道MoE在模型训练中所处的位置。在llm中，它通常放在 Transformer block 的前馈网络 FFN 位置。换句话说，MoE就是更...shungli 在 火山codingplan 速速帮我蹬完 中发帖
平时根本不用火山的coding，马上要考核期了配的codingplan蹬不完扣绩效，佬们帮帮忙，火山的codingplan，下面是key：
ark-444a77ce-29e1-4334-94c4-ab8dc020d4f0-404e4@1KAROS 在 不知不觉其实现在生活成本很高的 只不过不用现钱无法察觉到 中发帖
前几天搬出来住，想着先把家里缺的东西补一下，就去超市买了洗衣液、纸巾、垃圾袋，还有一些乱七八糟的小东西。
逛的时候感觉每样都没多少钱，十几块、二十几块的，拿着也没什么感觉。结果结账的时候一百多，我还愣了一下，回头看购物车里也没买什么值钱的东西。
以前在家这些东西一直都有，用完了过几天又会出现，根本没想过是谁买的，也不知道要花多少钱。现在自己买一次才发现，生活里最花钱的好像不是买什么大件，而是这些看起来不起眼、又不得不买的东西。
才住了没几天，我已经开始不敢随便逛超市了。@xixiv5 在 v4正式版进步好快。。。 中发帖
上次deepseekv4发布时在web端做了一个测试，让它解码一个复杂字符串，结果2分多钟都没解出来，这次用同样的问题测了一下，光速解出来了，答案也完全正确 😋
小男梁总算掏出真正的大赢鲸了 😋
[image]
原贴：@kc_mahomes 在 佬友们，生活有点无趣，不知道方向？ 中发帖
佬们，本人情况有点特殊，不知道人生规划上下一步要做什么？
工作方面：工作了10几年了，按顺序做过游戏开发、独立游戏开发、开淘宝店、项目经理、系统开发、AI应用开发。什么工作都没做很久，都是1-2年左右，就是感觉一直做一个事情很无趣。工作上一事无成，目前在南昌，工资也就1万出头，但是不算忙，正常上下班。
生活方面：目前34岁，有一个老妈，身体不太好，要照顾下。只谈过两段恋爱，目前还在单着，不是不想结婚，感觉自身条件不好也找不到理想的对象，而且是江西，各种原因不如单着（老妈也不会管我结不结婚，没什么长辈的压力）。
现在问题是：不知道未来怎么办，现在考虑就是一边工作一边考公，先不谈能不能考进去，就算考进去了也不一定就比现在的生活好。有点迷茫，佬们给点建议。沐川 (@mchuan) 在 有没有 ps4虐杀原型的光盘 我想收一个 中发帖
还记得原来去网吧，还有自己电脑上玩的都是盗版的
现在好不容易有一台游戏机了 想玩一下正版 但是我看咸鱼上都没有出手的（或者贼贵）所以想问一下还有没有其他的渠道可以买到hzj774759850 在 佬友们在等大赢鲸的官方harness时，可以选择用cc的2.1.89版本尝鲜 中发帖
以下是对比图，来源都是cc-switch的统计
最新版cc
[图片]
2.1.89版cc
[图片]
正好这个版本也不是高风险版本@Zhaooo 在 opencode刚刚光速改了deepseek-v4-flash的访问权限 中发帖
就在刚刚opencode提示
failed to stream request: Request failed: Forbidden, error: The latest version of this model is only available hosted in China and requires explicit opt in: OpenAuth, type: RegionError
我去网站上一看，发现多了这么一个开关，如果不打开就不能使用deepseek。
[image]夜幕里流星 (@xinchen2003) 在 梁圣v5啊，拯救了钱包 中发帖
flash初步试试着还不错，等pro出来看看能否起飞把。本来看着国模一天比一天贵的离谱，愁自己每个月私房钱越来越少，梁圣一出来，那种拯救钱包的感觉真不一样。顺便感慨下：梁圣的思想高度和商人就是不一样LI (@shisan1231) 在 opencode-go中的dsv4flash是正式版吗 中发帖
兄弟们我测了一下，opencode-go中的v4flash应该还是预览版。看了一下思维链，还是经典的let me而不是 I’m ，你们测了吗？xiaokul 在 这段时间GROK4.5降智了 中发帖
这段时间 七月底为什么GROK4.5降智这么厉害啊，成事不足败事有余这样子，没修复说已经修复了，骂人还厉害。
[IMG_20260731_163904_720]
[Image_1785484906398_159]
[IMG_20260730_014529_673]