根据《The Information》的独家爆料，GPT 6采用了一种新的技术“循环深度”。 
这个技术是什么呢？目前大家可以见到的模型，包括claude fable都是依赖显式思维链（CoT），必须将每一步推理都生成为人类可读的文本token。而GPT 6在模型的连续隐藏状态中直接执行多步推理，无需生成任何中间token。 
这次GPT 6更强的智能涌现也来源于此，其模型参数据预测应该是比fable低很多但是却可以达到同等智能，但是今天我们的主题不是这个，而是另一个话题：仅仅预训练一个模型然后用国际旗舰模型的输出数据进行后训练然后sota的时代是不是结束了？ 
首先，我并不批判这种行为，因为这种“蒸馏”行为很多情况是不得不而为之，因为模型公司会因为各种各样的原因导致算力紧缺以及高质量人工标注数据的紧缺，而一个好的后训练能将模型优秀的架构设计所产生的能力释放出来，那么无疑用已经经过市场验证...