meth关于后训练的相关解读以及对于人工智能的一些思考 中发帖

首先,把自己对AI的思考贴出来,方便和各位佬讨论讨论,附件是对论文A Survey on Post-training of Large Language Models 的一些简要版的解读,方便大家快速了解。 
后训练方法综述.pdf (2.6 MB) 
首先就是,如何让模型训练走进寻常百姓家。目前的模型微调还是主要集中在那些大规模的大厂,需要极高的算力,那开源社区在做什么呢?在做skill,做harness工程,做tools,本质上是在为模型搭建身体。但是我们应该形成身体和灵魂的闭环,头脑为身体提供指示,反过来,身体的数据也应该反过来训练大脑 

突然想起来,memory和模型的参数都类似于人类的大脑,但是推理能力让我们可以从不那么宽泛的知识来推导出更多的内容,但是memory更加类似于一个RAG的数据库,我们是否可以打通memory和参数之间的限制,让memory外挂,而让参数学会按需检...
 
 
Back to Top