@cscs 在 未来普通人介入ai开发生态的可能性与猜想,有人一起讨论吗 中发帖
我最近一直在琢磨两件事,第一个是未来是否是大模型公司完全通吃,第二个是现在很多任务要加载太多skill的上下文,有什么办法让ai不加载这些上下文,又能按照我们需要的工作流,思维链去工作。
第一个想法是能不能直接微调出lora权重块,然后直接让云端大模型去调用,但基本不可行,因为现有的云端大模型就没有这个接口,并且按照大模型公司的想通吃的风格,估计以后就算有类似东西,也是作嫁衣。
然后我有了第二个想法,我们能不能用一个0.1-0.5b的本地模型作为基模,然后自己针对各个专项领域做微调lora权重块,过拟合也没关系,反正只专注于我们需要的几个小领域就行,然后类似subagent的形式,让云端大模型调用我们的本地小模型,完成闭环工作。
有没有佬友做过模型开发,或者做过类似方式,大家觉得这种方式现在有没有可行性,以及未来有机会是类似方向吗,我觉得就算这种暂时没有可行性,但是只要有一定未来可行...