Kevin (@lmn741)关于AI的云端API和 本地模型的产品实现问题,有佬给点意见吗 中发帖

由于我的某个产品对于AI模型的能力要求不高,小尺寸的端侧模型也能满足用户需求,并且端侧模型反应更快,我现在遇到了2个问题: 
1、我下载的几个端侧模型是 1G   3G 等尺寸的,我该如何实现这个流程,是给一个下载按钮让用户 去 hf下载,还是直接打包成巨型客户端,下载我已经做好了,需要一定得时间。。反之,云端模型需要支付API费用,并且云端API受网络波动的影响 
2、之前云端模型是(API费用+其他成本)*系数收费,端侧模型的话,是按月 还是按年,还是终生使用收费 
有没有使用端侧小模型做产品的佬,成熟的产品流程该如何设计
 
 
Back to Top