@gobert随着opus sol luna的降价,本地端侧模型的世纪骗局快圆不下去了 中发帖

你部署一套设备+运维+电费+人工,总成本估计够买opus/sol订阅额度10年,够luna额度20年,即便为了数据的相对安全,去买国产api,那也够小10年,还要被蒸馏和路由 
要想绝对安全,同时还要全公司爽用v4.1 flash这个体量的模型,不来几个H200 B200 是不现实的,自己算算能买多少年api 
端侧模型这个世纪骗局快圆不下去了,下一步估计是改成吹100M级的开发板/树莓派 边缘模型,但是随着几乎无延迟几乎不要钱的jev的发布,边缘计算这种场景会不会被jev类的判断模型完全覆盖还不好说了
 
 
Back to Top