黯绛 (@amlkiller)BOSS决定自建数据中心提供api服务,有没有搞头? 中发帖

从 准备开一个长期中转站。在社区开有什么需要处理的问题? 继续讨论: 
还是因为A\改政策了,和boss聊了后,一致认为无论openai等国外模型厂改政策导致无法使用都是难以接受的,于是决定自建数据中心,原本以为预算不过几个w,没想到跟我说预算100w以内。 
🫪 🫪 🫪 
自建数据中心好处是一次性投入,还有灵活性。 
聊了几个路径: 

提供超高并发的LLM翻译api,使用gemma4等高能力小模型或者特调模型api。
由客户选择模型,提供自定义模型的api,如酒馆用的模型。
垂直领域的模型推理服务。
低价的 agent api

佬友们觉得怎么样?
 
 
Back to Top