mumu (@yanmumu)做过Dify/RAG/Agent项目的佬友,你们上线前怎么验收? 中发帖

发帖前搜索过“Dify评测”“Agent验收”和“RAG评测”,相关结果大多是课程、资源、求职或具体项目介绍,暂时没找到集中讨论个人开发者和小团队实际交付验收流程的帖子,所以新开一帖请教。 
最近在了解一个问题:现在用Dify、n8n或其他框架搭建知识库、AI客服和Agent已经比较快了,但真正交付或上线之前,大家一般怎么判断它“可以用了”? 
我查了一些现有方案,LangSmith、Langfuse、阿里云百炼、腾讯云等都已经提供评测能力,不过不太清楚个人开发者和小团队实际交付时是否会使用,所以想请教有真实经验的佬友: 

你做过哪类知识库、客服或Agent项目?
上线前是人工问几遍,还是会准备专门的测试集?
最容易出现什么问题:幻觉、知识库没召回、工具调用错误、格式错误,还是多轮对话跑偏?
如果是给客户交付,客户会要求提供什么验收结果?
现有平台的评测功能够用吗?最缺的是什么?

目前...
 
 
Back to Top