Blog
为什么必须先写评测集再写智能体
没有评测集的智能体只能演示，不能上线。评测集先冻结失败样本和通过门槛，智能体才能按同一口径被验收、回归和移交。
最后更新： · 章鱼派 OctopAI
先写评测集解决什么
演示可以靠一次好运。上线要回答：换一批真实工单，它还会做对吗？评测集把「做对」写成可重复跑的样本和门槛。
评测集里该有什么
- 真实历史样本，不是编出来的提示词
- 已知失败案例，尤其是业务不能错的那几类
- 通过门槛：任务成功率、一次通过率、人工接管率
和 demo 的差别
demo 问的是「能不能看一眼」。评测集问的是「这批样本上过不过门」。过不了就停在结论，不把半成品聊天机器人留给客户。
更多定义见 评测驱动交付。
常见问题
- 没有评测集可以先上线再补吗？
- 不可以。上线后再补评测集，等于没有验收口径。章鱼派 OctopAI 的规则是：没有评测集，不允许上线。