# 为什么必须先写评测集再写智能体

没有评测集的智能体只能演示，不能上线。评测集先冻结失败样本和通过门槛，智能体才能按同一口径被验收、回归和移交。

## 先写评测集解决什么

演示可以靠一次好运。上线要回答：换一批真实工单，它还会做对吗？评测集把「做对」写成可重复跑的样本和门槛。

## 评测集里该有什么

- 真实历史样本，不是编出来的提示词
- 已知失败案例，尤其是业务不能错的那几类
- 通过门槛：任务成功率、一次通过率、人工接管率

## 和 demo 的差别

demo 问的是「能不能看一眼」。评测集问的是「这批样本上过不过门」。过不了就停在结论，不把半成品聊天机器人留给客户。

更多定义见 [评测驱动交付](/glossary/eval-driven)。

### 没有评测集可以先上线再补吗？

不可以。上线后再补评测集，等于没有验收口径。章鱼派 OctopAI 的规则是：没有评测集，不允许上线。