Blog
企业场景评测集怎么写:样本、失败类、门槛
评测集不是提示词合集。它要有真实历史样本、业务不能错的失败类,以及可以重复跑的通过门槛。写不清楚这三样,智能体就没有验收口径。
最后更新: · 章鱼派交付团队
评测集回答哪三个问题
换一批真实工单还会做对吗?哪几类错误绝对不能漏?过线的数字是什么?写不清就还在演示。
样本从哪来
从近 6–12 个月的真实工单、录音或合同里抽。编出来的提示词只能看演示,不能当验收。脱敏可以,改写业务事实不行。
失败类怎么定
和业务一起标「不能错」的类别,例如禁催、费率误述、漏掉红线条款。类别要少而硬,不要一次标四十种。
门槛写什么
至少写任务成功率、一次通过率、人工接管率。成本用 CPRT,不用每百万 Token 单价。
方法见 评测驱动交付。
常见问题
- 第一版评测集要多大?
- 够覆盖主要失败类即可。消费金融质检那篇案例用了 1,200 通,不是起点要求。先小后补,但上线前必须冻结。