Blog

企业场景评测集怎么写:样本、失败类、门槛

评测集不是提示词合集。它要有真实历史样本、业务不能错的失败类,以及可以重复跑的通过门槛。写不清楚这三样,智能体就没有验收口径。

最后更新: · 章鱼派交付团队

evaldelivery

评测集回答哪三个问题

换一批真实工单还会做对吗?哪几类错误绝对不能漏?过线的数字是什么?写不清就还在演示。

样本从哪来

从近 6–12 个月的真实工单、录音或合同里抽。编出来的提示词只能看演示,不能当验收。脱敏可以,改写业务事实不行。

失败类怎么定

和业务一起标「不能错」的类别,例如禁催、费率误述、漏掉红线条款。类别要少而硬,不要一次标四十种。

门槛写什么

至少写任务成功率、一次通过率、人工接管率。成本用 CPRT,不用每百万 Token 单价。

方法见 评测驱动交付

常见问题

第一版评测集要多大?
够覆盖主要失败类即可。消费金融质检那篇案例用了 1,200 通,不是起点要求。先小后补,但上线前必须冻结。

预约 30 分钟诊断