Defined term
评测驱动交付
评测驱动交付的规则只有一句：先写评测集再写智能体。没有评测集，不允许上线。
最后更新： · 章鱼派 OctopAI
亦称：Eval-Driven Delivery、评测先行、评测集门禁。
和「先做 demo」有何不同
demo 优化观感，评测集优化可重复的对错。没有评测的项目会把提示词调到领导满意为止，一换数据就回原形。门禁把顺序反过来。
评测集要多大
试点阶段以能代表失败模式为准，通常几十到几百条真实样本，而不是上万条合成题。数量可以以后加，口径不能以后改。
常见问题
- 评测驱动交付是什么？
- 评测驱动交付的规则只有一句：先写评测集再写智能体。没有评测集，不允许上线。