离线流水线演示，不是模型质量结论：输出由确定性规则 mock provider 生成，未调用真实模型。这里的指标差异只能验证版本注册、批量运行、计分和报告流程，不构成真实模型或提示词质量提升证据；请在独立留出集上使用真实 API 复测。token 数为字符启发式估算，不是 tokenizer 精确计数。
成本为估算值：按字符启发式 token 估算与各实验配置单价计算，不代表供应商账单。token 数来自 ceil(Unicode 字符数 / 4) 的启发式估算，单价由运行配置提供；真实账单请以供应商计量为准。
完全匹配
92.9%
基线 7.1% · +85.7 pp
包含期望
92.9%
基线 7.1% · +85.7 pp
正则通过
100.0%
基线 78.6% · +21.4 pp
候选估算成本
0.00013575 USD
基线 0.00007320 USD · +0.00006255 USD
运行元数据
指标汇总
| 指标 | 基线 | 候选 | Delta（候选－基线） | 候选计分样本 |
|---|---|---|---|---|
完全匹配exact_match | 7.1% | 92.9% | +85.7 pp | 14 |
包含期望contains | 7.1% | 92.9% | +85.7 pp | 14 |
正则通过regex | 78.6% | 100.0% | +21.4 pp | 14 |
成本估算
| 项目 | 基线 | 候选 | Delta（候选－基线） |
|---|---|---|---|
| 估算总成本 | 0.00007320 USD | 0.00013575 USD | +0.00006255 USD |
| 计价口径 | {"currency": "USD", "input_per_1k_tokens": 0.00015, "is_estimate": true, "label": "示例单价（非供应商报价）", "output_per_1k_tokens": 0.0006} | ||
按标签汇总
| 标签 | 指标 | 基线 | 候选 | Delta | 样本数 |
|---|---|---|---|---|---|
| 一般评价 | 完全匹配 | 100.0% | 100.0% | +0.0 pp | 1 |
| 包含期望 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 产品功能 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 2 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 2 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 2 | |
| 价格 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 1 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 关键词歧义 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 2 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 2 | |
| 正则通过 | 0.0% | 100.0% | +100.0 pp | 2 | |
| 其他 | 完全匹配 | 100.0% | 100.0% | +0.0 pp | 1 |
| 包含期望 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 咨询 | 完全匹配 | 0.0% | 75.0% | +75.0 pp | 4 |
| 包含期望 | 0.0% | 75.0% | +75.0 pp | 4 | |
| 正则通过 | 75.0% | 100.0% | +25.0 pp | 4 | |
| 客服 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 1 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 常规 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 1 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 建议 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 4 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 4 | |
| 正则通过 | 50.0% | 100.0% | +50.0 pp | 4 | |
| 投诉 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 5 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 5 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 5 | |
| 物流 | 完全匹配 | 0.0% | 50.0% | +50.0 pp | 2 |
| 包含期望 | 0.0% | 50.0% | +50.0 pp | 2 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 2 | |
| 理由泛化 | 完全匹配 | 0.0% | 0.0% | +0.0 pp | 1 |
| 包含期望 | 0.0% | 0.0% | +0.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 疑问词干扰 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 2 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 2 | |
| 正则通过 | 50.0% | 100.0% | +50.0 pp | 2 | |
| 稳定性 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 1 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 | |
| 订单 | 完全匹配 | 0.0% | 100.0% | +100.0 pp | 1 |
| 包含期望 | 0.0% | 100.0% | +100.0 pp | 1 | |
| 正则通过 | 100.0% | 100.0% | +0.0 pp | 1 |
逐条结果（14 条）
01 · ship-time咨询常规
输入
请问订单一般多久发货？
期望输出
咨询｜询问发货时间
基线输出 成功
咨询｜用户提出疑问
候选输出 成功
咨询｜询问发货时间
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
02 · broken-screen投诉疑问词干扰
输入
收到的手机屏幕碎了，怎么处理？
期望输出
投诉｜商品到货损坏
基线输出 成功
投诉｜用户表达不满
候选输出 成功
投诉｜商品到货损坏
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
03 · slow-delivery投诉物流
输入
包裹十天了还没到，太慢了。
期望输出
投诉｜物流迟迟未送达
基线输出 成功
投诉｜用户表达不满
候选输出 成功
投诉｜物流迟迟未送达
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
04 · dark-mode产品功能建议
输入
建议App增加深色模式。
期望输出
建议｜增加深色模式
基线输出 成功
建议｜用户提出建议
候选输出 成功
建议｜增加深色模式
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
05 · excel-export产品功能建议
输入
希望能支持导出Excel，方便做账。
期望输出
建议｜支持导出Excel
基线输出 成功
建议｜用户提出建议
候选输出 成功
建议｜支持导出Excel
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
06 · change-address咨询订单
输入
如何修改收货地址？
期望输出
咨询｜询问地址修改方法
基线输出 成功
咨询｜用户提出疑问
候选输出 成功
咨询｜询问地址修改方法
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
07 · support-loop客服投诉
输入
客服两次都说稍后处理，到现在没人解决。
期望输出
投诉｜客服未及时解决问题
基线输出 成功
投诉｜用户表达不满
候选输出 成功
投诉｜客服未及时解决问题
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
08 · invoice-template建议疑问词干扰
输入
能不能增加发票抬头模板？
期望输出
建议｜提供发票抬头模板
基线输出 成功
咨询｜用户提出疑问
候选输出 成功
建议｜提供发票抬头模板
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 100.0%
09 · color-praise一般评价其他
输入
这个配色挺好看的。
期望输出
其他｜无法归入以上类别
基线输出 成功
其他｜无法归入以上类别
候选输出 成功
其他｜无法归入以上类别
逐条 Delta：完全匹配 0.0% · 包含期望 0.0% · 正则通过 0.0%
10 · membership-price价格投诉
输入
你们的会员太贵了。
期望输出
投诉｜会员价格偏高
基线输出 成功
投诉｜用户表达不满
候选输出 成功
投诉｜会员价格偏高
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
11 · app-crash投诉稳定性
输入
界面经常闪退，重装也没用。
期望输出
投诉｜应用频繁闪退
基线输出 成功
投诉｜用户表达不满
候选输出 成功
投诉｜应用频繁闪退
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 0.0%
12 · refund-suggestion关键词歧义建议
输入
建议退款流程更简单一些。
期望输出
建议｜简化退款流程
基线输出 成功
投诉｜用户表达不满
候选输出 成功
建议｜简化退款流程
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 100.0%
13 · refund-arrival关键词歧义咨询
输入
已经申请退款了，想问问什么时候到账？
期望输出
咨询｜询问退款到账时间
基线输出 成功
投诉｜用户表达不满
候选输出 成功
咨询｜询问退款到账时间
逐条 Delta：完全匹配 100.0% · 包含期望 100.0% · 正则通过 100.0%
14 · tracking-number咨询物流理由泛化
输入
物流单号在哪里查看？
期望输出
咨询｜询问物流单号查询方法
基线输出 成功
咨询｜用户提出疑问
候选输出 成功
咨询｜用户提出疑问
逐条 Delta：完全匹配 0.0% · 包含期望 0.0% · 正则通过 0.0%