Q3 给出了"5 项目类型 × 必做映射"。Q4 进入最后一步:量化效果到底多大。单点效应容易看,复合效应才决定整体。下面 4 个角色 + Inset Magnifier 把"复合"放大看。
| Best practice | 单点效果 | 最低 | 最高 | 证据 |
|---|---|---|---|---|
| Eval Suite (Day 1) | +18-30% | +18% | +30% | Hamel 8.00 · LangSmith 7.80 |
| Tracing / Observability | +15-25% | +15% | +25% | LangSmith · Langfuse 案例 |
| Log + Debug | +12-20% | +12% | +20% | 故障响应时间 -70% |
| Regression Test in CI | +10-15% | +10% | +15% | Braintrust 案例 |
| Production Monitoring | +8-15% | +8% | +15% | Arize / Datadog LLM |
单点效果区间:每个 best practice +8% 到 +30%。但这些是单点;复合效应需要叠加。
如果同时采用 Eval + Tracing + Log + CI + Monitoring(全套):
| 项目类型 | baseline | + Eval | + Tracing | + Log | + CI | 提升 |
|---|---|---|---|---|---|---|
| 单轮问答 | 45% | 65% | 70% | 72% | 75% | +30 pts |
| RAG 文档问答 | 35% | 55% | 65% | 72% | 80% | +45 pts |
| 多步 Agent | 25% | 50% | 65% | 75% | 82% | +57 pts |
| Production Agent | 30% | 55% | 75% | 85% | 90% | +60 pts |
| ToB / 合规 | 20% | 45% | 70% | 85% | 93% | +73 pts |
关键发现:ToB / 合规 提升最大 (+73 pts) — 因为合规场景对可靠性要求 > 95%,整套 harness 才能满足。Production Agent 次之 (+60 pts)。
Harness 不仅提升任务成功率 — 它提升 故障响应时间(MTTR)。这是 100 天冲刺 / 创业团队最关键的 KPI:
| 故障场景 | 没 Harness | + Harness | 提升 |
|---|---|---|---|
| 用户报 bug "回答错了" | 3 小时 | 15 分钟 | -92% |
| prompt 改动导致 pass rate 下降 | 第二天发现 | CI 即时报警 | 立即 |
| 某类 query 突然失败 | 靠用户报 | monitor 自动发现 | 提前 N 天 |
| cost 异常飙升 | 月底看账单 | 实时报警 | -99% |
核心洞察:Harness 把"灾难性故障"变成"日常监控"。这是生产环境 vs demo 的最大区别。
你是独立开发者 / 小团队工程师。资源有限但迭代快。
你是团队 lead / 架构师。要平衡工程复杂度和效果。
你是平台架构师 / CTO。要兼顾多个团队 / 项目复用。
你是个人决策者。资源有限但影响力高。
| Q | 问题 | 答 |
|---|---|---|
| Q1 | Harness Engineering 是什么? | 不只是 Eval · 关注"为什么 + 怎么持续知道" · 4 大组件 |
| Q2 | 如何做好? | 8 best practice · 3 必做 + 5 nice-to-have · 代码示例 |
| Q3 | 项目中应用? | 5 项目类型 × 必做映射 · Eval Suite 永远 Day 1 |
| Q4 | 效果多大? | 单点 +8-30% · 全套 +133% · MTTR -70% ~ -99% |
这两个 4-Q 系列是 互补,不是替代:
| 维度 | Context Engineering | Harness Engineering |
|---|---|---|
| 关注 | "模型看到什么" | "做得对不对 + 怎么持续监控" |
| 时间 | 设计期 | 设计 + 部署 + 生产期 |
| 必做 | Note-taking + Read-before-Write + Evals | Eval + Tracing + Log |
| 复合效应 | +193% (跨 Session +65 pts) | +133% (ToB +73 pts) |
核心洞察:Context Engineering 设计 → Harness Engineering 验证。两者一起,LLM 应用从"demo"变成"production"。这是 LLM 工程的两个支柱。