Harness Engineering，为什么
不只是 Eval？

如果说 Context Engineering 是「模型看到什么」 — 那 Harness Engineering 是「你怎么知道模型做得对」 + 「错的时候怎么 debug」 + 「生产环境怎么监控」。Harness 是 LLM 应用的"测试基础设施 + 监控 + 调试"，是 Eval 的超集。

§1Harness Engineering 是什么

它跟 Eval 的区别，按 Hamel Husain + LangSmith 论文：

1 句话总结：Eval 关注"对不对" — Harness 关注"为什么 + 怎么持续知道"。 后者是前者的超集，也是 LLM 应用的可靠性质保。

§2Harness 的 4 大组件

Harness Engineering 不是单一技术 — 它由 4 大组件构成：

这 4 件里，Eval Suite 是 Day 1 必做，其余 3 件在 production 阶段加上。

§3GitHub 项目 · 6 个值得看

§4Harness vs Context Engineering · 互补

这 4-Q 系列跟 Context Engineering 4-Q 是 互补关系，不是替代：

核心洞察：Context Engineering 设计 → Harness 验证 + 监控。前者是 craft（手艺），后者是 engineering（工程）。两者一起才完整。

§5代码示例 · LangSmith Eval Suite

Hamel Husain 的 "evals first" 范式 + LangSmith 实现：

from langsmith import Client, evaluate
from langchain import ChatOpenAI

# Step 1: 写 eval cases
client = Client()
dataset = client.create_dataset("invest-qa-v1")

client.create_examples(
    inputs=[
        {"question": "什么是市盈率?"},
        {"question": "ROE 怎么算?"},
        {"question": "DCF 模型三要素?"},
    ],
    outputs=[
        {"answer": "P/E 是 股价 / 每股收益"},
        {"answer": "净利润 / 股东权益"},
        {< class="str">"answer": "现金流 + 折现率 + 终值"},
    ],
    dataset_id=dataset.id,
)

# Step 2: 定义 predict + grader
def predict(inputs):
    return llm.invoke(inputs["question"]).content

def grade(run, example):
    # 用 LLM-as-judge 评分
    grader_prompt = f"""Is the answer semantically equivalent to the expected?

Expected: {example.outputs['answer']}
Actual: {run.outputs['answer']}

Answer YES or NO."""
    verdict = llm.invoke(grader_prompt).content
    return {"score": 1 if "YES" in verdict.upper() else 0}

# Step 3: 跑 eval
results = evaluate(
    predict,
    data=dataset.name,
    evaluators=[grade],
    experiment_prefix="v1-baseline",
)

# Step 4: 看 pass rate
print(f"Pass rate: {results.aggregate_metrics['pass_rate']:.0%}")

关键设计：用 LangSmith 把 eval cases + grading + run history 都存起来 — 每一版本都有 trace。这就是 harness 的核心。

§6所以 · Q1 答案

§7下一个问题

Q1 给出了"4 大组件 + 6 repo + 与 Context Engineering 互补"。Q2 进入 如何做好 Harness Engineering — Ranked Ladder 8 个 best practice · 哪些最重要 / 哪些是 nice to have。