如何做好
Harness Engineering？

Q1 给出了"4 大组件 + 6 个 GitHub repo + 与 Context Engineering 互补"。Q2 进入下一步：具体怎么做？8 个 best practice 按"影响度 + 实现成本 + 可替代性" 3 维加权排序。

§1Ranked Ladder · 8 Best Practice

§23 个必做 + 5 个 nice-to-have

§3代码示例 · LangSmith Tracing

生产环境必备的 observability 落地代码：

from langsmith import traceable
from langchain import ChatOpenAI

llm = ChatOpenAI(model="gpt-5")

# 1. 标记任何 function 为 traceable (自动记录 prompt/response/latency/cost)
@traceable
def answer_question(question: str) -> str:
    response = llm.invoke(question)
    return response.content

# 2. 调用时自动记录
answer_question("什么是 context engineering?")

# 3. 在 LangSmith dashboard 看 trace
#    - 输入 prompt 全文
#    - 输出 response 全文
#    - latency ms
#    - token 数量 / cost
#    - 调用栈 (嵌套 traceable 函数)
#    - 失败 case 重放

关键设计：每个 LLM call 都该被 trace — 不只是失败 case。生产环境的监控是基于 trace 数据，而不是 LLM 是否崩溃。

§4代码示例 · CI Regression

把 eval 集成到 CI / CD：

# .github/workflows/eval-regression.yml
name: LLM Eval Regression
on: [push, pull_request]

jobs:
  eval:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v5
      - uses: actions/setup-python@v5
        with:
          python-version: "3.11"
      - run: pip install langsmith langchain

      - name: Run Eval Suite
        env:
          LANGSMITH_API_KEY: ${{ secrets.LANGSMITH_API_KEY }}
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
        run: python scripts/run_evals.py

      - name: Compare Pass Rate
        run: |
          # 跟上次 release 的 pass rate 对比
          CURRENT=$(cat eval-results.json | jq .pass_rate)
          BASELINE=$(cat .baseline.json | jq .pass_rate)
          THRESHOLD=0.05  # 允许 5% 退化
          if (( $(echo "$BASELINE - $CURRENT" | bc -l) > $THRESHOLD )); then
            echo "❌ Pass rate dropped from $BASELINE to $CURRENT"
            exit 1
          fi
          echo "✅ Pass rate stable: $CURRENT"

关键设计：每次 PR / push 都跑 eval + 比 baseline，不允许 pass rate 退化 > 5%。这是把"context engineering"和"harness engineering"结合起来的工程实践。

§5所以 · Q2 答案

§6下一个问题

Q2 给出了"8 best practice + 3 必做 + 5 nice + 代码示例"。Q3 进入 项目中应用 — Hairline Area · 5 种典型项目 × 4 时间窗 · 何时应用哪个 best practice。