Anthropicの評価解説は、評価を tasks（課題設定）・trials（試行）・transcripts（エージェントが何をしたかの記録）・outcomes（環境が最終的にどうなったか）・graders（採点ロジック）・harness（実行基盤）の6要素に分解する。重要なのは transcript と outcome を別々に採点する点で、途中で遠回りしても最終的に正しい状態に到達すれば outcome は満点になり得るが、「たまたま正解に辿り着いただけ」の軌跡を見逃さないために transcript 側の採点を残す。OpenAI の Agent Skills 向け評価ガイドも同様に、成功基準を outcome（タスクが完了したか）・process（意図したツールを辿ったか）・style（出力の体裁が規約に沿っているか）の3カテゴリに分けてから Skill を書くよう求めている。
この収束の背景には、エージェントのステップ数が増えるほど「最終出力だけ一致していればOK」という評価が機能しなくなるという共通の失敗体験がある。途中のステップでツール選択を誤っても、後続のステップで帳尻を合わせて正解に見える出力を返すことがあり、出力一致だけの評価ではこの種の事故が蓄積してから発覚する。複数社が同時期に「軌跡を分解して採点する」設計を公開したのは、単発の思想ではなく本番運用で共通して踏んだ落とし穴への回答といえる。
", "examples": [ { "product": "Anthropic（評価基盤の内部設計を解説する工学ブログ）", "approach": "評価を tasks・trials・transcripts・outcomes・graders・harness の6要素に分解し、「何をしたか」と「環境がどうなったか」を別々に採点する", "detail": "transcriptとoutcomeを分離することで、結果的に正解した軌跡と、プロセスごと正しい軌跡を区別できるようにした点が、他社の評価設計にも共通する考え方の出どころになっている", "source_url": "https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents" }, { "product": "OpenAI（Agent Skills の評価ガイド）", "approach": "成功基準を outcome（完了）・process（手順）・style（体裁）の3カテゴリに分けてから Skill を書く", "detail": "「実際の失敗がカバレッジを駆動する」という方針を掲げ、手動で直した不具合を都度テスト化してSkillの信頼性を積み上げる運用を推奨している", "source_url": "https://developers.openai.com/blog/eval-skills" } ], "takeaway": "評価を書くときは「完了したか」「意図した手順を辿ったか」「体裁は規約通りか」を最初から別チェックとして分離し、最終出力の一致だけに頼らない。" }, { "heading": "本番トレースがそのまま評価データセットの供給源になった", "body_html": "Replit は ViBench（Playwrightベースのeval agentがアプリを操作しながら仕様通りに動くか段階的に検証するオフラインベンチマーク）・本番A/Bテスト・Telescope（失敗した実行の軌跡を要約してベクトル化し、類似パターンをクラスタリングして可視化するシステム）の三層構成で評価基盤を運用している。Braintrustは、本番で見つかった不審なトレースをワンクリックで評価データセットのエントリに変換し、そのまま次回以降のデプロイで走る回帰テストにする機能を提供する。
両社に共通するのは、評価データセットを最初から網羅的に設計するのを諦め、本番トラフィックを「継続的に増え続けるテストケース集」として扱っている点だ。事前に書いたテストは想定した失敗しか捕まえられないが、本番トレースは実際に起きた失敗分布をそのまま反映する。スケールするほど人間が全トレースを目視確認できなくなるため、クラスタリングや自動変換によって「気づいた失敗を二度と起こさないテスト」に変換する仕組みが運用の中核になっている。
", "examples": [ { "product": "Replit（Replit Agent の評価基盤解説）", "approach": "ViBench・本番A/Bテスト・Telescope（失敗トラジェクトリの要約→embedding→クラスタリング）の3層構成で評価を運用", "detail": "スケールすると人間が全トレースを読めなくなるため、クラスタリングで問題パターンを集約し、エンジニアとエージェント双方が対処できる形にした点が示唆的", "source_url": "https://replit.com/blog/evaluating-and-improving-agent-at-scale" }, { "product": "Braintrust（本番障害を回帰テストに変換する手法解説）", "approach": "本番で見つかった不審なトレースをワンクリックでデータセットのエントリに変換し、そのまま回帰テストとして毎回のデプロイで実行する", "detail": "修正を検知するために書いたスコアラーを、そのままデプロイ後の本番監視にも流用する設計が、評価と可観測性の境界を薄くしている", "source_url": "https://www.braintrust.dev/articles/turn-llm-production-failures-into-regression-tests" } ], "takeaway": "評価データセットは最初から完成形を目指さず、本番の実障害をクラスタリングまたはワンクリック変換で回帰テストに取り込み続ける運用にする。" }, { "heading": "評価指標があったからこそ「大胆な単純化」に踏み切れた例", "body_html": "Vercel社内のtext-to-SQLエージェント「d0」は当初、18個の専用ツール（スキーマ検索・クエリビルダー・検証系など）を組み合わせる構成で成功率80%だった。これを「bashコマンドを実行できる」ツール1個だけに置き換え、ファイルシステム経由で社内の意味レイヤー（Cubeの YAML定義）を直接読ませる構成に変えたところ、成功率は100%に上がり、実行時間は3.5倍短縮、トークン使用量は37%減、ステップ数は42%減少した。
この変更が「賭け」ではなく検証可能な意思決定になったのは、変更前から成功率・レイテンシ・トークン数を継続的に測る評価の仕組みが既にあったからだ。評価基盤がない状態でツールを18個から1個に削るのは根拠のない賭けだが、評価があれば「ツールを増やして安全側に倒す」のではなく「減らして数値で確認する」という逆方向の判断にも踏み切れる。
", "examples": [ { "product": "Vercel（社内text-to-SQLエージェントd0のツール設計解説）", "approach": "18個の専用ツールを1個の「bashコマンド実行」ツール（ファイルシステムへの直接アクセス）に置き換え", "detail": "成功率80%→100%、実行時間3.5倍高速化、トークン37%減、ステップ数42%減という変化を定量比較できたのは、事前に成功率・レイテンシ・トークン数を継続計測する評価の仕組みがあったからだ", "source_url": "https://vercel.com/blog/we-removed-80-percent-of-our-agents-tools" } ], "takeaway": "評価の仕組みが先にあれば、「ツールを増やす」だけでなく「減らす」方向の大胆な設計変更も数値で裏付けながら進められる。" } ] }, "editorial": "各社に共通するのは、評価を「リリース前の一回きりの関門」ではなく「本番運用に継続的に埋め込まれた計測」として設計している点だ。エージェントの意思決定が長くなるほど最終出力の正誤だけを見る評価は役に立たなくなり、軌跡の分解と本番トレースの再利用が標準装備になりつつある。", "quick_picks": [ { "title": "Sierra、𝜏-benchでエージェント評価のデファクトベンチマークを作った経緯", "summary": "ユーザーとツールの両方をシミュレートしながらマルチターンでエージェントを評価するベンチマークの設計意図を解説する。本号の「出力ではなく軌跡を見る」評価設計と同じ問題意識から生まれている。", "url": "https://sierra.ai/blog/benchmarking-ai-agents" }, { "title": "Cognition、「マージされるコードか」を測るFrontierCodeを公開", "summary": "20社以上のOSSメンテナが40時間以上かけて作った実タスクで、テストを通るかではなく実際にマージされる品質かを採点する。単体テスト通過と「信頼できる」の間のギャップを埋めようとする点で本号のテーマと重なる。", "url": "https://cognition.com/blog/frontier-code" }, { "title": "Chronicle: LLMエージェントの回帰テストを「途中から再実行」で軽くする手法", "summary": "モデル更新のたびにエージェント全体を最初から再実行するコストを避け、分岐点から再実行して回帰を検知する手法の論文。本号で扱った本番トレース活用の延長線上にある最適化。", "url": "https://arxiv.org/pdf/2609.20625" } ] }