Gen AI Evaluation Serviceは、生成AIモデルやAIアプリケーションの品質を客観的な指標で評価するためのGemini Enterprise Agent Platformのマネージドサービスです(2026年4月のブランド変更により旧Vertex AIはGemini Enterprise Agent Platformへ再編、改称されています)。プロンプトの改善やモデルの変更、ファインチューニングなどの効果を数値で比較できるため、「なんとなく良くなった」という感覚ではなく、データに基づいて品質を評価できます。
Gen AI Evaluation Serviceでは、Geminiに加えて、Gemini Enterprise Agent Platform Model Gardenでサポートされているパートナーモデル（Anthropic、Llama）も評価できます。これにより、同じ評価データセット・同じ評価指標で複数モデルを比較し、モデル選定や移行時のベンチマークに活用できます。

サポートされる評価方式

• Adaptive Rubric（推奨）
  プロンプトごとに評価項目（Rubric）を自動生成し、Pass/Failで評価します。RAGやAIエージェントなど、評価観点がプロンプトごとに変わるケースに適しています。
• Static Rubric
  事前に定義した評価基準（1～5点など）で採点します。安全性や簡潔さなど、同じ基準で複数モデルを比較したい場合に向いています。
• Computation-based Metrics
  BLEUやROUGEなどの決定論的な指標を利用します。正解データ（Ground Truth）があるタスクに適しています。
• Custom Function Metrics
  Pythonで独自の評価ロジックを実装できます。業務固有の評価基準を組み込みたい場合に利用します。

Adaptive Rubric（適応型ルーブリック）の例

Adaptive Rubricは、プロンプトごとに評価項目（ルーブリック）を自動生成し、それぞれの観点についてPass/Failで評価する仕組みです。

例えば、「再生可能エネルギーの記事を4文で、楽観的なトーンで要約してください」というプロンプトに対して、Gen AI Evaluation Serviceは次のようなルーブリックを自動生成します。

• ルーブリック1：提供された記事の要約になっているか
• ルーブリック2：4つの文で構成されているか
• ルーブリック3：楽観的なトーンを維持しているか

生成された回答は、各ルーブリックごとにPass/Failで判定され、判定理由とあわせて結果が表示されます。単純なスコアだけではなく、「どの評価項目を満たせなかったのか」まで確認できるため、プロンプトやモデルの改善ポイントを把握しやすい点が特徴です。

評価の基本ワークフロー

Gen AI Evaluation Serviceでは、次のような流れで評価を実施します。

1. 評価データセットを作成
   ユースケースを反映したプロンプト群を準備します。データセットは手動アップロードのほか、本番ログからのサンプリングや合成データ生成にも対応しています。
2. 評価指標を定義
   Adaptive RubricやStatic Rubricなどのルーブリックベース評価、BLEU・ROUGEなどの計算ベース評価、Pythonによるカスタム関数評価から選択します。
3. モデルの回答を生成
   Geminiだけでなく、LiteLLMを介してOpenAIやAnthropicなど他社モデルも評価対象にできます。
4. 評価を実行
5. 結果を確認
   集計スコアだけでなく、個々の回答に対する評価結果や改善点も確認できます。

コンソールとPython SDK

Gen AI Evaluation Serviceは、Google Cloudコンソール（GUI）とPython SDKの両方から利用できます。

Python SDKには、新しいvertexai.Client（Gen AI Client、プレビュー）と、従来のvertexai.evaluation.EvalTask（GA）の2系統があります。Adaptive Rubricなどの新しい評価機能は現在vertexai.Clientで提供されているため、新規に利用する場合はこちらを選択するのがおすすめです。

from vertexai import Client

from vertexai import types

import pandas as pd



client = Client(project=PROJECT_ID, location=LOCATION)



prompts_df = pd.DataFrame({

    "prompt": [

        "恐竜についての短いお話を書いて",

        "Gemini Enterprise Agent Platformについての詩を作って",

    ],

})



eval_dataset = client.evals.run_inference(

    model="gemini-2.5-flash",

    src=prompts_df,

)



eval_result = client.evals.evaluate(

    dataset=eval_dataset,

    metrics=[types.RubricMetric.GENERAL_QUALITY],

)



eval_result.show()

RAGの評価では、TruLensなどで広く知られているRAG Triad（Groundedness / Context Relevance / Answer Relevance）という考え方があります。Gen AI Evaluation Serviceを利用して、ルーブリックベースの評価やカスタム指標を組み合わせることで、同様の観点から評価を行うことができます。

Gen AI Evaluation Serviceには静的ルーブリックの1つとしてGROUNDING指標が用意されています。この指標は、提供されたソーステキスト（グラウンドトゥルース）と生成された回答の事実性・整合性を評価するもので、公式ドキュメントでもRAGシステムにおいて重要な評価指標として紹介されています。

RAG Triadの3つの評価観点は次のとおりです。

• Groundedness（Faithfulness）
  回答が検索されたコンテキストに基づいて生成されているかを評価します。コンテキストに存在しない情報を回答していないか（ハルシネーション）を確認する指標です。
• Context Relevance
  検索されたコンテキスト自体が、ユーザーの質問に対して適切であったかを評価します。Retrieverやチャンク分割、Embedding、インデックス設計など検索品質の評価に役立ちます。
• Answer Relevance
  生成された回答が、ユーザーの質問に対して適切に回答できているかを評価します。

RAG評価では、これら3つを分けて評価できることが重要です。例えばGroundednessが低い場合は、生成モデルやプロンプト、あるいは参照コンテキストの利用方法に改善余地がある可能性があります。一方でContext Relevanceが低い場合は、検索品質そのものに課題がある可能性が高く、チャンク分割やEmbeddingモデル、インデックス設計などを見直す必要があります。

RAGは「検索」と「生成」の2つの処理で構成されるため、1つの総合スコアだけでは改善すべき箇所を特定できません。評価を複数の観点に分解することで、「検索側」と「生成側」のどちらに課題があるのかを切り分けられる点が、RAG評価の大きな価値といえます。

AIエージェントの評価がRAGや通常のテキスト生成と大きく異なるのは、最終的な回答だけでは品質を判断できないことです。

例えば、最終回答が正しくても、本来呼び出す必要のない外部APIを実行していたり、不要なツールを何度も呼び出していたりするケースがあります。このような無駄な処理はコストやレスポンス時間に影響しますが、最終回答だけを見ていては気付けません。

そのため、Gen AI Evaluation Serviceでは、「どのように回答へ到達したか」と「最終回答の品質」の両方を評価できます。

評価の2つの軸

① 軌跡評価（Trajectory Evaluation）

Trajectory Evaluationでは、エージェントが実際に実行したツール呼び出し（Tool Invocation）の履歴を、期待する軌跡（リファレンス）と比較します。

比較対象には、どのツールを呼び出したかだけではなく、引数や呼び出し順序も含まれます。

• Precision
  予測したツール呼び出しのうち、期待する軌跡にも存在した割合を評価します。値が高いほど、不要なツール呼び出しが少ないことを示します。
• Recall
  期待されるツール呼び出しをどれだけ実行できたかを評価します。
• Exact Match
  ツール呼び出しの順序も含めて、期待する軌跡と完全に一致したかを評価します。

② 最終回答評価（Final Response Evaluation）

Trajectoryだけでなく、最終的に生成された回答の品質も評価できます。

• final_response_reference_free
  正解となるリファレンス回答がなくても、最終回答の品質を評価します。
• final_response_quality
  システムプロンプトや利用可能なツール、実際のツール利用状況を考慮し、Adaptive Rubricを用いて最終回答を評価します。

リファレンス回答を用意しなくても評価できる点は、AIエージェントでは特に重要です。業務で扱うタスクは非定型なものが多く、すべての入力に対して正解データを準備することは現実的ではありません。

評価イメージ

例えば、社内文書検索エージェント（RAG + ツール呼び出し）を評価する場合は、次のような観点で品質を確認できます。

• Trajectory Evaluation
  検索ツールを適切な引数（部署名や期間など）で呼び出しているか。
• Final Response Evaluation
  検索結果を根拠として、業務要件を満たす回答を生成できているか。

このように、ツール利用の軌跡と最終回答を分けて評価することで、「検索処理に課題があるのか」「回答生成に課題があるのか」「行動計画そのものに改善余地があるのか」を切り分けて分析できます。これは、最終回答のみを評価するRAG単体の評価では得られない、AIエージェントならではの評価観点です。

Gen AI Evaluation Serviceを利用する際は、評価そのものにもコストが発生する点に注意が必要です。

モデルベースの評価では、評価対象となるモデルの推論に加え、評価を行うJudge Model（既定ではGemini 2.5 Flash）による推論も実行されます。そのため、評価データセットが大きい場合や頻繁に評価を実施する場合は、推論回数に応じてコストが増加します。

参考：Gen AI evaluation service API

• Gen AI Evaluation Serviceは、生成AI・RAG・AIエージェントを横断して評価できるマネージドサービスです。Adaptive Rubricにより、ソフトウェアテストのように定量的な品質評価を実現できます。
• RAG評価では、GROUNDINGやGENERAL_QUALITYなどの評価指標を組み合わせることで、「回答が自然か」と「参照情報に基づいているか」を多面的に評価できます。
• AIエージェント評価では、最終回答だけでなく、ツール呼び出しの軌跡（Trajectory）も評価することで、不要なツール利用や誤った実行手順など、回答だけでは分からない問題を発見できます。

生成AIアプリケーションは、モデルやプロンプトを変更する機会が多く、「以前より品質が向上したのか」「意図しないリグレッションが発生していないか」を継続的に確認することが重要です。Gen AI Evaluation Serviceのような評価サービスを活用することで、主観的なレビューだけに頼らず、定量的な指標を基に改善を進められる点は大きなメリットだと感じました。

また、評価を後付けで導入しようとすると、評価データやログが不足してしまうケースも少なくありません。RAGであれば検索結果や参照ドキュメント、AIエージェントであればツール呼び出しの履歴など、評価に必要な情報を開発段階から取得・保存できるよう設計しておくことで、運用開始後の品質改善やモデル変更にもスムーズに対応できるでしょう。

生成AIアプリケーションは「作って終わり」ではなく、継続的に改善していくことが前提となります。評価を開発プロセスやCI/CDに組み込み、品質を可視化しながら改善を繰り返すことが、これからのLLMOpsにおいて重要になっていくと感じました。

システムサポートでは、Google Cloudの導入や活用を支援しております。

Google Cloudを導入したい・導入したけど使いこなせていない…という方は、お気軽にご相談ください！