GENAI110

概要

Agent Development Kit（ADK）は、AI エージェントを構築するための、拡張可能なモジュール型オープンソース フレームワークです。ADK には独自の評価モジュールが組み込まれていますが、このラボでは Agent Platform Gen AI Evaluation Service を使用して ADK ベースのエージェントのパフォーマンスを評価する方法を説明します。このアプローチにより、より広範囲にわたり、品質管理された説明可能なツールキットを使用して、カスタム指標や人間の価値観に沿ったベンチマークで生成モデルや生成アプリケーションを評価できるようになります。

このラボでは、Agent Platform Gen AI Evaluation Service を使用して、手順に沿って ADK エージェントを評価します。

このラボは、GoogleCloudPlatform/generative-ai リポジトリのこのノートブックに基づいています。

目標

このラボでは、次のタスクの実行方法について学びます。

• ローカル ADK エージェントを構築して実行する。
• エージェント評価データセットを作成してフォーマットする。
• 次の方法でエージェントのパフォーマンスを評価する。
  • 単一ツール使用評価
  • 軌跡ベースの評価
  • 回答品質評価
• Agent Platform Gen AI Evaluation Service を使用して、説明可能な指標とベンチマーク結果を生成する。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するには、以下が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

• ラボを完了するための時間（開始後は一時停止できません）

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。

   ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] ペインでもユーザー名を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] ペインでもパスワードを確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後、次のように進みます。

   • 利用規約に同意します。
   • 一時的なアカウントなので、復元オプションや 2 要素認証は設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。

タスク 1. Agent Platform Workbench で環境を準備する

1. Google Cloud コンソールのナビゲーション メニュー（）で、[Agent Platform] > [Notebooks] > [ワークベンチ] を選択します。

2. [API を有効にする] をクリックし、[有効にする] をクリックして確認します。

3. [インスタンス] で、vertex-ai-jupyterlab インスタンスの横にある [JupyterLab を開く] をクリックします。JupyterLab が新しいタブで起動します。

4. JupyterLab ランチャー ページで [ターミナル] をクリックしてシェルを開きます。

5. 次のコマンドを使用して、このラボのノートブックとヘルパー ファイルをダウンロードします。

   gcloud storage cp gs://{{{project_0.project_id| YOUR_GCP_PROJECT_ID}}}-bucket/* .

6. ファイルを開きます。

7. [Select Kernel] ダイアログで、使用可能なカーネルのリストから [Python 3 (Local)] を選択します。

8. 「Install Agent Development Kit (ADK) and other required packages」ヘッダーの下にある最初のコードセルを実行して、依存関係をインストールします。セルを実行するには、上部の再生ボタンをクリックするか、セルをハイライト表示してキーボードの Shift+Enter キーを押します。

9. 新たにインストールしたパッケージをこの Jupyter ランタイムで使用するには、カーネルを再起動する必要があります。セルの横にある [*] が、セルの完了を示す [1] に変わったら、JupyterLab のメニューで [Kernel] > [Restart Kernel and Clear Outputs of All Cells...] を選択します。

10. 確認のメッセージが表示されたら、[Restart] を選択します。

11. カーネルが再起動したら、「Set Google Cloud project information」にある次のセルを実行して Google Cloud プロジェクト情報を設定し、Agent Platform を初期化します。

12. ノートブックの「Import libraries」セクションにある次のセルを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Google Cloud プロジェクト情報を設定する

タスク 2. ノートブックの残りの部分を読み、実行する

ノートブックの各セルを読み、実行します。それぞれのセクションで次のことを行います。

• ツールを設定して、エージェントが後でツールとして使用する get_product_details() 関数と get_product_price() 関数を定義します。
• モデルを設定して、エージェントが使用する Gemini モデルを定義します。
• エージェントを組み立てるために、エージェントを構築する関数を定義します。上で定義したツールをエージェントに提供すると、それを使用してクエリに対する回答が生成されます。
• エージェントをテストします。どの関数が呼び出されたかを示すマークダウン形式の出力など、回答の例をいくつか確認します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 ADK エージェントを構築する

• Agent Platform 生成 AI Evaluation Service を使用して ADK エージェントを評価することを学びます。
• エージェント評価データセットを準備します。これは一連のプロンプトと、それに想定されるツール呼び出し（参照軌跡）で構成します。
• 単一ツール使用評価を行って、エージェントが対象タスクに適切なツールを選択しているかどうかを確認します。
• 軌跡評価を行って、エージェントが適切なツールを選択するだけでなく、意図した順序でそれらのツールを使用しているかどうかを評価します。
• 評価結果を可視化する方法を学びます。
• カスタム指標を定義して評価する方法を学びます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 Agent Platform 生成 AI Evaluation を使用して ADK エージェントを評価する

• ボーナスとなる Bring-Your-Own-Dataset（BYOD）セクションでは、別の場所で生成されたエージェントの回答を含む評価データセットを提供して、これらの回答を評価する方法を示します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 生成 AI を使用して LangGraph エージェントの BYOD 評価を行う

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 環境をクリーンアップする

おめでとうございます。

Agent Platform Gen AI Evaluation Service を使用して ADK エージェントを評価しました。エージェントをローカルで構築して実行し、カスタムの評価データセットを準備した後、組み込みの評価ツールを使用してエージェントのツール使用、アクションの軌跡、最終的な回答の品質を評価しました。

エージェントの評価には、次のコンポーネントを使用しました。

• エージェントを構築、実行するための ADK（Agent Development Kit）
• 想定されるツールの使用と参照を含む、構造化された評価データセット
• Agent Platform Gen AI Evaluation Service
• ツール使用評価の指標
• 手順ごとの精度を確認する軌跡の照合
• カスタム指標の評価

マニュアルの最終更新日: 2026 年 8 月 28 日

ラボの最終テスト日: 2026 年 8 月 28 日

Copyright 2026 Google LLC.All rights reserved. Google および Google のロゴは、Google LLC の商標です。その他すべての社名および製品名は、それぞれ該当する企業の商標である可能性があります。