GSP1154

概要

Vertex AI は、予測 AI と生成 AI の両方の機能を備えた包括的な ML 開発プラットフォームです。予測を目的とした ML モデルのトレーニング、評価、デプロイと、コンテンツ生成を目的とした生成 AI モデルの選定、チューニング、サービングが可能です。

Vertex AI Studio を使用すると、生成 AI モデルを迅速にテストおよびカスタマイズし、その機能をアプリケーションで利用できます。UI（ユーザー インターフェース）とコーディング例を含むさまざまなツールとリソースが用意されているため、ML の経験がなくても生成 AI を簡単に使い始めることができます。

このラボでは、Vertex AI Studio を使用して最先端の生成 AI モデルの可能性を引き出します。Gemini を使った画像の分析、プロンプトの設計、マルチモーダル機能の試行を Google Cloud コンソールで直接行います。API や Python SDK は必要なく、直感的なユーザー インターフェースですべての操作が完結します。

目標

このラボでは、次の方法について学びます。

• Gemini マルチモーダルを使用して画像を分析する。
• マルチモーダル機能を試す。
• 例を使用してプロンプトを設計する。
• コンテキストを使用してプロンプトを設計する。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モード（推奨）またはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。

• ラボを完了するための時間（開始後は一時停止できません）

注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。

   ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] ペインでもユーザー名を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] ペインでもパスワードを確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。

タスク 1. Gemini を使用して画像を分析する

このセクションでは、Gemini を使用して画像を分析し、そこから情報を抽出します。分類、抽出、生成などのさまざまなタスク用のプロンプトを設計できます。

1. Google Cloud コンソールのナビゲーション メニュー（）から、[Vertex AI] > [Vertex AI Studio] > [プロンプトを作成] を選択します。

UI には次の 3 つのメイン セクションがあります。

• システム指示（上部）: モデルがプロンプトを処理する前に処理する一連の指示です。システム指示はリクエスト全体に適用されます。プロンプトに含まれている場合、システム指示は複数のユーザーとモデルのターンで機能します。システム指示を使用して、モデルの動作とプロンプトへの応答方法を指定することをおすすめします。
• 構成（右側）: モデル（サードパーティのモデルを含む）の選択、パラメータの構成、ツール（グラウンディングなど）の使用、詳細オプションの設定を行うことができます。
• プロンプト（下部）: マルチモーダル機能を利用するプロンプトを作成できます。

2. 左上の [無題のプロンプト] をクリックして、プロンプトの名前を「Image Analysis」に変更します。

3. 右側の [構成] セクションで、[] モデルが選択されていることを確認します。必要に応じて [switch model] をクリックしてモデルを変更したり、他の利用可能なモデルを参照したりできます。

注: モデル名とバージョンは、新しいモデルのリリースに伴って変更される場合があります。

4. 右側の [構成] セクションで、[詳細] オプションを切り替え、[リージョン] で [] を選択します。

5. サンプル画像をダウンロードします。時刻表の画像を右クリックして、パソコンに保存します。

6. [プロンプト] セクションの右下にある [メディアを挿入]（）ボタンをクリックします。

7. [ソースの選択] メニューで [アップロード] をクリックし、ダウンロードした時刻表の画像を選択します。使用可能なメディアの形式は、画像、動画、テキスト、または音声ファイルです。

8. [プロンプト] セクション内に画像が表示されます。次のテキストをコピーし、画像の下に貼り付けて、[プロンプト] セクションの右下にある送信 矢印ボタンをクリックするか、[Enter] キーを押します。

画像にタイトルを付けて。

または、次のように具体的に指定します。

15 文字以内でタイトルを付けて。

タイトルは期待どおりでしたか？プロンプトを変更して、異なる結果が出力されるかどうかを確認してください。

9. 次に、Gemini に画像を詳しく説明してもらいます。前のプロンプトを以下の内容に置き換えて、送信 矢印ボタンをクリックします。

画像を詳しく説明して。

10. [構成] セクションで [詳細] オプションを切り替え、[温度] を左（0）から右（2）にスクロールして調整します。プロンプトを再送信し、前と比較して結果に変化があるかどうかを確認します。

注: 温度は、トークン選択のランダム性の度合いを制御します。低い温度は、真であるレスポンスや正しいレスポンスが求められるプロンプトに適しています。一方、温度が高いと、多様な結果や意外性のある結果、場合によってはバイアスのかかった結果が返される可能性があります。温度が 0 の場合、確率が最も高いトークンが常に選択されます。

11. 画像からテキストを抽出します。前のプロンプトを以下の内容に置き換えます。

画像内のテキストを書き出して。

さらに、出力をリスト形式にする場合は、前のプロンプトを以下の内容に置き換えます。

画像内の時刻と都市名を解析して、「画像」と「都市」の 2 つの列がある表にまとめて。

さまざまなプロンプトを試してみましょう。前のプロンプトと比べて結果はどのように異なりますか？

12. 画像にある情報を分析します。前のプロンプトを以下の内容に置き換えます。

到着地域別に、フライトの割合を計算して。

結果は期待どおりですか？各種タスクにさまざまなプロンプトを試してみることをおすすめします。また、温度の設定を変更して結果の変化を確認してみましょう。

13. プロンプトの設計が完了したら、ツールバーの右上の [保存] をクリックしてプロンプトを保存します。リージョンについては、プルダウンから [] を選択して、[保存] をクリックして確定します。

14. 保存したプロンプトを確認するには、左側のナビゲーション メニューで、[プロンプト管理] に移動します。

注: [保存] の選択後、プロンプトが正しく保存されるまで少し時間をおいてから、ラボを進めてください。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

画像のコンテンツを抽出する

タスク 2. マルチモーダル機能を試す

画像、テキスト、音声に加えて、Gemini は入力として動画を受け入れて、出力としてテキストを生成できます。

1. [Cloud Storage] > [バケット] に移動し、Cloud Storage バケットの名前をコピーして保存して、次のステップで使用します。

2. Google Cloud コンソールの上部にある「Cloud Shell をアクティブにする」アイコン をクリックします。

3. Cloud Shell ターミナルで、以下のコマンドを実行して、サンプル動画 gs://spls/gsp154/video/train.mp4（プレビュー）を Cloud Storage バケットにコピーします。<Your-Cloud-Storage-Bucket> を、先ほどコピーしたバケット名に置き換えてください。

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> 注: <Your-Cloud-Storage-Bucket> を、ご使用のバケット名に置き換えてください。

4. ナビゲーション メニュー（）から、[Vertex AI] > [Vertex AI Studio] > [プロンプトを作成] を選択します。

5. 右側の [構成] セクションで、[] モデルが選択されていることを確認します。

注: モデル名とバージョンは、新しいモデルのリリースに伴って変更される場合があります。

6. [詳細] オプションを切り替え、[リージョン] で [] を選択します。

7. [プロンプト] セクションの右下にある [メディアを挿入]（）ボタンをクリックします。

8. [ソースの選択] メニューで、[Cloud Storage からインポート] を選択します。

9. バケット名をクリックし、次にサンプル動画（train.mp4）をクリックして、[選択] をクリックします。

10. 次のプロンプトを挿入して、送信 矢印ボタンをクリックし、動画に関する情報を生成します。

動画にタイトルを付けて。

11. 動画を詳しく説明します。

動画を詳しく説明して。

詳しくは、マルチモーダル プロンプトを設計するをご覧ください。

タスク 3. 例を使用してプロンプトを設計する

このセクションでは、Vertex AI Studio でのテキスト プロンプト設計を試します。

プロンプト設計

質問などの任意の入力テキストをモデルにフィードできます。これにより、モデルは、プロンプトの構造に基づいてレスポンスを提供できます。モデルから最も望ましいレスポンスを得るための最良の入力テキスト（プロンプト）を解明して設計するプロセスはプロンプト設計と呼ばれます。

プロンプト設計の方法

プロンプトの設計方法は主に 3 つあります。

• ゼロショット プロンプト - この方法では、タスクを説明するプロンプトのみを LLM に与え、追加データは与えません。たとえば、LLM に質問に回答させたい場合は、単に「プロンプト設計とは何？」のようにプロンプトに入力します。
• ワンショット プロンプト - この方法では、行ってほしい特定のタスクの 1 つの例を LLM に与えます。たとえば、LLM に詩を書かせたい場合は、詩の例を 1 つ与えます。
• 少数ショット プロンプト - この方法では、行ってほしい特定のタスクの少数の例を LLM に与えます。たとえば、LLM にニュース記事を書かせたい場合は、数件のニュース記事を入力として与えます。

パラメータ

温度とトークンの上限は、モデルのレスポンスに影響を与えるために調整できる 2 つの重要なパラメータです。

• [温度] は、トークン選択のランダム性の度合いを制御します。真であるレスポンスまたは正しいレスポンスを想定する場合は、低い温度が適しています。温度 0 は、最も高い確率のトークンが常に選択されることを意味します。温度を高くすると、多様な結果や意外性のある結果、場合によってはバイアスのかかった結果になる可能性があります。 モデルの温度の範囲は 0～2 で、デフォルトは 1 です。
• 出力トークンの上限により、1 つのプロンプトに対して出力されるテキストの最大量が決まります。1 トークンは約 4 文字です。

ゼロショット プロンプト

1. ツールバーの [Clear] アイコンをクリックしてプロンプトをクリアします。

2. 右側の [構成] セクションで、[] モデルが選択されていることを確認します。

注: モデル名とバージョンは、新しいモデルのリリースに伴って変更される場合があります。

3. [詳細] オプションを切り替え、[リージョン] で [] を選択します。

4. 次の内容をプロンプトの入力フィールドにコピーします。

プロンプト ギャラリーとは？

5. 送信 矢印ボタンをクリックします。

モデルは用語「プロンプト ギャラリー」の一般的な定義を回答します。

6. いくつかの操作を試して動作を確認してください。同じプロンプトを使用しつつ、[構成] セクションの [詳細] フィールドを以下のように変更します。

• [出力トークンの上限] パラメータを 1024 にし、送信 矢印ボタンをクリックします。
• [温度] パラメータを 0.5 にし、送信 矢印ボタンをクリックします。
• [温度] パラメータを 2.0 にし、送信 矢印ボタンをクリックします。

パラメータを変更することでレスポンスがどのように変わるかを確認してください。

ワンショット プロンプト

より組織化された方法でプロンプトを設計できます。ここでは、[コンテキスト] と [例] の入力フィールドにそれぞれ対応する内容を入力できます。ワンショット プロンプトは、依頼する特定のタスクの例を 1 つだけモデルに与える方法です。このセクションでは、モデルに文を完成させるように求めます。

1. ツールバーの [Clear] アイコンをクリックしてプロンプトをクリアします。

2. [プロンプト] セクションの右下にある [例を追加]（）ボタンをクリックします。

プロンプト用に例を追加できる新しいウィンドウが開きます。

3. 次の内容を [入力] フィールドに追加します。

芝生の色は

4. 次の内容を [出力] フィールドに追加します。

芝生の色は緑です

5. [例を追加] ボタンをクリックします。

6. 例を追加すると、{Input} とプロンプトの 2 つのセクションに入力する必要があります。プロンプトを送信するには、プロンプトに加えて、別の入力例を指定する必要があります。

7. [{INPUT}] フィールドに、次のように入力します。

空の色は

8. [プロンプト] フィールドに、次のように入力します。

次の質問に回答して。

[プロンプト] セクションは次のようになります。

9. 送信 矢印ボタンをクリックします。モデルから次のようなレスポンスが返されます。

空の色は青です

モデルに出力のベースとなる例を提供したため、モデルは文の続きだけではなく、全文をレスポンスとして返しました。このレスポンスを変更して、単に文を完成させるようにするには、[出力] フィールドに提供した例を調整します。

10. [プロンプト] ボックスの [編集] ボタンをクリックしてプロンプトを編集します。

11. 例をクリックして例を編集し、[出力] を次のように変更します。

緑です

プロンプトは次のようになります。

入力: 芝生の色は 出力: 緑です

12. 送信 矢印ボタンをクリックします。モデルから次のようなレスポンスが返されます。

青です

今回は、提供した例に基づいてモデルが文の続きのみを回答し、文を完成させていることがわかります。モデルがレスポンスを生成する方法に影響を与えることに成功しました。

少数ショット プロンプト

次の演習ではモデルで少数ショット プロンプトを使用して、文の感情分析を行い、映画のレビューが好意的かどうかなどを判断させてみます。

1. ツールバーの [Clear] アイコンをクリックしてプロンプトをクリアします。

2. [プロンプト] セクションの右下にある [例を追加]（）ボタンをクリックします。

3. 次の例を追加します。

入力	出力
よくできたおもしろい映画	ポジティブ
10 分で寝てしまった	ネガティブ
映画はまあまあだった	中立的

4. 例を追加したら、[例を追加] ボタンをクリックします。

5. 例を追加すると、{Input} とプロンプトの 2 つのセクションに入力する必要があります。プロンプトを送信するには、プロンプトに加えて、別の入力例を指定する必要があります。

6. [{INPUT}] フィールドに、次のように入力します。

時間をかける価値があった。

7. [プロンプト] フィールドに、次のように入力します。

次のテキストで感情分析を実行して。

8. 送信 矢印ボタンをクリックします。モデルから次のようなレスポンスが返されます。

ポジティブ

モデルによって文の感情が示されるようになりました。「時間をかける価値があった。」という文について、感情は「ポジティブ」とラベル付けされています。

9. プロンプトの設計が完了したら、プロンプトに「Sentiment Analysis」という名前を付けます。

10. ツールバーの右上にある [保存] をクリックし、 リージョンを選択してプロンプトを保存します。

注: プロンプトが自動保存機能ですでに保存されている場合は、プロンプトの名前が正しいことと、プロンプト管理ページに表示されることを確認してください。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

テキストを使用してプロンプトを作成する

タスク 4. コンテキストを使用してプロンプトを設計する

システム指示は、モデルの動作とその後のプロンプトへの応答を形作る最初の指示であり、ペルソナ、フォーマット、トーン、特定のタスクルールをカスタマイズできます。リクエスト内の複数のユーザーとモデルのやり取りにわたって保持されますが、データ使用ポリシーを考慮して、機密情報を含める場合は、十分に注意してください。

これらの指示は汎用性が高く、チャットボットの開発、構造化された出力の生成、言語固有の回答などのアプリケーションに使用できますが、意図しないモデルの動作を完全に防ぐことはできません。

1. Google Cloud コンソールのナビゲーション メニュー（）から、[Vertex AI] > [Vertex AI Studio] > [プロンプトを作成] を選択します。

2. 右側の [構成] セクションで、[] モデルが選択されていることを確認します。

注: モデル名とバージョンは、新しいモデルのリリースに伴って変更される場合があります。

3. 右側の [構成] セクションで、[詳細] オプションを切り替え、[リージョン] で [] を選択します。

このセクションでは、モデルにシステム指示を追加して、提供されたコンテキストに基づいてモデルが回答できるようにします。

4. [システム指示] をクリックし、次のコンテキストを追加します。

あなたの名前はロイです。 あなたは、IT 部門のサポート担当技術者です。 どんな質問にも、「一度オフにしてからオンにするのは試しましたか？」と答えます。

5. 次のプロンプトを挿入します。

パソコンがとても遅いです。どうすればいい？

6. 送信 矢印ボタンをクリックします。

モデルのレスポンスは次の内容になるはずです。

一度オフにしてからオンにするのは試しましたか？

7. [システム指示] で [値をクリア]（）をクリックします。

8. [システム指示] をクリックし、次のコンテキストを追加します。

あなたの名前はロイです。 あなたは、IT 部門のサポート担当技術者です。 質問に答えてユーザーをサポートするのが仕事です。

9. 次のプロンプトを挿入します。

パソコンがとても遅いです。どうすればいい？

10. 送信 矢印ボタンをクリックします。

これで、ユーザーの質問に対してモデルがより役に立つレスポンスを返すようになったはずです。

さまざまなプロンプトとコンテキストを試して、モデルがどのように応答するかを確認してみてください。チャット プロンプトにコンテキストを追加して、提供したコンテキストに基づいてモデルがどのように応答するかを確認することもできます。

11. プロンプトの設計が完了したら、プロンプトに「Support Technician Helper」という名前を付けます。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。

チャット プロンプトを使用して会話を作成する

お疲れさまでした

これで完了です。このラボでは、Gemini の機能を活用して、画像や動画などのマルチメディア コンテンツを分析しました。また、質問応答と感情分析のためのゼロショット、ワンショット、少数ショット プロンプトの手法に習熟していることを示すことができました。さらに、システム指示を効果的に活用して、基本的な IT チャットボットを構築しました。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2025 年 4 月 9 日

ラボの最終テスト日: 2025 年 4 月 9 日

Copyright 2025 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。