GSP1210

概要

このラボでは、Google が開発したマルチモーダル生成 AI モデルのファミリーである Gemini について説明します。Gemini API を使用して、Gemini Flash がテキスト、画像、動画について理解し、それらに基づいて回答を生成する方法について学習します。

Gemini のマルチモーダル機能により、次のことが可能になります。

• 画像を分析する: オブジェクトの検出、ユーザー インターフェースの理解、図の解釈、視覚的な類似点と相違点の比較を行う。
• 動画を処理する: 説明の生成、タグとハイライトの抽出、動画コンテンツに関する質問への回答を行う。

Vertex AI の Gemini API を使用して、これらの機能をハンズオン タスクで試します。

前提条件

このラボを開始する前に、以下について理解しておく必要があります。

• 基本的な Python プログラミング。
• 一般的な API のコンセプト。
• Vertex AI Workbench の Jupyter ノートブックでの Python コードの実行。

目標

このラボでは、次の作業を行います。

• Vertex AI で Gemini API を操作する。
• Gemini Flash モデルを使用して画像と動画を分析する。
• テキスト、画像、動画のプロンプトを Gemini に提供して、有益な回答を生成する。
• Gemini のマルチモーダル機能の実用的な活用方法について学ぶ。

設定と要件

[ラボを開始] ボタンをクリックする前に

こちらの説明をお読みください。ラボには時間制限があり、一時停止することはできません。タイマーは、Google Cloud のリソースを利用できる時間を示しており、[ラボを開始] をクリックするとスタートします。

このハンズオンラボでは、シミュレーションやデモ環境ではなく実際のクラウド環境を使って、ラボのアクティビティを行います。そのため、ラボの受講中に Google Cloud にログインおよびアクセスするための、新しい一時的な認証情報が提供されます。

このラボを完了するためには、下記が必要です。

• 標準的なインターネット ブラウザ（Chrome を推奨）

注: このラボの実行には、シークレット モード（推奨）またはシークレット ブラウジング ウィンドウを使用してください。これにより、個人アカウントと受講者アカウント間の競合を防ぎ、個人アカウントに追加料金が発生しないようにすることができます。

• ラボを完了するための時間（開始後は一時停止できません）

注: このラボでは、受講者アカウントのみを使用してください。別の Google Cloud アカウントを使用すると、そのアカウントに料金が発生する可能性があります。

ラボを開始して Google Cloud コンソールにログインする方法

1. [ラボを開始] ボタンをクリックします。ラボの料金をお支払いいただく必要がある場合は、表示されるダイアログでお支払い方法を選択してください。 左側の [ラボの詳細] ペインには、以下が表示されます。

   • [Google Cloud コンソールを開く] ボタン
   • 残り時間
   • このラボで使用する必要がある一時的な認証情報
   • このラボを行うために必要なその他の情報（ある場合）

2. [Google Cloud コンソールを開く] をクリックします（Chrome ブラウザを使用している場合は、右クリックして [シークレット ウィンドウで開く] を選択します）。

   ラボでリソースがスピンアップし、別のタブで [ログイン] ページが表示されます。

   ヒント: タブをそれぞれ別のウィンドウで開き、並べて表示しておきましょう。

   注: [アカウントの選択] ダイアログが表示されたら、[別のアカウントを使用] をクリックします。

3. 必要に応じて、下のユーザー名をコピーして、[ログイン] ダイアログに貼り付けます。

   {{{user_0.username | "Username"}}}

   [ラボの詳細] ペインでもユーザー名を確認できます。

4. [次へ] をクリックします。

5. 以下のパスワードをコピーして、[ようこそ] ダイアログに貼り付けます。

   {{{user_0.password | "Password"}}}

   [ラボの詳細] ペインでもパスワードを確認できます。

6. [次へ] をクリックします。

   重要: ラボで提供された認証情報を使用する必要があります。Google Cloud アカウントの認証情報は使用しないでください。 注: このラボでご自身の Google Cloud アカウントを使用すると、追加料金が発生する場合があります。

7. その後次のように進みます。

   • 利用規約に同意してください。
   • 一時的なアカウントなので、復元オプションや 2 要素認証プロセスは設定しないでください。
   • 無料トライアルには登録しないでください。

その後、このタブで Google Cloud コンソールが開きます。

注: Google Cloud のプロダクトやサービスにアクセスするには、ナビゲーション メニューをクリックするか、[検索] フィールドにサービス名またはプロダクト名を入力します。

タスク 1. Vertex AI Workbench でノートブックを開く

1. Google Cloud コンソールのナビゲーション メニュー（）で、[Vertex AI] > [ワークベンチ] の順にクリックします。

2. インスタンスを見つけて、[JupyterLab を開く] ボタンをクリックします。

Workbench インスタンスの JupyterLab インターフェースが新しいブラウザタブで開きます。

タスク 2. ノートブックを設定する

1. ファイルを開きます。

2. [Select Kernel] ダイアログで、使用可能なカーネルのリストから [Python 3] を選択します。

3. ノートブックの「Getting Started」（スタートガイド）セクションと「Import libraries」（ライブラリのインポート）セクションをすべて実行します。

   • [Project ID] に を使用し、[Location] に を使用します。

注: 「Colab only」（Colab のみ）と記載されているノートブック セルの実行は省略できます。 いずれかのノートブック セルの実行で 429 応答が返される場合は、1 分待ってから再度セルを実行し、次に進んでください。

タスク 3. Gemini Flash モデルを使用する

Gemini Flash は、マルチモーダル プロンプトに対応したマルチモーダル モデルです。プロンプト リクエストにテキスト、画像、動画を含めて、テキストまたはコードの回答を取得できます。

このタスクでは、ノートブック セルの実行を通して、Gemini Flash モデルを使用する方法を見ていきます。目標を達成するたびに、ここに戻って進行状況を確認できます。

複数の画像にわたる画像理解

Gemini の機能の一つに、複数の画像にわたる推論があります。この例では、Gemini を使用して、果物と価格表の画像から食料品の合計費用を計算します。

ノートブックの「Image understanding across multiple images」（複数の画像にわたる画像理解）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 複数の画像にわたる画像理解

画面とインターフェースの理解

Gemini は、アプライアンスの画面、UI、スクリーンショット、アイコン、レイアウトからも情報を抽出できます。この例では、Gemini を使用してガスコンロから情報を抽出し、ユーザーが UI の操作とさまざまな言語での対応を行えるようにします。

ノートブックの「Understanding Screens and Interfaces」（画面とインターフェースの理解）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 画面とインターフェースの理解

技術図内のエンティティ リレーションシップの理解

Gemini は、図式を理解して、最適化やコード生成といった実践的な手順を取ることを可能にするマルチモーダル機能を備えています。この例では、Gemini がエンティティ リレーションシップ（ER）図を解読して、テーブル間のリレーションシップを理解し、BigQuery などの特定の環境での最適化の要件を識別し、対応するコードまで生成できることを確認します。

ノートブックの「Understanding entity relationships in technical diagrams」（技術図内のエンティティ リレーションシップの理解）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 技術図内のエンティティ リレーションシップの理解

複数の画像に基づく推奨事項

Gemini は、画像比較から推奨事項を提供できます。この機能は、e コマースや小売などの業界で有用です。この例では、Gemini を使用して、卵型の顔に似合う眼鏡を推奨します。

ノートブックの「Recommendations based on multiple images」（複数の画像に基づく推奨事項）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 複数の画像に基づく推奨事項

類似点 / 相違点

Gemini は画像の比較を通して、オブジェクト間の類似点や相違点を識別できます。この例では、Gemini を使用して、同じ場所の 2 つの画像を比較し、相違点を識別します。

ノートブックの「Similarity/Differences」（類似点 / 相違点）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 類似点 / 相違点

動画の説明の生成

Gemini は、動画の説明を生成できます。この例では、Gemini を使用して、地中海沿岸の動画の説明を生成します。

ノートブックの「Generating a video description」（動画の説明の生成）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 動画の説明の生成

動画全体からのオブジェクトのタグの抽出

Gemini は、動画全体からタグを抽出することもできます。この例では、Gemini を使用して、写真撮影の動画全体からオブジェクトのタグを抽出し、ハッシュタグを生成します。

ノートブックの「Extracting tags of objects throughout the video」（動画全体からのオブジェクトのタグの抽出）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 動画全体からのオブジェクトのタグの抽出

動画に関するその他の質問への回答

Gemini は、動画に関する質問に答えることができます。この例では、Gemini を使用して、動画に関する質問を受けて、JSON レスポンスを返します。

ノートブックの「Asking more questions about a video」（動画に関するその他の質問への回答）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 動画に関するその他の質問への回答

動画の範囲を超えた追加情報の取得

Gemini は動画の範囲を超えて追加情報を取得することもできます。この例では、Gemini を使用して、鉄道路線に関する特定の質問への回答など、動画に関する追加情報を取得します。

ノートブックの「Retrieving extra information beyond the vide」（動画の範囲を超えた追加情報の取得）セクションを実行します。

[進行状況を確認] をクリックして、目標に沿って進んでいることを確認します。 動画の範囲を超えた追加情報の取得

お疲れさまでした

これでラボは完了です。このラボでは、Vertex AI の Gemini API を使用して、テキストや画像のプロンプトからテキストを生成する方法を学びました。

次のステップと詳細情報

以下のリソースで Gemini に関する理解を深めましょう。

• Gemini の概要
• Vertex AI の生成 AI に関するドキュメント
• 生成 AI に関する YouTube チャンネル
• Vertex AI クックブック。生成 AI に関するノートブックを集めた、検索可能なギャラリーです。
• Google Cloud 生成 AI レポジトリ。他のノートブックやサンプルを確認できます。

Google Cloud トレーニングと認定資格

Google Cloud トレーニングと認定資格を通して、Google Cloud 技術を最大限に活用できるようになります。必要な技術スキルとベスト プラクティスについて取り扱うクラスでは、学習を継続的に進めることができます。トレーニングは基礎レベルから上級レベルまであり、オンデマンド、ライブ、バーチャル参加など、多忙なスケジュールにも対応できるオプションが用意されています。認定資格を取得することで、Google Cloud テクノロジーに関するスキルと知識を証明できます。

マニュアルの最終更新日: 2025 年 3 月 25 日

ラボの最終テスト日: 2025 年 3 月 25 日

Copyright 2025 Google LLC. All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。