GSP1210

總覽

本實驗室將介紹 Gemini，這是 Google 開發的一系列多模態生成式 AI 模型。您將使用 Gemini API，瞭解 Gemini Flash 如何理解文字、圖像和影片，並依據上述項目生成回覆。

Gemini 的多模態能力可以：

• 分析圖像：偵測物件、理解使用者介面、解讀圖表，並比較視覺上的異同處。
• 處理影片：生成說明、擷取標記和精華片段，並回答影片內容相關問題。

您將透過 Vertex AI 的 Gemini API，實際試用這些功能。

事前準備

開始這個實驗室之前，您應已熟悉下列概念：

• 基本 Python 程式設計。
• 一般 API 概念。
• 在 Vertex AI Workbench 使用 Jupyter 筆記本執行 Python 程式碼。

目標

本實驗室的學習內容如下：

• 操作 Vertex AI 的 Gemini API。
• 使用 Gemini Flash 模型來分析圖像和影片。
• 提供文字、圖像和影片提示詞，請 Gemini 生成資訊豐富的回覆。
• 探索 Gemini 多模態功能在實務上的應用。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

工作 1：開啟 Vertex AI Workbench 中的筆記本

1. 前往 Google Cloud 控制台，依序點按「導覽選單」圖示 >「Vertex AI」>「Workbench」。

2. 找出 執行個體，點按「Open JupyterLab」按鈕。

Workbench 執行個體的 JupyterLab 介面會在新瀏覽器分頁開啟。

注意：如果在 JupyterLab 沒有看見筆記本，請按照以下額外步驟重設執行個體：

1. 關閉 JupyterLab 的瀏覽器分頁，回到 Workbench 首頁。

2. 勾選執行個體名稱旁的核取方塊，然後點按「重設」。

3. 「開啟 JupyterLab」按鈕再次啟用後，等待一分鐘，然後點按「開啟 JupyterLab」。

工作 2：設定筆記本

1. 開啟 檔案。

2. 出現「Select Kernel」對話方塊時，從可用核心清單中選取「Python 3」。

3. 完成筆記本的「Getting Started」和「Import libraries」部分。

   • 「專案 ID」請使用 ，「位置」則請使用 。

注意事項：您可以略過標有「Colab only」字樣的筆記本儲存格。如果執行筆記本儲存格後出現 429 回應，稍候 1 分鐘再重新執行儲存格，應該就能繼續操作。

工作 3：使用 Gemini Flash 模型

Gemini Flash 是支援多模態提示詞的多模態模型。您可以在提示詞中加入文字、圖像和影片，並取得文字或程式碼形式的回覆。

在這項工作中，請執行指定的筆記本儲存格，瞭解如何使用 Gemini Flash 模型。達成目標後，請返回這裡確認進度。

使用多張圖像推論

Gemini 的一項功能是使用多張圖像推論。在這個示例中，您將運用 Gemini，根據水果和價目表圖片，計算生鮮雜貨的總成本。

執行筆記本的「Image understanding across multiple images」(使用多張圖像推論) 部分。

點選「Check my progress」，確認目標已達成。 使用多張圖像推論

生成影片說明

Gemini 也能擷取影片中的標記，並提供畫面內容以外的其他資訊。在此示例中，您會使用 Gemini 來擷取標記，並從不同影片中取得額外資訊。

執行筆記本的「Generating a video description」(生成影片說明) 部分。

點選「Check my progress」，確認目標已達成。 生成影片說明

音訊理解

Gemini 能夠直接處理音訊，理解長篇脈絡資訊。在此示例中，您會使用 Gemini 來處理音訊，並解讀長篇脈絡資訊：

執行筆記本的「Audio understanding」(音訊理解) 部分。

點選「Check my progress」，確認目標已達成。 音訊理解

全面解讀程式碼集

Gemini 能夠直接處理音訊，理解長篇脈絡資訊。在此示例中，您會使用 Gemini 來處理音訊，並解讀長篇脈絡資訊：

執行筆記本的「Reason across a codebase」(全面解讀程式碼集) 部分。

點選「Check my progress」，確認目標已達成。 全面解讀程式碼集

影片與音訊解讀

在這個示例中，您將測試 Gemini 對影片與音訊輸入的交錯處理功能，體驗 Gemini 原生的多模態與長脈絡解讀能力。

執行筆記本的「Video and audio understanding」(影片與音訊解讀) 部分。

點選「Check my progress」，確認目標已達成。 影片與音訊解讀

同時處理所有模態 (圖像、影片、音訊、文字)

Gemini 原生支援多種形式的內容，且能交錯處理不同模態的資料。在這個示例中，您將在同一組輸入序列，混合輸入音訊、影像內容、文字和程式碼。

執行筆記本的「All modalities (images, video, audio, text) at once」(同時處理所有模態 (圖像、影片、音訊、文字)) 部分。

點選「Check my progress」，確認目標已達成。 同時處理所有模態 (圖像、影片、音訊、文字)

根據現有圖片生成推薦內容

Gemini 可以比較圖片並提供推薦內容。如果零售商想根據消費者的現有配置，推薦合適的產品，非常適合使用此方法。

執行筆記本的「Generating recommendations based on provided images」（根據現有圖片生成推薦內容）部分。

點選「Check my progress」，確認目標已達成。 根據現有圖片生成推薦內容

解讀技術圖表中的實體關係

Gemini 的多模態功能可以解讀圖表並採取相關動作，例如最佳化或生成程式碼。在這個示例中，您將瞭解 Gemini 如何解讀實體關係圖表、理解表格之間的關係、辨別 BigQuery 等特定環境的最佳化需求，甚至生成相應的程式碼。

執行筆記本的「Use Case: Entity relationships in technical diagrams」(用途：解讀技術圖表中的實體關係)部分。

點選「Check my progress」，確認目標已達成。 解讀技術圖表中的實體關係

比較圖片之間的同異處

Gemini 可以比較圖片並找出物件之間的同異處。在這個示例中，您將運用 Gemini 比較兩張同一地點的圖片，並找出兩者間不同的地方。

執行筆記本的「Use Case: Similarity/Differences」(用途：找出同異處)部分。

點選「Check my progress」，確認目標已達成。 比較圖片之間的同異處

恭喜！

您已完成這個實驗室。在本實驗室，您學到如何運用 Vertex AI 的 Gemini API，以圖像和文字提示詞來生成文字。

後續行動/瞭解詳情

歡迎參考下列資源，進一步瞭解 Gemini：

• Gemini 簡介
• Vertex AI 生成式 AI 說明文件
• 透過 YouTube 瞭解生成式 AI
• 探索 Vertex AI 教戰手冊，瀏覽及搜尋眾多精心挑選的生成式 AI 筆記本。
• 前往 Google Cloud 生成式 AI 存放區，查看其他筆記本和範例。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 5 月 19 日

實驗室上次測試日期：2025 年 5 月 19 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。