GSP1290

總覽

本實驗室介紹強大的新多模態 AI 模型 Gemini 2.0 Flash，這個模型由 Google DeepMind 推出，可透過 Vertex AI 中的 Gemini API 使用。您將瞭解 Gemini 2.0 Flash 在速度、效能和品質方面的卓越之處，並學習如何運用此模型的功能來執行各種工作，例如生成文字和程式碼、處理多模態資料以及呼叫函式。本實驗室還會介紹各種進階功能，包括非同步方法、系統指令、控制生成、安全設定、利用 Google 搜尋建立基準，以及詞元數計算。

Gemini

Gemini 是由 Google DeepMind 開發的一系列強大生成式 AI 模型，可以解讀及生成文字、程式碼、圖像、音訊和影片等多種形式的內容。

在 Vertex AI 使用 Gemini API

Vertex AI 中的 Gemini API 提供統一的介面，讓開發人員輕鬆與 Gemini 模型互動，將強大的 AI 功能整合至自家應用程式。如要瞭解最新資訊和最新版本的特定功能，請參閱官方的 Gemini 說明文件。

Gemini 模型

• Gemini Pro：適用於下列複雜的推論作業：
  • 分析及總結大量資訊。
  • 進行精細的跨模態 (文字、程式碼、圖像等) 推論。
  • 運用內容豐富的程式碼集有效解決問題。
• Gemini Flash：速度和效率最優異，具備下列優勢：
  • 回覆時間不到一秒，處理量高。
  • 品質高、費用較為低廉，適合各種工作。
  • 具備經過強化的多模態功能，包括更強大的空間理解能力、新的輸出模態 (文字、音訊、圖像)，並能使用原生工具，例如使用 Google 搜尋，以及執行程式碼和第三方函式。

事前準備

開始這個實驗室之前，您應已熟悉下列概念：

• 基本 Python 程式設計。
• 一般 API 概念。
• 在 Vertex AI Workbench 使用 Jupyter 筆記本執行 Python 程式碼。

目標

在本實驗室中，您將學習如何使用 Gemini 2.0 Flash 執行下列工作：

• 生成文字和程式碼：生成各種形式的文字，包括串流輸出內容、參與多回合對話，以及撰寫及執行程式碼。
• 設定及控制模型行為：設定模型參數、設定系統指令、套用安全篩選機制，以及運用控制生成技術來調整模型輸出內容。
• 處理多模態資料：控管及處理各種資料，包括文字、音訊、程式碼、文件、圖片和影片。
• 與模型靈活互動：採用同步和非同步互動方法，因應各種應用程式需求。
• 利用 Google 搜尋建立模型回覆基準：根據 Google 搜尋的實際資料建立模型回覆基準，提高回覆內容的準確率及符合現況的程度。
• 使用函式呼叫功能及管理詞元：導入自動和手動函式呼叫功能，並學習如何計算詞元數，以便追蹤使用情形。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

工作 1：開啟 Vertex AI Workbench 中的筆記本

1. 前往 Google Cloud 控制台，依序點按「導覽選單」圖示 >「Vertex AI」>「Workbench」。

2. 找出 執行個體，點按「Open JupyterLab」按鈕。

Workbench 執行個體的 JupyterLab 介面會在新瀏覽器分頁中開啟。

工作 2：設定筆記本

1. 開啟 檔案。

2. 出現「Select Kernel」對話方塊時，從可用核心清單中選取「Python 3」。

3. 完成筆記本的「Getting Started」和「Import libraries」部分。

   • 「專案 ID」請使用 ，「位置」則請使用 。

注意事項：您可以略過標有「Colab only」字樣的筆記本儲存格。如果執行筆記本儲存格後出現 429 回應，稍候 1 分鐘再重新執行儲存格，應該就能繼續操作。

點選「Check my progress」，確認目標已達成。 設定筆記本。

工作 3：使用文字提示來生成文字

在這項工作中，您將使用 Gemini 2.0 Flash 模型，利用文字提示來生成文字。

1. 執行筆記本的「載入 Gemini 2.0 Flash 模型」(Load the Gemini 2.0 Flash model)部分。
2. 執行筆記本的「使用文字提示來生成文字」(Generate text from text prompts) 部分。您可以嘗試一些提示範例，看看模型會如何回覆。

生成內容串流

根據預設，整個生成程序完成後，模型才會傳回回覆。您也可以使用 generate_content_stream 方法，在回覆生成的同時串流回覆內容。模型會在回覆的一部分生成完畢後，立即傳回該部分。

1. 執行筆記本的「生成內容串流」(Generate content stream) 部分。

開始多輪對話

Gemini API 支援有來有往、自由形式的多輪對話。

新訊息會延續前面對話的情境。

1. 執行筆記本的「開始多輪對話」(Start a multi-turn chat) 部分。

傳送非同步要求

client.aio 比照 client 的所有方法提供非同步版本。

舉例來說，client.aio.models.generate_content 是 client.models.generate_content 的非同步版本。

1. 執行筆記本的「傳送非同步要求」(Send asynchronous requests) 部分。

點選「Check my progress」，確認目標已達成。 使用文字提示來生成文字。

工作 4：設定模型參數

在這項工作中，您將學習如何設定模型參數，微調模型輸出內容。模型參數可控制生成文字的許多層面，例如創意度、長度和安全性。

您可以將參數值加入要傳送至模型的每個呼叫，藉此控制模型生成回覆的方式。參數值不同，生成的結果也可能會不同。您可以嘗試不同的模型參數，看看生成結果有何變化。

• 進一步瞭解如何使用參數值進行實驗。
• 查看 Gemini API 參數的完整清單。

1. 執行筆記本的「設定模型參數」(Configure model parameters) 部分。

設定系統指令

系統指令可決定模型行為。設定系統指令可提供額外脈絡資訊，讓模型瞭解工作內容、生成更符合需求的回覆，以及在與使用者互動時全程遵循特定指引。

1. 執行筆記本的「設定系統指令」(Set system instructions) 部分。

安全篩選機制

Gemini API 提供安全篩選機制，您可加以調整，藉此限制或允許特定類型的內容。您可以運用這些篩選機制，根據使用情境將模型調整為適當的狀態。詳情請參閱「設定安全篩選機制」頁面。

向 Gemini 提出要求後，系統會分析內容並給予安全評分。您可以使用 print 指令顯示模型回覆，查看生成內容的安全評分。安全設定預設為 OFF，封鎖門檻預設為 BLOCK_NONE。

在向 API 發出的每項要求，都可以使用 safety_settings 來調整安全設定。本範例顯示如何將所有類別的封鎖門檻設為 BLOCK_LOW_AND_ABOVE：

1. 執行筆記本的「安全篩選機制」(Safety filters) 部分。

點選「Check my progress」，確認目標已達成。 設定模型參數。

工作 5：傳送多模態提示

Gemini 是支援多模態提示的多模態模型。

您可以從各種來源加入下列類型的資料。以下是更新後的 HTML 表格，其中「音訊」部分包含更多 MIME 類型：

資料類型	來源	MIME 類型
文字	內嵌、本機檔案、一般網址、Google Cloud Storage	text/plain
程式碼	內嵌、本機檔案、一般網址、Google Cloud Storage	text/plain
文件	本機檔案、一般網址、Google Cloud Storage	application/pdf
圖片	本機檔案、一般網址、Google Cloud Storage	image/jpeg image/png image/webp
音訊	本機檔案、一般網址、Google Cloud Storage	audio/aac audio/flac audio/mp3 audio/m4a audio/mpeg audio/mpga audio/mp4 audio/opus audio/pcm audio/wav audio/webm
影片	本機檔案、一般網址、Google Cloud Storage、YouTube	video/mp4 video/mpeg video/x-flv video/quicktime video/mpegps video/mpg video/webm video/wmv video/3gpp

在這項工作中，您將向模型傳送不同類型的多模態提示，將文字與圖片、音訊、影片等其他資料類型結合。

1. 執行筆記本的「傳送本機圖片」(Send local image) 部分。
2. 執行筆記本的「從 Google Cloud Storage 傳送文件」(Send document from Google Cloud Storage) 部分。
3. 執行筆記本的「從一般網址傳送音訊」(Send audio from General URL) 部分。
4. 執行筆記本的「從 YouTube 網址傳送影片」(Send video from YouTube URL) 部分。

點選「Check my progress」，確認目標已達成。 傳送多模態提示。

工作 6：控制生成的輸出內容並管理詞元

您可使用控制生成功能定義回覆結構定義，指定模型輸出的結構、欄位名稱，以及每個欄位的預期資料類型。回覆結構定義是在 config 的 response_schema 參數中指定，模型輸出會嚴格遵循該結構定義。

您可以提供 Pydantic 模型或 JSON 字串做為結構定義，模型會根據 response_mime_type 中設定的值，以 JSON 或 Enum 格式回覆。在這項工作中，您將瞭解如何控制模型輸出，以及管理詞元用量。

在上一項工作中，您學會了如何設定參數，本工作將說明如何定義回覆結構定義，進一步控制模型的輸出格式。

1. 執行筆記本的「控制生成的輸出」(Control generated output) 部分。

計算詞元數和運算詞元

您可以使用 count_tokens() 方法計算輸入詞元數，再將要求傳送至 Gemini API。如要瞭解詳情，請參閱「列出和計算詞元數」一文。

1. 執行筆記本的「計算詞元數和運算詞元」(Count tokens and compute tokens) 部分。

點選「Check my progress」，確認目標已達成。 控制生成的輸出內容並管理詞元。

工作 7：使用 Google 搜尋做為工具 (建立基準)

建立基準可將實際資料連結至 Gemini 模型。

模型回覆內容如果使用 Google 搜尋結果做為基準，便能在執行階段存取訓練資料以外的資訊，產生更準確、符合現況且相關的回覆。

使用 Google 搜尋建立基準，可提高模型回覆內容的準確率及符合現況的程度。自 Gemini 2.0 起，即可使用 Google 搜尋做為工具。也就是說，模型可以決定何時使用 Google 搜尋。

Google 搜尋

您可以加入 tools 關鍵字引數，並在 Tool 指定 GoogleSearch，藉此指示 Gemini 先依照提示執行 Google 搜尋，再根據網頁搜尋結果建構回覆。

您可使用動態擷取功能設定門檻，決定何時使用建立基準功能生成模型回覆。如果提示的回覆不需要使用 Google 搜尋做為基準，且支援的模型可根據自身具備的知識做出回覆，不必建立基準，就很適合使用這項功能。這有助於更有效地管理延遲時間、品質和成本。

1. 執行筆記本的「Google 搜尋」(Google Search) 部分。

點選「Check my progress」，確認目標已達成。 使用 Google 搜尋做為工具 (建立基準)。

工作 8：利用函式呼叫和程式碼執行功能

Gemini 的函式呼叫功能可讓開發人員在程式碼中撰寫函式說明，然後透過要求傳遞至語言模型。您可以提交 Python 函式，讓系統自動呼叫函式，包括執行函式，並以自然語言傳回 Gemini 生成的輸出內容。

您也可以提交 OpenAPI 規格，系統會回覆符合說明的函式名稱，以及用於呼叫的引數。在這項工作中，您將瞭解如何使用函式呼叫，讓模型與外部系統互動，並執行模型生成的程式碼。

1. 執行筆記本的「Python 函式 (自動呼叫函式)」(Python Function (Automatic Function Calling))部分。
2. 執行筆記本的「OpenAPI 規則 (手動呼叫函式)」(OpenAPI Specification (Manual Function Calling)) 部分。

程式碼執行

有了 Gemini API 的程式碼執行功能，模型可生成以及執行 Python 程式碼，並根據結果反覆試驗學習，直到生成最終輸出內容。透過這個程式碼執行功能，您能建構應用程式來生成文字輸出內容，並在其中運用以程式碼為基礎的推理技術。舉例來說，您可以在應用程式中使用程式碼執行功能，解開方程式或處理文字。

Gemini API 提供程式碼執行工具，與函式呼叫類似。 將程式碼執行功能新增為工具後，模型會決定何時使用這項工具。

1. 執行筆記本的「程式碼執行」(Code Execution) 部分。

點選「Check my progress」，確認目標已達成。 利用函式呼叫和程式碼執行功能。

恭喜！

恭喜！在本實驗室中，您透過 Vertex AI 的 Gemini API，實際操作頂尖 AI 模型 Gemini 2.0 Flash。您使用了此模型的多種功能，包括生成文字和程式碼、處理多模態資料，以及完成進階模型設定。您現在已具備充分的知識，可運用這些強大功能建構創新且先進的 AI 應用程式。您也熟悉了 Gemini 2.0 推出的新功能，並學會如何運用新 SDK 在 API 之間遷移。

後續行動/瞭解詳情

歡迎參考下列資源，進一步瞭解 Gemini：

• Gemini 簡介
• Vertex AI 生成式 AI 說明文件
• 透過 YouTube 瞭解生成式 AI
• 探索 Vertex AI 教戰手冊，瀏覽及搜尋眾多精心挑選的生成式 AI 筆記本。
• 前往 Google Cloud 生成式 AI 存放區，查看其他筆記本和範例。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 5 月 5 日

實驗室上次測試日期：2025 年 5 月 5 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。