GSP1296

總覽

Gemini 是由 Google DeepMind 開發的一系列生成式 AI 模型，專為多模態用途而設計。您可以透過 Gemini API 存取多種 Gemini 模型，例如 Gemini Pro、Flash 和 Flash Lite。

在本實驗室，您將瞭解如何運用 Vertex AI 監督式微調功能，微調 Gemini Flash 生成式模型。透過監督式微調功能，您可以採用自己的訓練資料，依特定工作進一步修正基礎模型的功能。

這項功能會使用有標籤樣本 (在本例為圖像) 調整基礎 Gemini 模型，每個樣本都會呈現出文字模型在推論期間應輸出的結果。

開始調整前，請確保訓練資料品質良好、標籤正確，且與目標工作有直接關聯。這幾點至關重要，因為低品質的資料對微調模型的成效可能會有負面影響，導致偏誤。

啟動實驗室時，環境中會有下方圖表顯示的資源。

完成實驗室活動時，您會運用這個架構執行多項工作。

下表詳細說明個別工作與實驗室架構的關聯。

有編號的工作	詳細資料
1.	在 Vertex AI Workbench 開啟筆記本並選取核心。
2.	安裝套件，並為專案設定筆記本： 您將運用 Google Gen AI SDK，透過 Developer API 和 Vertex AI 使用 Gemini。您需要安裝 Python 程式庫，整個實驗室活動都會參照這些程式庫。您也需要設定筆記本，以便存取專案中的資源，例如實驗室啟動時提供的 Cloud Storage bucket。
3.	準備資料集： 在這項工作，您會下載並準備內含圖像的資料集檔案，以便在筆記本使用。
4.	比較基準模型成效與基準真相： 您將比較 Gemini Flash 基準模型與資料集內單一圖像的基準真相。
5.	以驗證資料集評估基準模型： 您將搭配使用 val.jsonl、提示詞和 Gemini Flash 基準模型來評估結果。注意：為評估微調模型的成效，您會用到多種評估指標，例如 rougeL_precision、rougeL_recall 和 rougeL_fmeasure。
6.	建立微調模型： 您將運用訓練資料 train.jsonl 和 Gemini Flash 基準模型建立微調模型，用於生成圖像說明文字這項特定用途。
7.	評估微調模型： 您可以採用評估指標，依據驗證資料集 val.jsonl 和 Gemini Flash 基準模型的成效來評估微調模型。評估指標包括 rougeL 等。

事前準備

開始這個實驗室之前，您應已熟悉下列概念：

• 基本 Python 程式設計。
• 一般 API 概念。
• 在 Vertex AI Workbench 使用 Jupyter 筆記本執行 Python 程式碼。

目標

本實驗室的學習內容包括：

• 說明運用監督式微調的程序。
• 依據訓練資料集微調 Gemini Flash 基準模型。
• 評估微調模型在生成圖像說明文字方面的結果。
• 比較微調模型、基準模型的結果與基準真相。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

工作 1：在 Vertex AI Workbench 開啟筆記本並選取核心

工作 1a：開啟筆記本

1. 前往 Google Cloud 控制台，依序點按「導覽選單」圖示 >「Vertex AI」>「Workbench」。

2. 找出 執行個體，點按「Open JupyterLab」按鈕。

Workbench 執行個體的 JupyterLab 介面會在新瀏覽器分頁開啟。

注意：如果在 JupyterLab 沒有看見筆記本，請按照以下額外步驟重設執行個體：

1. 關閉 JupyterLab 的瀏覽器分頁，回到 Workbench 首頁。

2. 勾選執行個體名稱旁的核取方塊，然後點按「重設」。

3. 「開啟 JupyterLab」按鈕再次啟用後，等待一分鐘，然後點按「開啟 JupyterLab」。

工作 1b：選取核心

1. 開啟 檔案。

2. 出現「Select Kernel」對話方塊時，從可用核心清單中選取「Python 3」。

工作 2：安裝套件並設定筆記本

在這項工作，您將安裝必要的 Python 套件、重新啟動核心執行階段、將筆記本設為使用您的專案和區域，以及匯入程式庫。

1. 完成筆記本「Task 2, Install packages, and configure the notebook」(工作 2：安裝套件並設定筆記本) 部分的步驟。

注意：請依序點選「File」>「Save Notebook」，再按一下每項工作的「Check my progress」按鈕。

點選「Check my progress」，確認目標已達成。 安裝套件並設定筆記本。

工作 3：準備資料集

在這項工作，您會下載並準備內含圖像的資料集檔案，以便在筆記本使用。

1. 執行筆記本的「Prepare the dataset」(準備資料集) 部分。

點選「Check my progress」，確認目標已達成。 準備資料集。

工作 4：比較基準模型成效與基準真相

在這項工作，您將比較 Gemini Flash 基準模型與資料集內單一圖像的基準真相。

1. 執行筆記本的「Compare baseline model performance to ground truth」(比較基準模型成效與基準真相) 部分。

點選「Check my progress」，確認目標已達成。 比較基準模型成效與基準真相。

工作 5：以驗證資料集評估基準模型

在這項工作，您將使用 val.jsonl、提示詞和 Gemini Flash 基準模型評估結果。

1. 執行筆記本的「Evaluate the baseline model with the validation dataset」(以驗證資料集評估基準模型) 部分。

點選「Check my progress」，確認目標已達成。 以驗證資料集評估基準模型。

工作 6：建立微調模型

在這項工作，您將運用訓練資料 train.jsonl 和 Gemini Flash 基準模型，建立微調模型，用於生成圖像說明文字這項特定用途。

1. 執行筆記本的「Create the fine-tuned model」(建立微調模型) 部分。

注意：調整工作應會在幾分鐘內完成。請等待調整工作執行完畢，再執行筆記本後續的儲存格。 重要事項：請點選「VIEW TUNING JOB」按鈕來查看調整工作的詳細資料，並點選「VIEW EXPERIMENT」來查看實驗詳細資料。工作狀態須顯示為「Succeeded」，才能取得檢查這項工作進度的分數。

點選「Check my progress」，確認目標已達成。 建立微調模型。

工作 7：評估微調模型

在這項工作，您將採用評估指標，依據驗證資料集 val.jsonl 和 Gemini Flash 基準模型的成效來評估微調模型，評估指標包括 rougeL 等。

1. 執行筆記本的「Evaluate the fine-tuned model」(評估微調模型) 部分。

重要事項：如筆記本所述，如果執行這項工作的第一個儲存格時遇到「Endpoint projects/... misconfigured, traffic split not set.」錯誤，請稍候片刻。前一個儲存格執行完畢後，Vertex AI 應會在 10 分鐘內更新已部署端點的流量分配設定。在進度值達到 100% 前，您無法使用這個端點執行任何線上預測。等待過程中，歡迎參閱「定義評估指標」一文，進一步瞭解什麼是 rogueL，以及為何適用於這個用途。

點選「Check my progress」，確認目標已達成。 評估微調模型。

恭喜！

在本實驗室，您學到如何運用 Vertex AI 的監督式微調功能，透過自訂資料微調 Gemini，提升圖像說明文字的生成品質。

後續行動/瞭解詳情

歡迎參考下列資源，進一步瞭解 Gemini：

• Gemini 簡介
• Vertex AI 生成式 AI 說明文件
• 透過 YouTube 瞭解生成式 AI
• 探索 Vertex AI 教戰手冊，瀏覽及搜尋眾多精心挑選的生成式 AI 筆記本。
• 前往 Google Cloud 生成式 AI 存放區，查看其他筆記本和範例。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 10 月 6 日

實驗室上次測試日期：2025 年 10 月 29 日

Copyright 2026 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。