GSP1154

總覽

Vertex AI 是全方位的機器學習開發平台，提供預測式和生成式 AI 功能，方便您訓練、評估及部署預測機器學習模型來預測趨勢。此外，您可以利用平台探索、調整及提供生成式 AI 模型來產生內容。

有了 Vertex AI Studio，您就能快速測試及自訂生成式 AI 模型，並用於應用程式。這個平台提供各種工具和資源，包括使用者介面 (UI) 和程式碼範例，即使您沒有機器學習相關背景，也能輕鬆開始使用生成式 AI。

本實驗室會逐步說明 Vertex AI Studio 的功能，協助您發揮先進生成式 AI 模型的潛在價值。您將探索 Gemini 的多種用途，直接在 Google Cloud 控制台透過 Gemini 進行分析圖片、設計提示詞及探索多模態功能，而且不需要 API 或 Python SDK，透過符合直覺的 UI 即可使用。

目標

本實驗室的學習內容包括：

• 運用多模態版 Gemini 分析圖片。
• 探索多模態功能。
• 使用樣本設計提示詞。
• 使用脈絡資訊設計提示詞。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

工作 1：運用 Gemini 分析圖片

在本節中，您將使用 Gemini 分析圖片，並從中擷取資訊。您可以設計提示詞，執行分類、擷取和生成等各種工作。

1. 在 Google Cloud 控制台點按「導覽選單」圖示 ，然後依序選取「Vertex AI」>「Vertex AI Studio」>「建立提示詞」。

UI 分為三大主要區塊：

• 「系統指令」(位於最上方)：模型會先處理這組指令，再處理提示詞。設定系統指令後，就會套用至整個要求。只要在提示詞中包含指令，就能用於多位使用者和模型的對話回合。建議您使用系統指令來調整模型行為，並告訴模型應如何回應提示詞。
• 「設定」(位於右方)：您可以在這裡選取模型 (包含第三方模型)、設定參數、使用工具 (例如建立基準)，以及設定進階選項。
• 「提示詞」(位於底部)：您可以在這裡建立運用多模態功能的提示詞。

2. 點按左上方的「未命名的提示詞」，然後將提示詞重新命名為 Image Analysis。

3. 在右側的「設定」部分，確認已選取「」模型。如有需要，您可以點按「switch model」變更模型，或瀏覽其他可用的模型。

注意：新模型發布時，模型名稱和版本可能會變更。

4. 在右側的「設定」部分，切換至「進階」選項，「區域」請選取「」。

5. 下載範例圖片。在時刻表圖片上按一下滑鼠右鍵，然後儲存到電腦。

6. 在「提示詞」部分的右下方，點按「插入媒體」 按鈕。

7. 在「選取來源」選單，點按「上傳」，然後選取剛才下載的時刻表圖片。插入的媒體可以是圖片、影片、文字或音訊檔案。

8. 上傳的圖片會顯示在「提示詞」部分中。請複製下列文字並貼到圖片底下，然後點按「提示詞」部分右下方的「提交」箭頭按鈕，或按下 Enter 鍵。

Title the image.

或更加明確：

Title the image in 5 words.

標題和預期的一樣嗎？請試著修改提示詞，看看結果是否不同。

9. 接著，請 Gemini 詳述圖片。將之前的提示換成下列文字，然後點按「提交詞」箭頭按鈕。

Describe the image in detail.

10. 在「設定」部分，切換至「進階」選項，並從左至右 (0-2) 捲動調整「溫度參數」，然後重新提交提示詞，與先前結果相比，觀察結果是否有任何變化。

注意：溫度參數會決定選取詞元時的隨機程度。如果希望提示詞生成正確或適當的回覆，建議使用較低的溫度參數。如果溫度參數較高，則有可能生成較多樣化、預料之外或可能有偏誤的結果。如果溫度參數為 0，系統一律會選取可能性最高的詞元。

11. 從圖片擷取文字。將之前的提示詞換成下列文字：

Read the text in the image.

接著，如要以清單呈現輸出內容，請將之前的提示詞換成下列文字：

Parse the time and city in this image into a list with two columns: time and city.

換您上場，請試試不同的提示詞，觀察結果和之前有何差異。

12. 分析圖片中的資訊。將之前的提示詞換成下列文字：

Calculate the percentage of the flights to different continents.

結果是否符合預期？強烈建議對不同的工作試試別的提示詞，或是用不同的溫度參數設定進行測試，觀察結果有何變化。

13. 設計好提示詞後，請點按工具列右上方的「儲存」來儲存提示詞。從下拉式選單中選取「」做為區域，然後點按「儲存」進行確認。

14. 前往左側導覽選單的「提示詞管理」，找到先前儲存的提示。

注意：選取「儲存」後，請先稍候幾秒鐘，等提示詞正確儲存完畢，再進行實驗室的後續步驟。

點按「Check my progress」確認目標已達成。

擷取圖片內容。

工作 2：探索多模態功能

除了圖片、文字和音訊，Gemini 也能以影片做為輸入內容，並輸出文字。

1. 依序前往「Cloud Storage」>「bucket」，複製 Cloud Storage bucket 名稱，供後續步驟使用：

2. 點按 Google Cloud 控制台頂端的「啟用 Cloud Shell」圖示 。

3. 在 Cloud Shell 終端機中執行下列指令，將影片樣本 gs://spls/gsp154/video/train.mp4 (預覽) 複製到 Cloud Storage bucket。請將 <Your-Cloud-Storage-Bucket> 替換成剛剛複製的 bucket 名稱。

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket> 注意：請務必將 <Your-Cloud-Storage-Bucket> 替換成您的 bucket 名稱。

4. 在「導覽選單」 中，依序選取「Vertex AI」>「Vertex AI Studio」>「建立提示詞」。

5. 在右側的「設定」部分，確認已選取「」模型。

注意：新模型發布時，模型名稱和版本可能會變更。

6. 切換至「進階」選項，「區域」請選取「」。

7. 在「提示詞」部分的右下方，點按「插入媒體」 按鈕。

8. 在「選取來源」選單中，選取「從 Cloud Storage 匯入」。

9. 依序點按 bucket 名稱、影片樣本「train.mp4」和「選取」。

10. 插入下列提示詞並點按「提交」箭頭按鈕，生成影片相關資訊。

Title the video.

11. 然後插入下列提示，讓模型詳細說明影片：

Describe the video in detail.

如要進一步瞭解設計多模態提示詞，請點按這裡。

工作 3：使用樣本設計提示詞

在本節中，您將瞭解如何在 Vertex AI Studio 設計文字提示詞。

提示詞設計

您可以視需求輸入文字，例如向模型提問，模型就會根據提示詞結構回覆。找出及設計最適當的輸入文字 (提示詞)，讓模型提供所需的回覆，這個過程稱為提示詞設計。

提示詞設計方法

設計提示詞的方法主要有三種：

• 零樣本提示：僅給予 LLM 工作說明的提示詞，而不提供其他資料。舉例來說，如果要 LLM 回答問題，就直接輸入「什麼是提示詞設計？」這樣的提示詞。
• 單樣本提示：針對要求 LLM 執行的工作給予一個工作樣本。舉例來說，如果要 LLM 寫詩，您可以先提供一段詩詞樣本。
• 少量樣本提示：針對要求 LLM 執行的工作給予少量工作範例。舉例來說，如果要 LLM 撰寫新聞報導，您可以先提供幾篇報導。

參數

您可以調整「溫度參數」和「詞元限制」這兩項重要參數，改變模型的回覆。

• 溫度參數會決定選取詞元時的隨機程度。如果希望生成正確或適當的回覆，建議調低溫度參數。如果溫度參數為 0，模型一律會選取可能性最高的詞元。如果溫度參數較高，可能會生成多樣化、預料之外或可能有偏誤的結果。 模型的溫度參數範圍為 0 到 2，預設值為 1。
• 輸出詞元限制會決定個別提示詞的輸出文字數量上限，一個詞元約為四個字元。

零樣本提示

1. 點按工具列上的「清除」圖示來清除提示詞。

2. 在右側的「設定」部分，確認已選取「」模型。

注意：新模型發布時，模型名稱和版本可能會變更。

3. 切換至「進階」選項，「區域」請選取「」。

4. 將下列文字複製到提示詞輸入欄位：

What is a prompt gallery?

5. 點選「提交」箭頭按鈕。

模型會回覆「prompt gallery」一詞的完整定義。

6. 您可以試試下列幾個做法，瞭解提示的運作原理。使用相同提示詞，但在「設定」部分的「進階」欄位中：

• 將「輸出詞元限制」參數調整為「1024」，然後點按「提交」箭頭按鈕。
• 將「溫度參數」調整為「0.5」，然後點選「提交」箭頭按鈕。
• 將「溫度參數」調整為「2.0」，然後點選「提交」箭頭按鈕。

看看回覆是否隨著參數而改變。

單樣本提示

您可以更有條理地設計提示詞，在相應輸入欄位中提供情境和樣本。使用單樣本提示方法時，您必須針對要求執行的工作，為模型提供單一樣本。在本節中，您將要求模型完成一個句子。

1. 點按工具列上的「清除」圖示來清除提示詞。

2. 在「提示詞」部分的右下方，點按「新增樣本」 按鈕。

畫面上會出現新視窗，您可以在提示詞中新增樣本。

3. 將下列文字新增至「輸入內容」欄位：

The color of the grass is

4. 將下列文字新增至「輸出內容」欄位：

The color of the grass is green

5. 點按「新增樣本」按鈕。

6. 新增樣本後，您應該會看到兩個需要填寫的部分：「輸入內容」和「提示詞」。除了提示詞外，您還必須提供另一個樣本輸入內容，才能提交。

7. 在「輸入內容」欄位輸入下列內容：

The color of the sky is

8. 在「提示詞」欄位輸入下列內容：

Answer the following questions.

「提示詞」部分應會如下所示：

9. 點按「提交」箭頭按鈕。模型回覆大致如下：

The color of the sky is blue

由於您為模型提供了一個樣本做為輸出基礎，因此模型沒有接續完成句子，而是另外提供一個完整的句子。如要讓模型改為接續完成句子，您可以調整「輸出內容」欄位中提供的樣本。

10. 點按「提示詞」方塊中的「編輯」按鈕來編輯提示詞：

11. 點按樣本進行編輯，讓「輸出內容」變為下列內容：

Green

樣本提示詞現在應該變為下列內容：

input: The color of the grass is output: Green

12. 點按「提交」箭頭按鈕。模型回覆大致如下：

Blue

如您所見，模型現在可根據您提供的樣本完成句子，表示您已成功改變模型的回覆方式。

少量樣本提示

在下一個練習中，您將使用少量樣本提示，透過模型對句子執行情緒分析，例如判定電影評論為正面或負面。

1. 點按工具列上的「清除」圖示來清除提示詞。

2. 在「提示詞」部分的右下方，點按「新增樣本」 按鈕。

3. 請新增以下樣本：

輸入內容	輸出內容
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

4. 新增樣本後，點選「新增樣本」按鈕。

5. 新增樣本後，您應該會看到兩個需要填寫的部分：「輸入內容」和「提示詞」。除了提示詞外，您還必須提供另一個樣本輸入內容，才能提交。

6. 在「輸入內容」欄位輸入下列內容：

It was a time well spent!

7. 在「提示詞」欄位輸入下列內容：

Perform sentiment analysis on the following text.

8. 點按「提交」箭頭按鈕。模型回覆大致如下：

positive

這次模型會對輸入文字提供情緒分析結果，像是「看完覺得有收穫！」，就會標為「正面」。

9. 設計好提示詞後，請命名為 Sentiment Analysis。

10. 點按工具列右上角的「儲存」，並選取「」區域，即可儲存提示詞。

注意：如果提示詞已經自動儲存，請確認提示名稱正確無誤，且顯示在「提示詞管理」頁面中。

點按「Check my progress」確認目標已達成。

使用文字來建立提示詞

工作 4：使用脈絡資訊設計提示詞

系統指令是初始指令，可用來塑造模型的行為、對後續提示詞的回覆，且能自訂角色、格式、語氣和特定工作規則。系統指令在同一個要求、多個使用者和模型的互動中會持續生效，但使用者應該避免包含私密資訊，以免違反資料使用政策。

這些指令用途廣泛，可用於開發聊天機器人、生成結構化輸出內容，以及提供特定語言的回覆等情境，但無法完全避免模型產生未預期的行為。

1. 在 Google Cloud 控制台點按「導覽選單」圖示 ，然後依序選取「Vertex AI」>「Vertex AI Studio」>「建立提示詞」。

2. 在右側的「設定」部分，確認已選取「」模型。

注意：新模型發布時，模型名稱和版本可能會變更。

3. 在右側的「設定」部分，切換至「進階」選項，「區域」請選取「」。

在這個部分，您會新增系統指令，讓模型根據這些脈絡資訊回覆內容。

4. 點按「系統指令」，新增下列脈絡資訊：

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. 插入下列提示詞：

My computer is so slow! What should I do?

6. 點選「提交」箭頭按鈕。

模型應會回覆下列內容：

Have you tried turning it off and on again?

7. 在「系統指令」，點按「清除值」圖示 。

8. 點按「系統指令」，新增下列脈絡資訊：

Your name is Roy. You are a support technician of an IT department. You are here to support the users with their queries.

9. 插入下列提示詞：

My computer is so slow! What should I do?

10. 點選「提交」箭頭按鈕。

現在收到使用者查詢後，模型應該會回覆較有幫助的內容。

歡迎使用不同的提示詞和情境資訊進行實驗，看看模型會如何回覆。您也可以在聊天提示詞加入更多脈絡資訊，看看模型如何根據這些內容回覆。

11. 設計好提示詞後，請命名為 Support Technician Helper。

點選「Check my progress」確認目標已達成。

使用聊天提示詞建立對話

恭喜！

恭喜！在本實驗室中，您已成功運用 Gemini 的功能分析圖片和影片等多媒體內容，並證明自己熟悉零樣本、單樣本和少量樣本提示技巧，可運用在問題回答和情緒分析。另外，您也成功運用系統指令建立了基本的 IT 聊天機器人。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 4 月 9 日

實驗室上次測試日期：2025 年 4 月 9 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。