GSP1154

總覽

Vertex AI 是全方位的機器學習開發平台，提供預測式和生成式 AI 功能，方便您訓練、評估及部署預測機器學習模型來預測趨勢。此外，您可以利用平台探索、調整及提供生成式 AI 模型來生成內容。舉例來說，保險公司不斷尋求提升效率的方法，希望改良理賠處理和風險評估等程序。針對這類挑戰，Vertex AI Studio 提供強大的工具，可快速設計出生成式 AI 解決方案的原型。

有了 Vertex AI Studio，您就能快速測試及自訂生成式 AI 模型，並用於應用程式。這個平台提供各種工具和資源，包括符合直覺的使用者介面 (UI)，即使沒有豐富的機器學習相關背景，也能輕鬆開始使用生成式 AI。

本實驗室會引導您逐步探索 Vertex AI Studio，協助您發揮 Gemini 等先進生成式 AI 模型的潛力。您將扮演保險公司員工，協助設計風險分析助理原型。您會瞭解如何將提示詞構想轉化為可部署的應用程式、設計縝密的提示詞來達到特定生成結果，並運用多模態功能分析各種類型的資料 (包括圖像)，所有這些核心工作都能直接在 Google Cloud 控制台完成，不必透過 API 或 Python SDK 執行。

目標

本實驗室的內容包括：

• 根據提示詞建立應用程式。
• 設計有效的提示詞。
• 設計及管理提示詞。
• 使用多模態提示詞。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 點選「Start Lab」按鈕。如果實驗室會產生費用，畫面上會出現選擇付款方式的對話方塊。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的臨時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，選取「在無痕視窗中開啟連結」。

   接著，實驗室會啟動相關資源，並開啟另一個分頁，顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要使用 Google Cloud 產品和服務，請點選「導覽選單」，或在「搜尋」欄位輸入服務或產品名稱。

工作 1：根據提示詞建立應用程式

在這項工作中，您會瞭解如何透過 Vertex AI Studio，運用生成式 AI 助理將構想轉化為可實際運作的原型。這項工作會著重在保險業的應用實例：建立提示詞，協助保險專員總結客戶資訊來生成風險分析報告，並根據此提示詞建構簡單的應用程式。

1. 在 Google Cloud 控制台中點選「導覽選單」圖示 ，然後依序選取「Vertex AI」>「Vertex AI Studio」>「總覽」。

2. 在 Vertex AI 選單中，依序點選「Vertex AI Studio」和「建立提示詞」，即可前往提示詞編輯器頁面。

UI 分為三大區塊：

• 「系統指令」(位於最上方)：模型會先處理這組指令，再處理提示詞。設定系統指令後，就會套用至整個要求。只要在提示詞中包含指令，就能用於多位使用者和模型的對話回合。建議您使用系統指令來調整模型行為，告訴模型應如何回應提示詞。
• 「設定」(位於右方)：您可以在這裡選取模型 (包含第三方模型)、設定參數、使用工具 (例如建立基準)，以及設定進階選項。
• 「提示詞」(位於底部)：您可以在這裡建立運用多模態功能的提示詞。

3. 載入新的未命名的提示詞頁面後，點選左上角的「未命名的提示詞」，並重新命名為 Insurance Risk Summary - Prototype。

4. 在主畫布中，點選「系統指令」文字方塊，並輸入下列內容，為 AI 助理指派保險情境相關角色：

   You are an expert AI assistant for an insurance underwriting department. Your primary goal is to help underwriters by accurately and concisely summarizing client information and highlighting potential risk factors. Maintain a professional and objective tone. Focus only on the information provided in the prompt. Do not invent details.

5. 在系統指令下方，頁面底部的主要提示詞區域中，貼上以下內容：

   Customer Notes for 'SafeHarbor Warehousing': "The applicant is seeking coverage for their 50,000 sq ft warehouse. The business is 5 years old. The building is a concrete tilt-up structure, originally built in 2010. They store a variety of non-hazardous dry goods. Fire safety measures include a full sprinkler system, a centrally monitored fire alarm, and documented annual inspections by a certified third party. Security measures include a 24/7 centrally monitored burglar alarm, comprehensive security camera coverage of the interior and exterior, a fully fenced perimeter, and nightly patrols by a contracted security guard service. The company reports no major property or liability losses in their 5-year history. They have specifically asked to ensure their new automated shelving and retrieval system, installed last month, is adequately covered under the policy." Your Task: 1. Briefly summarize the key details of the 'SafeHarbor Warehousing' business and its existing safety measures. 2. Based *only* on the notes provided, identify any immediate questions an underwriter should ask or potential risk factors they should consider further. Present the summary first, then the questions/risk factors as bullet points.

6. 在右側的「設定」部分中：

   • 確認已選取「」模型。如要變更模型，請點選「Switch model」。
   • 如果尚未設定，請切換至「進階」選項，「區域」請選取「」。

7. 點選「提交」箭頭按鈕 (通常位於提示詞輸入區域的右下方)，或按 Ctrl + Enter 鍵。查看模型的回覆。

8. 點選頁面頂端的「儲存」按鈕。在「儲存提示詞」對話方塊中，系統應會預先填入名稱 Insurance Risk Summary - Prototype。確認「區域」正確無誤 ()，然後點選「儲存」。

9. 接下來，您將瞭解如何將這份提示詞草稿轉化為原型應用程式。點選頁面右上方的「使用程式碼建構」按鈕。在隨即出現的下拉式選單中，選取「部署為應用程式 (由 Cloud Run 提供支援)」。

10. 在隨即出現的「部署至 Cloud Run」對話方塊中，執行下列操作：

    • 如果系統提示，您可能需要啟用服務 (例如 Cloud Build API 或 Cloud Run API)。如有需要，請點選「啟用」並等待服務開啟。
    • 勾選「確認聲明」，公開部署應用程式。
    • 點選「建立應用程式」。

11. 部署作業隨即會開始，可能需要幾分鐘才能完成。您可能會在 UI 中看到類似下方的狀態更新：

12. 完成後，請點選「管理網頁應用程式」方塊中的「關閉」按鈕。接著，請再次點選頁面右上方的「使用程式碼建構」按鈕，開啟新部署的應用程式。在下拉式選單中選取「開啟應用程式 (由 Cloud Run 提供支援)」。系統會在新的瀏覽器分頁中開啟「Vertex AI 生成式 AI 應用程式」。

13. 您現在應會看到標題為「歡迎使用 Vertex AI 生成式 AI 應用程式！」的網頁，並顯示提示詞標題「Insurance Risk Summary - Prototype」。

14. 在「聊天機器人」部分底部的「Type a message...」欄位中，輸入新的測試訊息。例如：

    New Customer Inquiry: "Applicant 'Coastal Goods Delivery' has a fleet of 10 delivery vans, all equipped with GPS and telematics. They operate within a 100-mile radius of their depot. Drivers undergo annual safety training. They had one minor fender bender last year, no injuries, $1500 damages. What are the primary risk considerations?" Please summarize key points and identify potential risks.

15. 點選提交箭頭按鈕，將訊息傳送至應用程式。

16. 觀察部署的生成式 AI 應用程式回覆，該應用程式應會根據您在 Vertex AI Studio 定義的邏輯和系統指令處理輸入內容。

注意：如應用程式頁面上的警告所示，這個應用程式預設會允許未經驗證的存取要求。在實際工作環境中，您需設置適當的安全性設定。本實驗室使用預設值即可，您可以放心探索。

17. 您已完成整個循環：
    • 在 Vertex AI Studio 設計提示詞。
    • 按幾下滑鼠，就成功轉化提示詞，運用 Cloud Run 部署為無伺服器應用程式。
    • 透過網頁介面直接開啟生成式 AI 模型並互動，這展現了 Vertex AI Studio 的強大之處，能快速設計出生成式 AI 功能的原型並部署完成。

點選「Check my progress」確認目標已達成。

使用 Vertex AI Studio 建立提示詞應用程式。

工作 2：設計有效的提示詞

在工作 1 中，您已設計出初始提示詞的原型。接著，您將深入瞭解如何修正提示詞，讓生成式模型生成更精確、受控且實用的內容，這也是提示工程的核心技能。您將繼續以保險為主題，嘗試從理賠文件中擷取特定資訊，或提升摘要品質。

零樣本提示

首先，您會建立新的提示詞，用以探索提示詞設計的詳細程序。

1. 確認您目前位於 Vertex AI Studio 的主要區域。如果您先前在查看工作 1 中部署的應用程式，請關閉該瀏覽器分頁，並返回 Google Cloud 控制台。

2. 從「導覽選單」 依序選取「Vertex AI」>「Vertex AI Studio」>「建立提示詞」。

3. 如果從顯示「Prompt samples」的新提示詞頁面開始，請點選左上角的「未命名的提示詞」，並重新命名為 Insurance Claim Data Extraction。

4. 請熟悉這部分的情境：「保險理賠人員經常會收到新理賠案件未經整理的備註或電子郵件，他們需要快速從中擷取重要資訊，並輸入理賠管理系統。」

5. 在「系統指令」方塊中，輸入下列內容：

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

6. 在主要提示詞區域中，貼上以下未經整理的理賠備註樣本：

   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

7. 在右側的「設定」部分中：

   • 選取「」模型。
   • 將「溫度參數」設為 0.1，以便擷取更符合事實、創意度較低的內容。
   • 將「輸出詞元限制」設為合理的數字，例如 1024。
   • 確認「區域」為「」。

8. 點選「提交」箭頭按鈕，查看輸出內容。這種不提供明確樣本執行的第一次嘗試，稱為零樣本提示。

9. 檢查零樣本提示的回覆後，請點選頂端工具列中的「清除」圖示，清除整個提示詞畫布。此為必要步驟，因為通常只能在新提示詞中新增樣本。

少量樣本提示

通常只要提供幾個樣本 (即「少量樣本提示」)，就能大幅提升模型成效，尤其是在處理特定格式或進行精細擷取時。

1. 在「提示詞」部分的右下方，點選「新增樣本」 按鈕。

畫面上會出現新視窗，您可以在提示詞中新增樣本。

2. 在隨即顯示的「樣本」介面中：

   • 在第一個樣本的「輸入內容」中，貼上以下未經整理的備註：
   Claim Notification Received: "Email from John Sterling (policy POL77521) re: water damage at his shop. Happened sometime last night, May 10th, 2025. A pipe burst in the ceiling. Stockroom is flooded, some damage to inventory. He's not sure on the cost yet, maybe $5k-$10k? No one was there, so no injuries." Extract the following: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported
   • 在第一個樣本的「輸出內容」中，貼上以下格式正確的擷取內容：
   Policy Number: POL77521 Claimant Name: John Sterling Date of Loss: May 10th, 2025 Time of Loss: Night Type of Loss: Water damage Brief Description of Damage: Pipe burst in ceiling, stockroom flooded, some damage to inventory. Estimated Loss Amount: $5,000 - $10,000 Injuries Reported: No
   • 點選「新增樣本」按鈕，儲存這個樣本並返回主要提示詞區域。

3. 重新新增系統指令：清除提示詞也一併清除了系統指令，因此請再次將指令貼回頂端的「系統指令」方塊中：

   You are an AI assistant specializing in parsing and extracting specific data points from unstructured insurance claim notifications. Your goal is to identify and list key information accurately. If a piece of information is not found, clearly state "Not found". Output the extracted information in a key: value format, with each key on a new line.

4. 提供新的輸入內容和提示詞：

   • 在標示為「(Input) 在這裡輸入值...」的區域中，貼上 Eleanor Vance 女士的原始理賠通知，讓模型立即處理：
   Claim Notification Received: "Hi team, just got a call from Mrs. Eleanor Vance, policy #POL458892. She reported a kitchen fire that occurred on May 12th, 2025, around 3 PM. The main damage seems to be to the oven and surrounding cabinets. She mentioned smoke damage in the kitchen and dining area too. She thinks the total damage might be around $7,500. Her contact is 555-0123. No injuries reported, thankfully."

5. 在輸入欄位下方標為「在這裡撰寫提示詞」的區域中，向模型提供指令。這麼做會告訴模型如何處理輸入文字，並以樣本做為指引。輸入下列指令：

   Extract the following data points from the provided claim notification: - Policy Number - Claimant Name - Date of Loss - Time of Loss - Type of Loss - Brief Description of Damage - Estimated Loss Amount - Injuries Reported

6. 確認模型、溫度參數、詞元限制、區域等設定仍符合需求 (例如溫度參數為設為 0.1)。

7. 再次點選「提交」箭頭按鈕。請比較這項新輸出內容與先前嘗試的零樣本提示結果。由於使用少量樣本和結構化輸入法，請注意準確度是否明顯提升，或格式是否更符合需求。

測試提示詞設定

接著說明右側「設定」面板中的不同參數如何影響模型回覆。請確認使用少量樣本的「Insurance Claim Data Extraction」提示詞已啟用。

1. 測試「溫度參數」：

   • 說明：溫度參數會決定隨機程度。較低的值 (如 0.0 到 0.2) 可提高輸出內容的精確度與確定性，較高的值 (如 0.7 到 1.0) 則可讓模型的回覆更多樣或更有創意。
   • 試試看：將「溫度參數」改為 0.7，並點選「提交」，注意是否有任何變化，接著再將「溫度參數」改回 0.1。

2. 測試「輸出詞元限制」：

   • 說明：設定模型回覆中可生成的詞元 (字詞片段) 數量上限。
   • 試試看：將「輸出詞元限制」設為非常小的數字，例如 20，並點選「提交」，觀察輸出內容是否遭到截斷，接著再重設為適當的值，例如 1024 或預設值。

3. 測試「Top-P」：

   • 說明：「Top-P」(核心取樣) 也會決定隨機程度。模型只會考慮機率最高的詞元，且這些詞元的機率總和必須超過 Top-P 值。如果值為 1.0，模型會考量所有詞元。降低 Top-P (例如設為 0.8) 可讓輸出內容更精準，與調低溫度參數的效果相似。
   • 試試看：將「溫度參數」設為 0.1，或稍微調高至 0.5，以便更清楚觀察 Top-P 效果，並將「Top-P」設為 0.8，點選「提交」。接著將「Top-P」設為 1.0，點選「提交」並觀察是否有細微差異。

4. 簡單檢查「進階」設定面板中的其他項目：

   • 「安全篩選器設定」：這些設定預設為啟用狀態，有助於封鎖有害內容。在本實驗室中，請使用預設設定。

點選「Check my progress」確認目標已達成。

Vertex AI Studio 中的提示工程。

工作 3：設計及管理提示詞

有了可用的提示詞後，通常會想嘗試變更指令或模型設定，看看是否能提升回覆品質，這就是 Vertex AI Studio「比較」功能的用途。這個部分會用到我們剛才建立的提示詞。

1. 確認您目前位於 Vertex AI Studio 的主要區域。如果您先前在查看工作 1 中部署的應用程式，請關閉該瀏覽器分頁，並返回 Google Cloud 控制台。

2. 前往「Create a new prompt」頁面，從「導覽選單」 依序選取「Vertex AI」>「Vertex AI Studio」>「建立提示詞」。

3. 點選左上角的「未命名的提示詞」，並重新命名為 Comparison Base - Restaurant Risks。

4. 設定下列簡單的基本提示詞：

   • 在「系統指令」方塊中，輸入下列內容：
   You are an insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. Be concise.
   • 在主要提示詞區域中 (即標為「在這裡撰寫提示詞」的位置)，貼上以下內容：
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • 在右側的「設定」部分中：
     • 選取「」模型。
     • 將「溫度參數」設為 0.2。
     • 確認「區域」為「」。

5. 點選「提交」箭頭按鈕，查看模型的初始回覆。

6. 點選「儲存」按鈕。確認名稱為 Comparison Base - Restaurant Risks，然後儲存。一般來說，您必須先儲存提示詞，才能在部分比較工作流程中有效運用，尤其是日後打算與儲存的提示詞相比較時。

7. 系統顯示 Comparison Base - Restaurant Risks 提示詞和回覆時，點選頂端工具列中的「比較」按鈕。

   注意：如果系統提示，請點選「不儲存而直接離開」，然後按一下「繼續」。

8. 「比較」介面隨即會開啟。系統通常會在左側欄中顯示 Comparison Base - Restaurant Risks 提示詞、設定和最新回覆。

修改提示詞指令來比較

接著說明更改指令對「The Fiery Grill」的輸出內容有何影響。在「比較」檢視畫面中，比較窗格可能沒有獨立的「系統指令」欄位；如果沒有，請在主要提示詞開頭加上系統層級指令。

1. 在「比較」介面的中央區域 (或第一個提示詞的右側)，點選「+ 比較新提示詞」按鈕。

2. 畫面右側隨即會顯示新提示詞編輯窗格。

3. 將第二個新提示詞設為變化版本：

   • 在右側窗格中，將下列指令和情境的組合，貼到提示詞的單一大型文字方塊中：
   You are an expert insurance risk analyst assistant. Your task is to identify potential risk factors from a given scenario. For each risk factor, also briefly suggest a potential mitigation strategy or question for the underwriter. Be clear and structured. Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.
   • 這個變化版本的設定：
     • 確認「模型」與第一個提示詞都是「」。
     • 將「溫度參數」保持在 0.2。
     • 「詞元數量上限」和「區域」等其他設定，請與第一個提示詞保持一致，以便釐清指令變更的影響。
     • 在窗格中向下捲動，然後點選「套用」。

4. 在右側窗格中設置新提示詞變化版本的文字和設定後，請點選「提交提示詞」按鈕 (通常位於「比較」介面頂端)。

5. 等待兩個提示詞生成回覆，然後並排查看。由於已修改指令，第二個提示詞現在是否包含因應策略或問題？

6. 點選「另存為新提示詞」，輸入想要的「提示詞名稱」，然後按一下「儲存」來儲存為新的提示詞。

與不同溫度參數設定相比較

接下來會使用比較窗格測試不同溫度參數。

1. 在第二個提示詞窗格 (右側窗格) 的文字方塊中：

   • 提示詞文字：將提示詞文字還原為原始的簡單版本，不含關於因應策略的系統指令。複製並貼上 Comparison Base - Restaurant Risks (左側窗格) 中的提示詞：
   Scenario: "The applicant, 'The Fiery Grill,' is a new upscale restaurant specializing in wood-fired oven pizzas and open-flame grilling. They have installed a brand new, custom-built fire suppression system for their cooking area, but it has not yet been certified by a third party. The restaurant plans to feature live acoustic music on weekend evenings and has a small, raised stage area. They also want to offer valet parking." Based on this scenario, list three primary risk factors an underwriter should consider.

   * 如果比較檢視畫面中沒有此窗格的系統指令方塊，請務必在此處開頭重新補上系統指令「You are an insurance risk analyst assistant...」(如果指令曾被清除)；或者，如果左側窗格中的原始系統指令可全域套用，則沿用該指令即可。

   

2. 在文字方塊下方，點選第二個提示詞窗格中的「編輯」(鉛筆) 圖示：

   • 設定變更：在第二個提示詞窗格的設定中，將「溫度參數」變更為 2.0。確認模型仍為「」。
   • 在窗格中向下捲動，然後點選「套用」。

3. 再次點選「提交提示詞」。

4. 觀察回覆的差異。在第二個提示詞中，較高的溫度參數 2.0 是否導致模型列出的風險因素較不精確、推測性更高，或是與 0.2 溫度參數輸出結果相比，有明顯差異？注意：將溫度參數設為這麼高的值，可能會導致輸出內容的一致性或相關性降低，但這能展現該參數的極大影響力。

5. 點選第二個提示詞窗格下方的「更新」按鈕來更新變更。

比較不同模型和設定

接下來，您會嘗試將基礎模型與其他模型和設定相比較，觀察推理或輸出內容風格的差異。

1. 在第二個提示詞窗格 (右側窗格) 的文字方塊中：

   • 提示詞文字：請使用同一個原始「Fiery Grill」情境，並要求模型列出三個風險因素，就像在 Comparison Base - Restaurant Risks (左側窗格) 中一樣。再次提醒您，請務必確保這個窗格中已包含有效的基礎系統指令，如有需要，請在開頭補上指令，或確認 UI 已自動帶入。

2. 在文字方塊下方，點選第二個提示詞窗格中的「編輯」(鉛筆) 圖示：

   • 這個變化版本的設定變更：
     • 在這個窗格的模型下拉式選單中，將「模型」變更為「」。
     • 將「溫度參數」設為 0.2。
     • 將「輸出詞元限制」設為 65535，或 UI 中模型允許的最大值。
     • 在窗格中向下捲動，然後點選「套用」。

3. 點選「提交提示詞」。

4. 查看回覆。比較「」(左側窗格) 和「」(右側窗格) 的輸出內容。

請留意模型識別出的風險因素、提供的詳細資料、回覆結構，或根據情境推理的方式是否有任何差異。

5. 請務必點選第二個提示詞窗格下方的「更新」按鈕，儲存新的變更。

其他比較選項簡介

Vertex AI Studio 提供其他方法來新增提示並進行比較：

1. 請注意，在新增「新提示詞」來互相比較的區域中，有「+ 比較儲存的提示詞」按鈕。

   • 點選這個按鈕，即可從「提示詞管理」中選取先前儲存的提示詞來比較。注意：如 UI 所說明 (同時為釐清「對話記錄」的範圍)，提示詞比較功能有限制。舉例來說，這項功能不支援對話、包含媒體檔案，或含有多次對話記錄互動的提示詞。

2. 您可能也會看到「+ 基準真相」按鈕。

   • 這項功能可讓您輸入「理想」或「完美」的提示詞回覆。如果提供基準真相，系統可能會提供更詳盡的評估指標，這對進階提示詞測試很有幫助，但不在本入門實驗室的範圍內。在本實驗室中，並排比較就足夠了。

3. 點選「比較」介面左上方的「返回」箭頭，結束「比較」檢視畫面並返回主要提示詞編輯介面 (例如要繼續處理您偏好的版本時)。

提示詞管理

在嘗試不同的指令、樣本和設定時，請務必儲存工作。儲存提示詞可讓您：

• 整理實驗。
• 輕鬆重複使用有效的提示詞。

Vertex AI Studio 提供「提示詞管理」功能，可協助您達成這項目標。

儲存提示詞

假設您剛完成一個想儲存的疊代作業，例如比較練習中的提示詞變化版本，或經過修正的「Insurance Claim Data Extraction」提示詞。

1. 確認您要儲存的提示詞在主要提示詞編輯介面中為有效狀態，例如您可能剛退出「比較」檢視畫面，並開啟偏好的版本，或是您目前正在 Comparison Base - Restaurant Risks 提示詞中。

2. 如果您已儲存提示詞，頂端工具列上會顯示「自動儲存」按鈕。初次儲存提示詞後，系統會預設啟用「自動儲存」功能。如要停用這項功能，請點選按鈕並選取「停用自動儲存功能」。

存取提示詞管理

儲存提示詞後，您可以前往「提示詞管理」管理提示詞。

1. 前往「Create a new prompt」頁面，從「導覽選單」 依序選取「Vertex AI」>「Vertex AI Studio」>「提示詞管理」。

2. 您會看到已儲存的提示詞清單，通常會列出提示詞的名稱、媒體、模型和上次修改日期。

3. 您可以在這個頁面查看、刪除或匯出已儲存的提示詞，並運用最佳化工具來改良提示詞。

點選「Check my progress」確認目標已達成。

比較、評估和管理提示詞。

工作 4：透過 Gemini 使用多模態提示詞

在這項工作中，您會使用 Vertex AI Studio 的主要提示詞介面和 Gemini 模型，分析圖像並從中擷取資訊。您會瞭解如何設計提示詞來執行各種分析工作，例如根據圖像內容生成說明、擷取文字及回答問題。

1. 在 Google Cloud 控制台點選「導覽選單」圖示 ，然後依序選取「Vertex AI」>「Vertex AI Studio」>「建立提示詞」。

2. 點選左上方的「未命名的提示詞」，並重新命名為 Timetable Image Analysis。

3. 在右側的「設定」面板中：

   • 確認已選取「」模型。如要變更模型，請點選「Switch model」。
   • 切換至「進階」選項，「區域」請選取「」。

4. 將範例時刻表圖像下載至本機電腦：

   • 在下方圖像上按一下滑鼠右鍵，然後儲存圖像：

5. 在「提示詞」部分 (位於頁面底部)，點選「Insert Media」 按鈕 (通常位於提示詞輸入區域右側)。

6. 在隨即顯示的「選取來源」選單，點選「上傳」，然後選取剛剛下載至電腦的時刻表圖像檔案。圖像會直接顯示在提示詞輸入區域中。

注意：您會看到幾個用來取得媒體的選項。這些選項通常包括直接「上傳」、「透過網址提供」檔案、「從 Cloud Storage 匯入」或「Google 雲端硬碟」，甚至是「YouTube 影片連結」。本實驗室會以直接上傳為主。

7. 您現在可以要求模型對圖像執行幾項工作。在提示詞輸入欄位中插入的圖像下方，貼上以下提示詞：

1. Provide a concise title for this image (under 5 words). 2. Describe the image in one or two sentences. 3. Extract all visible text from the image. Present the flight schedule as a clearly formatted list with columns for "Time" and "City".

8. 點選「提示詞」部分右下方的「提交」箭頭按鈕，查看模型回覆。

9. 接著，您可以提出需要根據擷取資訊推理才能回答的問題。將先前的文字提示詞換成下列內容 (圖像不變)：

Based on the flight schedule shown in the image, what percentage of the listed flights depart before 11:30 AM? Show your calculation if possible.

10. 點選「提交」箭頭按鈕，查看回覆。

11. 快速觀察溫度參數對結果的影響。在右側的「設定」面板中：

    • 將「溫度參數」調整為 0.8。
    • 重新提交與步驟 9「完全相同的提示詞」(「Based on the flight schedule... percentage...」)。
    • 注意說明的風格、可信度或細節是否有變化。
    • 觀察後，將「溫度參數」設回較低的值，例如 0.2，取得更符合預期的回覆。

注意：溫度參數會決定隨機程度。較低的值 (如 0.0 到 0.2) 可讓模型提供符合事實的回覆，較高的值 (如 0.7 到 1.0) 則可讓模型的回覆更多樣或更有創意，但可能不適用於精確擷取或分析資料。

12. 探索完各項設定並對成果感到滿意後，請儲存工作。點選頂端工具列中的「儲存」按鈕。
    • 系統會預先填入名稱 Timetable Image Analysis。
    • 確認「區域」為「」。
    • 在對話方塊中點選「儲存」。

注意：點選「儲存」後請稍候片刻，等提示詞儲存完畢再繼續操作，請勿立即離開。

點選「Check my progress」確認目標已達成。

在 Vertex AI Studio 使用 Gemini 分析圖像。

工作 5：探索 Vertex AI Media Studio

Vertex AI Studio 提供強大的工具，可直接透過文字提示詞，或是調整現有媒體來生成各種媒體類型，而不只是生成文字內容。在這項工作中，您會瞭解如何生成圖像、影片和語音。

1. 確認您目前位於 Vertex AI Studio 中。如果不是，請從「導覽選單」 依序選取「Vertex AI」>「Vertex AI Studio」>「Media Studio」。您應該會看見類似下方的頁面：

使用 Imagen 生成圖像

我們先來生成圖像。

1. 在「Media Studio」到達網頁的「依據文字提示詞生成」部分下方，點選「Imagen - Generate images」。

2. 在底部的文字提示詞區域，輸入說明提示詞，例如：

   A close-up, photorealistic image of a single honeybee collecting pollen from a vibrant purple lavender flower, with a softly blurred garden background.

3. 在右側的「設定」面板中：

   • 確認「模型」已設為「Imagen 4」或最新的支援模型。
   • 在「顯示比例」部分，選取「1:1」。
   • 將第一次生成作業的「結果數量」設為 4。
   • 檢查「安全性」設定，例如「Person generation」、「安全性篩選器門檻」請保留為預設值，或根據這項非以人物為主的提示詞需求自行調整。

4. 點選提示詞區域右下方的「提交」按鈕。

5. 過幾秒後，生成的圖像就會顯示在主要區域中。

6. 點選其中一個生成的圖像縮圖，即可開啟詳細資料檢視畫面。

7. 在右側的「Image details」窗格中：
   • 查看可用的「AI 動作」，例如「圖像修復」(使用遮罩新增/移除元素)、「外擴」(外擴圖像) 和「匯出圖像」(可放大圖像)。
   • 留意「SynthID detected」是否以綠色勾號標示。
   • (選用)：選取「圖像修復」或「外擴」，用這兩個動作探索 Imagen 的功能。

什麼是 SynthID？

SynthID 是 Google DeepMind 開發的技術，可將數位浮水印直接嵌入 AI 生成圖像的像素中。這類浮水印經過特殊設計，人眼無法辨識，但演算法可以偵測到。這種浮水印旨在協助識別 AI 生成圖像，促進資訊公開和負責任的 AI 做法，即使圖像日後經過修改 (例如壓縮或套用濾鏡) 也能夠識別。

使用 Veo 生成影片

接著來生成短片。您會使用 Media Studio 工具中的快速導覽工具列。

1. 在頁面最左側的小型垂直工具列中 (包含圖像、音訊、音樂、影片等不同媒體類型的圖示)，點選看起來像攝影機的「影片」圖示，切換至影片生成工具，Veo 介面隨即會開啟。

2. 在底部的文字提示詞區域中，輸入生成短片的提示詞。例如：

Drone shot slowly flying over vast green hills at golden hour.

3. 在右側的「設定」面板中：

   • 確認「模型」已設為「Veo 2」或最新的 Veo 模型可用版本。
   • 將「顯示比例」設為「16:9」。
   • 將「結果數量」設為 1。
   • 將「影片長度」設為「5 秒」或類似的短片長度。
   • 在「輸出內容目錄」中點選「瀏覽」。
     • 如果專案的 bucket 列在清單中，請選取該 bucket。
     • 如果沒有，或者您需要指定路徑，可能要輸入 gs:///` (請務必在結尾加上斜線)，或使用導覽功能找到該 bucket。
     • 點選「選取」即可確認輸出內容目錄。
   • 確認已勾選「Enable prompt enhancement」。
   • 檢查「安全性」設定。

4. 點選「提交」按鈕。

5. 生成影片的時間可能比生成圖像更長，準備就緒後，影片就會出現，您應該可以在介面中播放影片。

6. (選用)：您也能點選影片，探索與影片相關的 AI 動作，例如「新增音軌」或「新增旁白」。

點選「Check my progress」確認目標已達成。

探索 Vertex AI Media Studio。

使用 Chirp 生成語音 (選用)

如果想瞭解 AI 生成的語音：

1. 在最左側的小型垂直工具列中，點選看起來像麥克風的「音訊」圖示，切換至語音生成工具，Chirp 介面隨即會開啟。

2. 如果專案尚未啟用 Cloud Text-to-Speech API，您可能會收到啟用這項 API 的提示。如果尚未啟用，請點選「啟用」，然後等待 API 啟用 (可能需要一點時間)。

3. 介面準備就緒後，請在底部的文字提示詞區域中，輸入要合成語音的文字。例如：

Welcome to the world of generative AI on Google Cloud

4. 在右側的「設定」面板中：

   • 選取「模型」，例如「Chirp 3. HD Voices」。
   • 選擇想要的「語言」，例如「English (US)」。
   • 從下拉式選單中選取「語音」。您可以試聽幾種不同的聲音，瞭解各自的特色。
   • 如有需要，歡迎探索各種「進階選項」。

5. 點選「提交」按鈕。

6. 處理完畢後，您應該可以在介面中直接播放生成的音訊。

恭喜！

恭喜！在這個實驗室中，您成功使用 Vertex AI Studio 為保險情境設計出生成式 AI 應用程式的原型，其中包括初步設計、部署，以及進階提示工程與比較。您也練習為特定分析工作修正文字輸出內容，並探索出色的多模態功能，包含生成圖像、影片和語音。這些基礎技巧都可協助您在 Google Cloud 建構更精密的生成式 AI 解決方案。

後續步驟/瞭解詳情

• 如要深入瞭解您探索過的生成式 AI 模型功能，例如用於文字和圖像分析的 Gemini、Imagen、Veo 和 Chirp 等，請參閱官方 Vertex AI Model Garden 說明文件。
• 歡迎參閱 Google Cloud 的提示詞設計策略指南，瞭解最佳做法和進階技巧，精進提示工程技能。
• 如要瞭解如何將這些生成式 AI 功能整合至應用程式並自動執行，請參閱 Vertex AI SDK 說明文件。
• 您可以透過更多 Google Cloud Skills Boost 的生成式 AI 實驗室和課程，繼續精進專業能力。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 5 月 19 日

實驗室上次測試日期：2025 年 5 月 19 日

Copyright 2025 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。