GSP524

總覽

在挑戰研究室中，您會在特定情境下完成一系列任務。挑戰研究室不會提供逐步說明，您將運用從課程研究室學到的技巧，自行找出方法完成任務！自動評分系統 (如本頁所示) 將根據您是否正確完成任務來提供意見回饋。

在您完成任務的期間，挑戰研究室不會介紹新的 Google Cloud 概念。您須靈活運用所學技巧，例如變更預設值或詳讀並研究錯誤訊息，解決遇到的問題。

若想滿分達標，就必須在時限內成功完成所有任務！

本實驗室適合已參加「運用 Gemini 分析多模態資料並推論」課程的學員。準備好迎接挑戰了嗎？

事前準備

開始這個實驗室之前，您應已熟悉下列概念：

• 基本 Python 程式設計。
• 一般 API 概念。
• 在 Vertex AI Workbench 使用 Jupyter 筆記本執行 Python 程式碼。

測驗主題

在這項挑戰中，您將使用 模型完成下列工作：

• 建構及執行複雜的多模態提示詞來分析文字、圖片、音訊和影片資料。
• 從多模態資料擷取結構化資訊，例如情緒分數、關鍵主題、物件偵測、音訊特徵、動作辨識。
• 整合多種資料型態的深入分析結果，得出有意義的結論並提供可行建議。
• 將模型輸出內容轉成 Markdown 格式的報告，有效率地傳遞結果。

設定和需求

瞭解以下事項後，再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時，且中途無法暫停。點選「Start Lab」後就會開始計時，顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動，而不是模擬或示範環境。為此，我們會提供新的暫時憑證，供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室，請先確認：

• 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意事項：請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室，這可以防止個人帳戶和學員帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成實驗室活動了！別忘了，活動一旦開始將無法暫停。

注意事項：務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶，可能會產生額外費用。

挑戰情境

為 Cymbal Direct 分析新上市產品的社群媒體參與度

Cymbal Direct 剛推出新款運動服飾，設計宗旨是提升穿著者在從事各種活動時的表現。為了評估大眾觀感和潛在的市場影響力，Cymbal Direct 需要分析多個平台上的社群媒體參與度。分析內容包含：

• 文字：分析顧客評論和社群媒體貼文的情緒和關鍵主題。
• 圖片：分析網紅和顧客張貼的服飾穿搭圖片，找出風格趨勢和行為模式。
• 音訊：分析 Cymbal Direct 新上市產品相關的 Podcast 近期訪談片段。

目標：為 Cymbal Direct 提供可做為行動依據的深入分析結果，以便調整行銷策略、改良產品並強化產品定位。準備好迎接挑戰了嗎？

工作 1：開啟 Vertex AI Workbench 中的筆記本

1. 前往 Google Cloud 控制台，依序點按「導覽選單」圖示 >「Vertex AI」>「Workbench」。

2. 找出 執行個體，點按「Open JupyterLab」按鈕。

Workbench 執行個體的 JupyterLab 介面會在新瀏覽器分頁開啟。

注意：如果在 JupyterLab 沒有看見筆記本，請按照以下額外步驟重設執行個體：

1. 關閉 JupyterLab 的瀏覽器分頁，回到 Workbench 首頁。

2. 勾選執行個體名稱旁的核取方塊，然後點按「重設」。

3. 「開啟 JupyterLab」按鈕再次啟用後，等待一分鐘，然後點按「開啟 JupyterLab」。

3. 點選「」檔案。

4. 出現「Select Kernel」對話方塊時，從可用核心清單中選取「Python 3」。

5. 在筆記本完成工作 1，匯入程式庫並安裝 Gen AI SDK。

完成工作 1 並設定好環境後，即可繼續進行下一節。

在下列工作中，您需要完成每個儲存格缺少的部分，才能進入下一節。缺少的部分會標註 TODO，並附有操作說明。

點選「Check my progress」，確認目標已達成。 匯入必要的程式庫並設定 Gen AI SDK。

工作 2：分析文字資料並推論

在這個工作，您將使用 模型，收集 Cymbal Direct 新款運動服飾的相關資訊，分析顧客評論和社群媒體貼文的文字。接著，您會將模型的發現儲存為 Markdown 檔案，在最後一項工作用來製作全面的報告。

注意：在儲存格中，應完成的部分會標註 #TODO。請仔細查看每個儲存格，確保內容填寫正確！記得查看進度，確認自己正確完成所有儲存格。

在筆記本找到「Task 2. Analyze and reason on customer feedback (text)」(工作 2：分析顧客意見回饋文字並推論)，使用此部分的儲存格完成這項工作。

使用 執行初步分析

在筆記本的「Initial Analysis with 」(使用 執行初步分析) 部分：

1. 找到「3. Construct the prompt for Gemini」(3. 為 Gemini 建立提示詞)，填寫下方筆記本儲存格的 TODOs 部分，指示 Gemini 模型分析顧客評論和社群媒體貼文。

2. 在筆記本儲存格的 4. 將提示傳送給 Gemini 下方，填寫 TODOs 部分，將提示和文字資料傳給 Gemini 模型。

點選「Check my progress」，確認目標已達成。使用 執行初步分析。

使用 執行深入分析：推論顧客情緒

在本節中，您將使用 Gemini 思考型模型深入分析顧客情緒，找出要改良的關鍵。我們特別想瞭解正負面評論的成因，並找出可能不易察覺的重複主題。

1. 在筆記本的「Deep Dive with : Reasoning on Customer Sentiment」(使用 執行深入分析：推論顧客情緒) 部分找到「1. Construct the prompt for Gemini」(1. 為 Gemini 建立提示詞)，填寫下方的 TODOs 部分，指示 Gemini 模型深入分析顧客評論和社群媒體貼文。

2. 找到「2. Use Gemini thinking for deeper reasoning」(2. 使用 Gemini 思考型模型深入推論)，填寫下方的 TODOs 部分，將提示詞和文字資料傳給 Gemini 模型。

點選「Check my progress」，確認目標已達成。使用 執行深入分析：推論顧客情緒。

工作 3：分析視覺內容並推論

在這項工作中，您會使用 模型分析 Cymbal Direct 新款運動服飾系列相關的圖片，目標是根據圖片找出服飾風格趨勢和顧客行為。您要將模型的發現儲存為 Markdown 檔案，在最後一項工作用來製作全面的報告。

注意：在儲存格中，應完成的部分會標註 #TODO。請仔細查看每個儲存格，確保內容填寫正確！在這個頁面查看進度，確認自己正確完成所有儲存格。

在筆記本找到「Task 3. Analyze and reason on visual content: Style trends and customer behavior」(工作 3：分析視覺內容並推論：風格趨勢與顧客行為)，使用此部分的儲存格完成這項工作。

使用 執行初步分析

1. 在筆記本的「Initial Analysis with 」(使用 執行初步分析) 部分找到「3. Construct the prompt for Gemini」(3. 為 Gemini 建立提示詞)，填寫下方的 TODOs 部分，指示 Gemini 模型分析 Cymbal Direct 新款運動服飾系列的圖片。

2. 在 4. 將提示和圖片傳送給 Gemini 下方，填寫 TODOs 部分，將提示和圖片傳給 Gemini 模型。

點選「Check my progress」，確認目標已達成。使用 執行初步分析。

使用 推論圖片趨勢

接著使用 Gemini 思考型模型，深入分析視覺元素、推論背景、目標對象和潛在的行銷影響。

1. 在筆記本的「Reasoning on image trends with 」(使用 推論圖片趨勢) 部分找到「1. Construct the prompt for Gemini」(1. 為 Gemini 建立提示詞)，填寫下方的 TODOs 部分，指示 Gemini 模型深入分析圖片。

2. 找到「2. Use Gemini thinking for deeper reasoning」(2. 使用 Gemini 思考型模型深入推論)，填寫下方的 TODOs 部分，將提示詞和圖片傳給 Gemini 模型。

點選「Check my progress」，確認目標已達成。使用 推論圖片趨勢。

工作 4：分析音訊內容並推論

在這項工作中，您將使用 模型分析 Cymbal Direct 新款服飾系列相關的 Podcast 內容，並從中擷取資訊/情緒，為該公司生成深入分析結果。接著，您會將模型的發現儲存為 Markdown 檔案，在最後一項工作用來製作全面的報告。

這個音訊片段取自 Podcast 節目，內容是與 Cymbal Direct 代表的訪談，討論新推出的運動服飾系列。對話涵蓋服飾的多個面向，包括設計、特色、目標對象和行銷策略。

注意：在儲存格中，應完成的部分會標註 #TODO。請仔細查看每個儲存格，確保內容填寫正確！記得查看進度，確認自己正確完成所有儲存格。

在筆記本找到「Task 4. Analyze and reason on audio content: Customer perceptions」(工作 4：分析音訊內容並推論：顧客觀感)，使用此部分的儲存格完成這項工作。

使用 執行初步分析

1. 在筆記本的「Initial Analysis with 」(使用 執行初步分析) 部分找到「1. Construct the prompt for Gemini」(1. 為 Gemini 建立提示詞)，填寫下方的 TODOs 部分，指示 Gemini 模型分析 Cymbal Direct 新款運動服飾系列相關的對話錄音。

2. 找到「2. 將提示和音訊傳送給 Gemini 下方，填寫 TODOs 部分，將提示和音訊資料傳給 Gemini 模型。

點選「Check my progress」，確認目標已達成。使用 執行初步分析。

使用 推論音訊深入分析資料

在本節中，您會使用 Gemini 思考型模型深入分析對話內容、推論顧客滿意度和影響因素，並根據資料生成建議。

1. 在筆記本的「Reasoning on Audio Insights with 」(使用 推論音訊深入分析資料) 部分找到「1. Construct the prompt for Gemini」(1. 為 Gemini 建立提示詞)，填寫下方的 TODOs 部分，指示 Gemini 模型深入分析對話錄音。

2. 找到「2. Use Gemini thinking for deeper reasoning」(2. 使用 Gemini 思考型模型深入推論)，填寫下方的 TODOs 部分，將提示詞和音訊資料傳給 Gemini 模型。

點選「Check my progress」，確認目標已達成。使用 推論音訊深入分析資料。

工作 5：彙整多模態深入分析結果

在最後一項工作，您會彙整先前分析文字、圖片和音訊資料所獲得的深入分析結果。您會使用 模型生成全面的報告，彙整各模態的分析結果，全盤瞭解 Cymbal Direct 新款運動服飾系列相關的顧客情緒、風格偏好和關鍵趨勢。

接著，您會將模型生成的最終報告儲存為 Markdown 檔案，並上傳至 Cloud Storage 以便查看和評估。這份全面的報告是 Cymbal Direct 的寶貴資源，有助於他們深入瞭解顧客觀感和市場趨勢，做出明智決定及選擇合適的策略。

注意：在儲存格中，應完成的部分會標註 #TODO。請仔細查看每個儲存格，確保內容填寫正確！在這個頁面查看進度，確認自己正確完成所有儲存格。

1. 在筆記本的工作 5. 彙整多模態深入分析結果：生成全面的報告部分找到 3. 為 Gemini 建立提示，填寫下方的 TODOs 部分建立提示，指示 Gemini 模型根據整合的分析結果生成全面的報告。

2. 在 4. 將提示傳送給 Gemini 下方，填寫 TODOs 部分，將提示傳給 Gemini 模型。

點選「Check my progress」，確認目標已達成。 彙整多模態深入分析結果：生成全面的報告。

恭喜！

恭喜！在本實驗室中，您已成功使用 模型分析文字、圖片和音訊等多模態資料，並獲得 Cymbal Direct 新款運動服飾系列寶貴的深入分析結果。您展現了良好的技術，可撰寫有效的提示詞、運用推論與思考預算功能，並生成內含可行建議的全面性報告。

後續行動/瞭解詳情

歡迎參考下列資源，進一步瞭解 Gemini：

• Gemini 簡介
• Vertex AI 生成式 AI 說明文件
• 透過 YouTube 瞭解生成式 AI
• 探索 Vertex AI 教戰手冊，瀏覽及搜尋眾多精心挑選的生成式 AI 筆記本。
• 前往 Google Cloud 生成式 AI 存放區，查看其他筆記本和範例。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2025 年 10 月 27 日

實驗室上次測試日期：2025 年 10 月 27 日

Copyright 2026 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。