探索 Google AI Studio 的多模態功能

实验 25 分钟 universal_currency_alt 免费 show_chart 入门级
info 此实验可能会提供 AI 工具来支持您学习。
此内容尚未针对移动设备进行优化。
为获得最佳体验,请在桌面设备上访问通过电子邮件发送的链接。

GSP1336

Google Cloud 自學實驗室標誌

總覽

在本實驗室,您將探索 Google AI Studio 強大的多模態功能,重點放在生成式 AI 和空間理解上。透過實作練習,您可實際體驗最先進的 AI 模型,並瞭解如何將這些模型整合至應用程式。您是博物館策展人兼展覽設計師,需要使用這些工具發想策劃新的博物館展覽,並製作原型。

課程內容

本實驗室的學習內容包括:

  • 提示模型生成圖像。
  • 提示模型分析長片。
  • 使用範本建構空間理解應用程式。
  • 提示空間理解應用程式原型,識別圖像中的物品。

設定和需求

瞭解以下事項後,再點選「Start Lab」按鈕

請詳閱以下操作說明。實驗室活動會計時,且中途無法暫停。點選「Start Lab」後就會開始計時,顯示可使用 Google Cloud 資源的時間。

您將在真正的雲端環境完成實作實驗室活動,而不是模擬或示範環境。為此,我們會提供新的暫時憑證,供您在實驗室活動期間登入及存取 Google Cloud。

為了順利完成這個實驗室,請先確認:

  • 可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。
注意事項:請使用無痕模式 (建議選項) 或私密瀏覽視窗執行此實驗室,這可以防止個人帳戶和學員帳戶之間的衝突,避免個人帳戶產生額外費用。
  • 是時候完成實驗室活動了!別忘了,活動一旦開始將無法暫停。
注意事項:務必使用實驗室專用的學員帳戶。如果使用其他 Google Cloud 帳戶,可能會產生額外費用。

開啟 Google AI Studio

  1. 點選「Start Lab」。實驗室面板會顯示這個實驗室的臨時憑證。

    • 注意事項:如為付費實驗室,系統會提示您選取付款方式。
  2. 無痕視窗開啟 Google AI Studio,接著會出現 Google 登入頁面。

    • 提示:在個別視窗開啟實驗室和 AI Studio 分頁再並排查看,操作上會比較方便。
  3. 複製下方的使用者名稱,並貼入「電子郵件地址」欄位,然後點選「下一步」

    {{{user_0.username | "Username"}}}
  4. 複製下方的密碼,並貼入「輸入密碼」欄位,然後點選「下一步」

    {{{user_0.password | "Password"}}}
  5. 為繼續操作,請接受畫面中的條款及細則。

您現在已透過臨時學生帳戶登入 Google AI Studio。

工作 1:生成圖像

在這項工作,您將扮演策展人,為新的恐龍展生成概念藝術,期間需要使用專門生成媒體的模型。

使用 Gemini 圖像生成功能生成概念藝術

  1. 在左側導覽選單點選「Playground」,開啟主要對話介面。

  2. 在右側面板開啟「Run settings」後,前往「Model selection」部分的「Gemini」分頁,然後選取「Nano Banana」

  3. 在提示詞輸入欄位,輸入您對概念藝術的要求:

一張未來主義自然歷史博物館大廳的寫實圖像,其中有一具由發光藍色水晶製成的巨大暴龍骨架。
  1. 點選「Run」並查看生成的圖像。這張圖像可做為新展覽設計的基礎。

  2. 在彈出式視窗點選「Enable Google Drive」,然後選擇學員帳戶 (例如 student-XX-YYYY@qwiklabs.net),並授予繼續操作所需的權限。

  3. 點選自動生成標題旁的「編輯」圖示,在「Prompt name」部分輸入 Futuristic Museum Lobby,即可儲存提示詞和回覆。

  4. 點選「Save」

點選「Check my progress」,確認目標已達成。 生成圖像

工作 2:提示模型分析長片

在這項工作,您將要求 Gemini 分析美國自然史博物館導覽影片,研究現有成功的展覽。

  1. 在左側導覽選單點選「Playground」,返回主要對話介面。

  2. 在右側面板開啟「Run settings」側欄,然後點選預設的 Gemini 模型 (目前設為 Nano Banana),選取其他模型。

  3. 在「Model selection」部分,點選「Gemini」分頁標籤,並選取 模型,因為這個模型專門處理影片等大型輸入內容。

  4. 在提示詞列點選「附件」圖示 (圓圈內的加號),接著選取「Sample Media」

  5. 從影片清單選取「American Museum of Natural History Tour - 10 Min」,並點選「Add to prompt」

  6. 等待影片處理完畢。完成後,提示詞區域會顯示影片,同時列出詞元數量。

注意:新增影片後,您會看到一個頗大的詞元數量。語言模型會將影片「視為」由數千個獨立影格組成的序列,而每個影格都會轉換成稱為「詞元」的數值型資料供模型分析。畫面上顯示的處理時間,即為模型「閱讀」所有詞元花費的時間。模型讀完這些詞元後,才能回答影片問題。
  1. 在影片上方的文字欄位輸入下列提示詞:
請為這段導覽影片中的主要展品提供摘要。內容要列出每個展廳或區塊,並以一句話說明。
  1. 點選「Run」,查看模型根據影片內容生成的文字摘要。

  2. 點選自動生成標題旁的「編輯」圖示,在「Prompt name」部分輸入 Museum Exhibit Highlights,即可儲存提示詞和回覆。

  3. 點選「Save」

點選「Check my progress」,確認目標已達成。 提示模型分析長片

工作 3:使用範本建構空間理解應用程式

在這項工作,您將直接使用範本建構應用程式,快速製作博物館訪客專用的互動式「詢問展覽資訊」功能原型,不必編寫任何程式碼。

  1. 在左側導覽選單點選「Build」

  2. 捲動瀏覽應用程式範本庫,找到「Spatial Understanding」資訊卡。

注意:如果沒有看到範本,請選取「All apps」,查看完整的應用程式範本庫。
  1. 點選「Spatial Understanding」範本,立即生成應用程式原型。

空間理解應用程式原型頁面

  1. 介面載入後,畫面上會顯示應用程式的程式碼,右側則是應用程式的即時預覽畫面。

點選「Check my progress」,確認目標已達成。 使用範本建構空間理解應用程式

工作 4:提示空間理解應用程式原型

在這項工作,您將測試剛剛建構的原型。首先,您會選取豐收節展覽的範例圖像,要求應用程式識別當中的物件,然後修改程式碼來變更定界框顏色,模擬訪客互動。

探索應用程式的功能

  1. 在應用程式的「Preview」窗格,找到底部的範例圖像,並點選有多個南瓜展品的圖像。

  2. 在提示詞輸入框上方,確認已選取「2D bounding boxes」按鈕。在「PROMPT」輸入框輸入 pumpkin,然後點選「Send」,觀察南瓜周圍的標準定界框。

注意:定界框是一個矩形,用來醒目顯示圖像中物件的確切位置。這是電腦視覺模型展示其空間理解能力的基本方式,不僅告知「看到了什麼」,還會指出「在哪裡看到」。
  1. 接著選取「Segmentation masks」按鈕,然後再次點選「Send」。請注意,輸出結果會將每個偵測到的南瓜整體區域轉為彩色。

  2. 最後選取「Points」按鈕,然後點選「Send」。請觀察模型如何在偵測到的物件上放置關鍵點。

藉助程式碼助理修改應用程式

  1. 繼續操作前,請務必再次選取「Preview」窗格的「2D bounding boxes」按鈕。

  2. 現在,將注意力轉向畫面左下方的程式碼助理輸入欄位,當中顯示「Make changes, add new features...」。請輸入下列指令:

將定界框設為紅色。
  1. 點選「Remix」或按下助理的「Send」按鈕,然後選取「Apply」。新的瀏覽器視窗會隨即開啟,這時請點選頁面上的「Acknowledge」,並觀察助理如何在編輯器視窗更新應用程式程式碼。

  2. 更新程式碼後,將焦點移回右側的「Preview」窗格。請確認已選取南瓜圖像和「2D bounding boxes」,再最後一次按下 pumpkin 提示詞的「Send」按鈕。

  3. 請查看結果,南瓜周圍的定界框現在應為紅色,這表示您已成功透過簡單的文字指令修改了運作中的應用程式。

  4. 額外挑戰:您已瞭解透過文字修改應用程式有多麼簡單。在結束前,請試著再給程式碼助理下達幾項指令。您知道如何做到下列幾點嗎?

    • 將定界框改為綠色
    • 將定界框的線條設為虛線,而非實線
    • 將定界框改為粗虛線
    • 將標籤文字顏色改為白色
  5. 點選自動生成標題旁的「編輯」圖示,在「Prompt name」部分輸入 Spatial Understanding,即可儲存提示詞和回覆。

  6. 點選「Save」

恭喜!

恭喜!您已成功使用 Google AI Studio 的多模態功能,發想策劃新的博物館展覽,並製作出原型。過程中,您生成了概念藝術和短片、分析現有的影片導覽,甚至使用空間理解應用程式建構互動式原型。您現在已實際操作過 AI,瞭解 AI 能看見、理解並生成各種互動式多媒體內容。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法,讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程,並有隨選、線上和虛擬課程等選項,方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期:2026 年 3 月 5 日

實驗室上次測試日期:2026 年 3 月 5 日

Copyright 2026 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標,其他公司和產品名稱則有可能是其關聯公司的商標。

准备工作

  1. 实验会创建一个 Google Cloud 项目和一些资源,供您使用限定的一段时间
  2. 实验有时间限制,并且没有暂停功能。如果您中途结束实验,则必须重新开始。
  3. 在屏幕左上角,点击开始实验即可开始

使用无痕浏览模式

  1. 复制系统为实验提供的用户名密码
  2. 在无痕浏览模式下,点击打开控制台

登录控制台

  1. 使用您的实验凭证登录。使用其他凭证可能会导致错误或产生费用。
  2. 接受条款,并跳过恢复资源页面
  3. 除非您已完成此实验或想要重新开始,否则请勿点击结束实验,因为点击后系统会清除您的工作并移除该项目

此内容目前不可用

一旦可用,我们会通过电子邮件告知您

太好了!

一旦可用,我们会通过电子邮件告知您

一次一个实验

确认结束所有现有实验并开始此实验

使用无痕浏览模式运行实验

使用无痕模式或无痕浏览器窗口是运行此实验的最佳方式。这可以避免您的个人账号与学生账号之间发生冲突,这种冲突可能导致您的个人账号产生额外费用。