GSP1210

Panoramica

Questo lab introduce Gemini, una famiglia di modelli di AI generativa multimodale sviluppati da Google. Userai l'API Gemini per scoprire in che modo Gemini Flash può comprendere e generare risposte in base a testo, immagini e video.

Grazie alle sue funzionalità multimodali, Gemini può:

• Analizzare le immagini: rileva oggetti, comprende interfacce utente, interpreta diagrammi e confronta somiglianze e differenze visive.
• Elaborare i video: genera descrizioni, estrae tag e punti salienti e risponde a domande sui contenuti dei video.

Proverai queste funzionalità tramite attività pratiche usando l'API Gemini in Vertex AI.

Prerequisiti

Prima di iniziare questo lab, dovresti acquisire familiarità con:

• Concetti di base della programmazione in Python.
• Concetti generali delle API.
• Esecuzione di codice Python in un notebook Jupyter su Vertex AI Workbench.

Obiettivi

In questo lab imparerai a:

• Interagire con l'API Gemini in Vertex AI.
• Usare il modello Gemini Flash per analizzare immagini e video.
• Fornire a Gemini prompt di testo, immagini e video per generare risposte informative.
• Esplorare le applicazioni pratiche delle funzionalità multimodali di Gemini.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Inizia il lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: per eseguire questo lab, utilizza una finestra del browser in modalità di navigazione in incognito (consigliata) o privata. Ciò evita conflitti tra il tuo account personale e l'account studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: utilizza solo l'account studente per questo lab. Se utilizzi un altro account Google Cloud, potrebbero essere addebitati costi su quell'account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si aprirà una finestra di dialogo per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Il pulsante Apri la console Google Cloud
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google Cloud (o fai clic con il tasto destro del mouse e seleziona Apri link in finestra di navigazione in incognito se utilizzi il browser Chrome).

   Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Nota: se visualizzi la finestra di dialogo Scegli un account, fai clic su Usa un altro account.

3. Se necessario, copia il Nome utente di seguito e incollalo nella finestra di dialogo di accesso.

   {{{user_0.username | "Username"}}}

   Puoi trovare il Nome utente anche nel riquadro Dettagli lab.

4. Fai clic su Avanti.

5. Copia la Password di seguito e incollala nella finestra di dialogo di benvenuto.

   {{{user_0.password | "Password"}}}

   Puoi trovare la Password anche nel riquadro Dettagli lab.

6. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali fornite dal lab. Non utilizzare le credenziali del tuo account Google Cloud. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

7. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: per accedere ai prodotti e ai servizi Google Cloud, fai clic sul menu di navigazione o digita il nome del servizio o del prodotto nel campo Cerca.

Attività 1: apri il notebook in Vertex AI Workbench

1. Nella console Google Cloud, nel menu di navigazione (), fai clic su Vertex AI > Workbench.

2. Trova l'istanza e fai clic sul pulsante Apri JupyterLab.

L'interfaccia JupyterLab per la tua istanza Workbench si apre in una nuova scheda del browser.

Attività 2: configura il notebook

1. Apri il file.

2. Nella finestra di dialogo Seleziona kernel, scegli Python 3 dall'elenco dei kernel disponibili.

3. Rivedi le sezioni Introduzione e Importa librerie del notebook.

   • Per ID progetto usa e per Località usa .

Nota: puoi saltare tutte le celle del notebook contrassegnate come solo Colab. Se ricevi una risposta 429 da una delle esecuzioni delle celle del notebook, attendi 1 minuto prima di eseguire nuovamente la cella per procedere.

Attività 3: utilizza il modello Gemini Flash

Gemini Flash è un modello multimodale che supporta prompt multimodali. Puoi includere testo, immagini e video nei tuoi prompt e ottenere risposte di testo o codice.

In questa attività, analizza le celle del notebook per vedere come utilizzare il modello Gemini Flash. Torna qui per controllare i tuoi progressi man mano che completi gli obiettivi.

Comprensione delle immagini attraverso più immagini

Una delle funzionalità di Gemini è quella di poter ragionare su più immagini. In questo esempio, utilizzerai Gemini per calcolare il costo totale della spesa usando un'immagine di frutta e un listino prezzi.

Esamina la sezione Comprensione delle immagini attraverso più immagini del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Comprensione delle immagini attraverso più immagini

Comprensione di schermate e interfacce

Gemini può anche estrarre informazioni da schermate, UI, screenshot, icone e layout dell'appliance. In questo esempio, utilizzerai Gemini per estrarre informazioni da un piano cottura, aiutando così un utente a navigare nella UI e a rispondere in diverse lingue.

Esamina la sezione Comprensione di schermate e interfacce del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Comprensione di schermate e interfacce

Comprensione delle relazioni tra entità nei diagrammi tecnici

Grazie alle sue funzionalità multimodali, Gemini è in grado di analizzare i diagrammi e adottare misure concrete, come l'ottimizzazione o la generazione di codice. In questo esempio, vedrai come Gemini può decifrare un diagramma di relazioni tra entità, comprendere le relazioni tra tabelle, identificare i requisiti per l'ottimizzazione in un ambiente specifico come BigQuery e persino generare il codice corrispondente.

Esamina la sezione Comprensione delle relazioni tra entità nei diagrammi tecnici del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Comprensione delle relazioni tra entità nei diagrammi tecnici

Suggerimenti basati su più immagini

Gemini è in grado di confrontare le immagini e fornire suggerimenti. Ciò può essere utile in settori come l’e-commerce e il retail. In questo esempio, utilizzerai Gemini per suggerire gli occhiali più adatti a un viso di forma ovale.

Esamina la sezione Suggerimenti basati su più immagini del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Suggerimenti basati su più immagini

Somiglianze/differenze

Gemini può confrontare le immagini e identificare somiglianze o differenze tra gli oggetti. In questo esempio, utilizzerai Gemini per confrontare due immagini della stessa località e identificare le differenze tra loro.

Esamina la sezione Somiglianze/differenze del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Somiglianze/differenze

Generazione della descrizione di un video

Gemini può generare la descrizione di un video. In questo esempio, utilizzerai Gemini per generare la descrizione di un video riguardante una costa del Mar Mediterraneo.

Esamina la sezione Generazione della descrizione di un video del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Generazione della descrizione di un video

Estrazione di tag da oggetti di un video

Gemini può anche estrarre tag da un video. In questo esempio, utilizzerai Gemini per estrarre tag dagli oggetti di un video su un servizio fotografico e generare hashtag.

Esamina la sezione Estrazione di tag da oggetti di un video del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Estrazione di tag da oggetti di un video

Ulteriori domande su un video

Gemini può rispondere a domande su un video. In questo esempio, utilizzerai Gemini per rispondere a domande su un video e restituire una risposta in formato JSON.

Esamina la sezione Ulteriori domande su un video del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Ulteriori domande su un video

Recupero di informazioni aggiuntive esterne al video

Gemini può anche recuperare informazioni aggiuntive che vanno oltre il video. In questo esempio, utilizzerai Gemini per recuperare informazioni aggiuntive correlate al contenuto del video, ad esempio risposte a domande specifiche su un percorso ferroviario.

Esamina la sezione Recupero di informazioni aggiuntive esterne al video del notebook.

Fai clic su Controlla i miei progressi per verificare l'obiettivo. Recupero di informazioni aggiuntive esterne al video

Complimenti!

Hai completato correttamente il lab. In questo lab hai imparato a utilizzare l'API Gemini in Vertex AI per generare risposte da prompt di testo e immagini.

Passaggi successivi/Scopri di più

Dai un'occhiata alle seguenti risorse per scoprire di più su Gemini:

• Panoramica di Gemini
• Documentazione sull'AI generativa su Vertex AI
• AI generativa su YouTube
• Esplora il cookbook di Vertex AI per accedere a una galleria selezionata e consultabile di notebook sull'AI generativa.
• Esplora altri notebook ed esempi nel repository dell'AI generativa di Google Cloud.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 25 marzo 2025

Ultimo test del lab: 25 marzo 2025

Copyright 2025 Google LLC. Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.