GSP1290

Übersicht

In diesem Lab wird Gemini 2.0 Flash vorgestellt, ein leistungsstarkes neues multimodales KI-Modell von Google DeepMind, das über die Gemini API in Vertex AI verfügbar ist. Es bietet eine deutlich höhere Geschwindigkeit, Leistung und Qualität. Wir zeigen Ihnen, wie Sie seine Funktionen für Aufgaben wie Text- und Codegenerierung, multimodale Datenverarbeitung und Funktionsaufrufe nutzen können. Außerdem werden in diesem Lab erweiterte Funktionen wie asynchrone Methoden, Systemanweisungen, gesteuerte Generierung, Sicherheitseinstellungen, Fundierung mit der Google Suche und Tokenzählung vorgestellt.

Gemini

Gemini umfasst eine Reihe leistungsstarker generativer KI-Modelle, die von Google DeepMind entwickelt wurden. Diese können verschiedene Formen von Inhalten verstehen und erstellen, darunter Text, Code, Bilder, Audio und Video.

Gemini API in Vertex AI

Die Gemini API in Vertex AI bietet eine einheitliche Benutzeroberfläche für die Interaktion mit Gemini-Modellen. Darüber können Entwickler die leistungsstarken KI-Funktionen ohne viel Aufwand in ihre Anwendungen integrieren. Aktuelle Informationen und besondere Merkmale der neuesten Versionen finden Sie in der offiziellen Dokumentation zu Gemini.

Gemini-Modelle

• Gemini Pro – entwickelt für komplexe Schlussfolgerungen, darunter:
  • Analysieren und Zusammenfassen großer Mengen von Informationen
  • Ausgereifte multimodale Schlussfolgerungen (zu Text, Code, Bildern usw.)
  • Effektive Problemlösung mit komplexer Codebasis
• Gemini Flash – für Geschwindigkeit und Effizienz optimiert, bietet folgende Vorteile:
  • Reaktionszeiten unter einer Sekunde und hoher Durchsatz
  • Hohe Qualität zu niedrigeren Kosten für eine Vielzahl von Aufgaben
  • Erweiterte multimodale Funktionen, einschließlich der Verwendung nativer Tools (Google Suche, Codeausführung und Funktionen von Drittanbietern), verbesserter räumlicher Strukturen und neuer Ausgabemodalitäten (Text, Audio, Bilder)

Vorbereitung

Für dieses Lab sollten Sie folgende Konzepte kennen:

• Grundlegende Kenntnisse der Programmierung mit Python
• Grundlegende API-Konzepte
• Ausführen von Python-Code in einem Jupyter-Notebook in Vertex AI Workbench

Lernziele

Aufgaben mit Gemini 2.0 Flash in diesem Lab:

• Text und Code generieren: Sie generieren verschiedene Formen von Text, einschließlich Streamingausgaben, führen Multi-Turn-Unterhaltungen und schreiben Code, den Sie anschließend ausführen.
• Verhalten des Modells konfigurieren und steuern: Sie konfigurieren Modellparameter, legen Systemanweisungen fest, wenden Sicherheitsfilter an und nutzen Methoden der gesteuerten Generierung, um die Ausgabe des Modells anzupassen.
• Multimodale Daten verarbeiten: Sie verarbeiten verschiedene Datentypen wie Text, Audio, Code, Dokumente, Bilder und Videos.
• Flexibel mit dem Modell interagieren: Sie passen das Modell mithilfe synchroner und asynchroner Interaktionsmethoden an verschiedene Anwendungsanforderungen an.
• Modellantworten mit der Google Suche fundieren: Sie verbessern die Accuracy und Aktualität von Modellantworten, indem Sie sie mit realen Daten aus der Google Suche fundieren.
• Funktionsaufrufe verwenden und Tokens verwalten: Sie implementieren automatische und manuelle Funktionsaufrufe und lernen, Tokens zu zählen, um die Nutzung zu erfassen.

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: Notebook in Vertex AI Workbench öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü () auf Vertex AI > Workbench.

2. Suchen Sie die Instanz und klicken Sie auf JupyterLab öffnen.

Die JupyterLab-Oberfläche für Ihre Workbench-Instanz wird in einem neuen Browsertab geöffnet.

Aufgabe 2: Notebook einrichten

1. Öffnen Sie die -Datei.

2. Wählen Sie im Dialogfeld Kernel auswählen in der Liste der verfügbaren Kernel die Option Python 3 aus.

3. Gehen Sie die Abschnitte Erste Schritte und Bibliotheken importieren des Notebooks durch.

   • Verwenden Sie als Projekt-ID den Wert und als Standort die Option .

Hinweis: Notebookzellen mit dem Hinweis Nur Colab können Sie überspringen. Wenn Sie bei der Ausführung einer der Notebook-Zellen eine 429-Antwort erhalten, warten Sie eine Minute, bevor Sie die Zelle noch einmal ausführen und dann fortfahren.

Klicken Sie auf Fortschritt prüfen. Notebook einrichten

Aufgabe 3: Text aus Text-Prompts generieren

In dieser Aufgabe verwenden Sie das Gemini 2.0 Flash-Modell, um Text aus Text-Prompts zu generieren.

1. Führen Sie den Abschnitt Gemini 2.0 Flash-Modell laden im Notebook aus.
2. Führen Sie den Abschnitt Text aus Text-Prompts generieren im Notebook aus. Probieren Sie einige der Beispiel-Prompts aus, um zu sehen, wie das Modell antwortet.

Contentstream generieren

Standardmäßig gibt das Modell eine Antwort zurück, nachdem der gesamte Generierungsprozess abgeschlossen ist. Sie können aber auch die Methode generate_content_stream verwenden, um die Antwort zu streamen, während sie generiert wird. Das Modell gibt dann Teile der Antwort zurück, sobald sie erstellt wurden.

1. Führen Sie den Abschnitt Contentstream generieren im Notebook aus.

Multi-Turn-Unterhaltung starten

Die Gemini API unterstützt Multi-Turn-Unterhaltungen über mehrere Runden im Freiformat mit Interaktionen in beide Richtungen.

Der Kontext der Unterhaltung wird von einer Nachricht zur nächsten beibehalten.

1. Führen Sie den Abschnitt Multi-Turn-Unterhaltung starten im Notebook aus.

Asynchrone Anfragen senden

client.aio stellt alle analogen async-Methoden bereit, die in client verfügbar sind.

Beispiel: client.aio.models.generate_content ist die asynchrone Version von client.models.generate_content.

1. Führen Sie den Abschnitt Asynchrone Anfragen senden im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Text aus Text-Prompts generieren.

Aufgabe 4: Modellparameter konfigurieren

In dieser Aufgabe lernen Sie, wie Sie Modellparameter konfigurieren, um die Ausgabe des Modells abzustimmen. Durch Anpassen dieser Parameter können Sie Aspekte wie die Kreativität, Länge und Unbedenklichkeit des generierten Textes steuern.

Jeder Aufruf, den Sie an ein Modell senden, kann Parameterwerte enthalten, um zu steuern, wie das Modell Antworten generiert. Das Modell kann für verschiedene Parameterwerte unterschiedliche Ergebnisse liefern. Sie können mit verschiedenen Modellparametern experimentieren, um zu sehen, wie sich die Ergebnisse ändern.

• Mit Parameterwerten experimentieren
• Parameterliste

1. Führen Sie den Abschnitt Modellparameter konfigurieren im Notebook aus.

Systemanweisungen festlegen

Mit Systemanweisungen können Sie das Verhalten des Modells steuern. Durch eine Systemanweisung erhält das Modell zusätzlichen Kontext, um die Aufgabe besser zu verstehen, individuellere Antworten zu geben und bestimmte Vorgaben während der gesamten Nutzerinteraktion einzuhalten.

1. Führen Sie den Abschnitt Systemanweisungen festlegen im Notebook aus.

Sicherheitsfilter

Die Gemini API bietet Sicherheitsfilter, die Sie in verschiedenen Filterkategorien anpassen können, um bestimmte Arten von Inhalten zuzulassen oder zu beschränken. Sie können diese Filter verwenden, um die für Ihren Anwendungsfall passenden Einstellungen vorzunehmen. Weitere Informationen finden Sie auf der Seite Sicherheitsfilter konfigurieren.

Wenn Sie eine Anfrage an Gemini senden, wird der Inhalt analysiert und erhält eine Sicherheitsbewertung. Sie können die Sicherheitsbewertungen der generierten Inhalte prüfen, indem Sie die Modellantworten ausgeben. Die Sicherheitseinstellungen sind standardmäßig auf OFF und die Standardschwellenwerte für das Blockieren auf BLOCK_NONE gesetzt.

Mit safety_settings können Sie die Sicherheitseinstellungen für jede Anfrage an die API anpassen. In diesem Beispiel wird gezeigt, wie Sie den Schwellenwert für das Blockieren in allen Kategorien auf BLOCK_LOW_AND_ABOVE setzen:

1. Führen Sie den Abschnitt Sicherheitsfilter im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Modellparameter konfigurieren.

Aufgabe 5: Multimodale Prompts senden

Gemini ist ein multimodales Modell, das multimodale Prompts unterstützt.

Sie können die folgenden Datentypen aus verschiedenen Quellen verwenden. Hier sehen Sie die aktuelle HTML-Tabelle mit den erweiterten MIME-Typen für den Abschnitt „Audio“:

Datentyp	Quelle(n)	MIME-Typ(en)
Text	Inline, lokale Datei, allgemeine URL, Google Cloud Storage	text/plain
Code	Inline, lokale Datei, allgemeine URL, Google Cloud Storage	text/plain
Dokument	Lokale Datei, allgemeine URL, Google Cloud Storage	application/pdf
Bild	Lokale Datei, allgemeine URL, Google Cloud Storage	image/jpeg image/png image/webp
Audio	Lokale Datei, allgemeine URL, Google Cloud Storage	audio/aac audio/flac audio/mp3 audio/m4a audio/mpeg audio/mpga audio/mp4 audio/opus audio/pcm audio/wav audio/webm
Video	Lokale Datei, allgemeine URL, Google Cloud Storage, YouTube	video/mp4 video/mpeg video/x-flv video/quicktime video/mpegps video/mpg video/webm video/wmv video/3gpp

In dieser Aufgabe senden Sie verschiedene Arten multimodaler Prompts an das Modell. Dabei kombinieren Sie Text mit anderen Datentypen wie Bildern, Audio und Video.

1. Führen Sie den Abschnitt Lokales Bild senden im Notebook aus.
2. Führen Sie den Abschnitt Dokument aus Google Cloud Storage senden im Notebook aus.
3. Führen Sie den Abschnitt Audio über allgemeine URL senden im Notebook aus.
4. Führen Sie den Abschnitt Video über YouTube-URL senden im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Multimodale Prompts senden.

Aufgabe 6: Generierte Ausgabe steuern und Tokens verwalten

Bei der gesteuerten Generierung können Sie ein Antwortschema definieren, um die Struktur der Modellausgabe, die Feldnamen und den erwarteten Datentyp für jedes Feld festzulegen. Das Antwortschema wird im Parameter response_schema in config angegeben. Die Modellausgabe folgt diesem Schema genau.

Sie können das Schema als Pydantic-Modell oder als JSON-String bereitstellen. Das Modell antwortet dann je nach dem in response_mime_type festgelegten Wert mit JSON oder Enum. In dieser Aufgabe sehen Sie sich Methoden zur Steuerung der Modellausgabe und zur Verwaltung der Tokennutzung an.

In der vorherigen Aufgabe haben Sie gelernt, wie Sie Parameter konfigurieren. In dieser Aufgabe erfahren Sie, wie Sie ein Antwortschema definieren, um das Ausgabeformat des Modells noch besser zu steuern.

1. Führen Sie den Abschnitt Generierte Ausgabe steuern im Notebook aus.

Tokens zählen und berechnen

Mit der Methode count_tokens() können Sie die Anzahl der Eingabetokens berechnen, bevor Sie eine Anfrage an die Gemini API senden. Weitere Informationen finden Sie unter Tokens auflisten und zählen.

1. Führen Sie den Abschnitt Tokens zählen und berechnen im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Generierte Ausgabe steuern und Tokens verwalten.

Aufgabe 7: Google Suche als Tool (Fundierung)

Die Fundierung ermöglicht es, reale Daten mit dem Gemini-Modell zu verknüpfen.

Durch das Fundieren der Modellantworten in Google-Suchergebnissen kann das Modell zur Laufzeit auf Informationen zugreifen, die über die Trainingsdaten hinausgehen. So können genauere, aktuellere und relevantere Antworten generiert werden.

Die Fundierung mit der Google Suche kann die Accuracy und Aktualität der Antworten des Modells verbessern. Ab Gemini 2.0 ist die Google Suche als Tool verfügbar. Das bedeutet, dass das Modell entscheiden kann, wann die Google Suche verwendet wird.

Google Suche

Sie können das Schlüsselwortargument tools hinzufügen, um GoogleSearch als Tool zu verwenden. So weisen Sie Gemini an, zuerst eine Google Suche mit dem Prompt durchzuführen und dann eine Antwort basierend auf den Suchergebnissen zu erstellen.

Bei der dynamischen Abfrage können Sie einen Schwellenwert festlegen, ab dem Modellantworten fundiert werden. Das ist nützlich, wenn für den Prompt keine Antwort erforderlich ist, die mit der Google Suche fundiert wird, und die unterstützten Modelle eine Antwort auf der Grundlage ihrer Daten ohne Fundierung liefern können. So können Sie Latenz, Qualität und Kosten effektiver verwalten.

1. Führen Sie den Abschnitt Google Suche im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Google Suche als Tool (Fundierung)

Aufgabe 8: Funktionsaufrufe und Codeausführung nutzen

Funktionsaufrufe in Gemini ermöglichen es Entwicklern, eine Funktionsbeschreibung im Code zu erstellen und diese dann in einer Anfrage an ein Language Model zu übergeben. Sie können eine Python-Funktion für den automatischen Funktionsaufruf senden. Dadurch wird die Funktion ausgeführt und die von Gemini generierte Ausgabe in natürlicher Sprache zurückgegeben.

Sie können auch eine OpenAPI-Spezifikation senden. Als Antwort erhalten Sie den Namen einer Funktion, die der Beschreibung entspricht, sowie die Argumente, um diese aufzurufen. In dieser Aufgabe sehen Sie sich Funktionsaufrufe genauer an, durch die das Modell mit externen Systemen interagieren kann, und führen vom Modell generierten Code aus.

1. Führen Sie den Abschnitt Python-Funktion (automatischer Funktionsaufruf) im Notebook aus.
2. Führen Sie den Abschnitt OpenAPI-Spezifikation (manueller Funktionsaufruf) im Notebook aus.

Codeausführung

Die Funktion Codeausführung der Gemini API ermöglicht es dem Modell, Python-Code zu generieren und auszuführen und iterativ aus den Ergebnissen zu lernen, bis das Modell eine endgültige Ausgabe erstellt hat. Sie können diese Codeausführungsfunktion verwenden, um Anwendungen zu erstellen, die die Vorteile codebasierter Schlussfolgerungen nutzen und Textausgaben erzeugen. Die Codeausführung können Sie beispielsweise in einer Anwendung verwenden, die Gleichungen löst oder Text verarbeitet.

Die Gemini API stellt die Codeausführung ähnlich wie den Funktionsaufruf als Tool zur Verfügung. Nachdem Sie die Codeausführung als Tool hinzugefügt haben, entscheidet das Modell, wann es sie verwendet.

1. Führen Sie den Abschnitt Codeausführung im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Funktionsaufrufe und Codeausführung nutzen.

Das wars!

Sie haben das Lab erfolgreich abgeschlossen. In diesem Lab haben Sie praktische Erfahrung mit dem innovativen Gemini 2.0 Flash-Modell über die Gemini API in Vertex AI gesammelt. Sie haben die verschiedenen Funktionen ausprobiert, darunter die Text- und Codegenerierung, die multimodale Datenverarbeitung und die erweiterte Modellkonfiguration. Sie sind jetzt bestens gerüstet, um diese leistungsstarken Funktionen für die Entwicklung moderner, ausgefeilter KI-Anwendungen zu nutzen. Außerdem haben Sie sich mit den neuen Funktionen vertraut gemacht, die in Gemini 2.0 eingeführt wurden, und gelernt, wie Sie das neue SDK nutzen, um zwischen APIs zu migrieren.

Weitere Informationen

In den folgenden Ressourcen finden Sie weitere Informationen zu Gemini:

• Überblick: Gemini
• Dokumentation: Generative KI in Vertex AI
• Generative KI auf YouTube
• Im Vertex AI Cookbook finden Sie ausgewählte und durchsuchbare Notebooks zu generativer KI.
• Weitere Notebooks und Beispiele wurden im Repository „Google Cloud Generative AI“ zusammengestellt.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 5. Mai 2025 aktualisiert

Lab zuletzt am 5. Mai 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.