GSP1209

Übersicht

Das Google Gen AI SDK bietet eine einheitliche Schnittstelle zu den API-Diensten von Google. Dieses SDK vereinfacht die Einbindung von Funktionen, die auf generativer KI basieren, in Anwendungen und Dienste. So können Entwickler die fortschrittlichen KI-Modelle von Google für verschiedene Aufgaben nutzen. In diesem Lab lernen Sie das Google Gen AI SDK kennen. Sie erfahren, wie Sie eine Verbindung zu KI-Diensten herstellen, verschiedene Prompts senden und Antworten von Gemini feinabstimmen. Sie sammeln auch praktische Erfahrung mit Verfahren für Fortgeschrittene, damit Sie generative KI später in Ihren eigenen Projekten nutzen können.

Lernziele

In diesem Lab erfahren Sie, wie Sie das Google Gen AI SDK for Python verwenden, um mit den GenAI-Diensten und -Modellen von Google zu interagieren, einschließlich Gemini. Folgende Themen werden behandelt:

• Gen AI SDK installieren
• Verbindung zu einem API-Dienst herstellen
• Text- und multimodale Prompts senden
• Systemanweisungen festlegen
• Modellparameter und Sicherheitsfilter konfigurieren
• Modellinteraktionen (Multi-Turn-Unterhaltungen, Contentstreaming, asynchrone Anfragen) verwalten
• Erweiterte Funktionen (Tokenzählung, Kontext-Caching, Funktionsaufrufe, Batch-Vorhersage, Texteinbettungen) verwenden

Vorbereitung

Für dieses Lab sollten Sie folgende Konzepte kennen:

• Grundlegende Kenntnisse der Programmierung mit Python
• Grundlegende API-Konzepte
• Ausführen von Python-Code in einem Jupyter-Notebook in Vertex AI Workbench

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: Notebook in Vertex AI Workbench öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü () auf Vertex AI > Workbench.

2. Suchen Sie die Instanz und klicken Sie auf JupyterLab öffnen.

Die JupyterLab-Oberfläche für Ihre Workbench-Instanz wird in einem neuen Browsertab geöffnet.

Aufgabe 2: Notebook einrichten

Öffnen Sie die Notebook-Datei, importieren Sie Ihre Bibliotheken und wählen Sie Ihr Modell aus.

1. Öffnen Sie die -Datei.

2. Wählen Sie im Dialogfeld Kernel auswählen in der Liste der verfügbaren Kernel die Option Python 3 aus.

3. Gehen Sie im Notebook die folgenden Abschnitte durch:

   • Erste Schritte
   • Google Gen AI SDK verwenden
   • Verbindung zu einem API-Dienst für generative KI herstellen

Verwenden Sie als Projekt-ID den Wert und als Standort die Option .

Hinweis: Notebook-Zellen mit dem Hinweis Nur Colab können Sie überspringen. Wenn Sie bei der Ausführung einer der Notebook-Zellen eine 429-Antwort erhalten, warten Sie eine Minute, bevor Sie die Zelle noch einmal ausführen und dann fortfahren.

Klicken Sie auf Fortschritt prüfen. Bibliotheken importieren und das Notebook einrichten

Aufgabe 3: Mit dem Modell interagieren

Weitere Informationen zu allen KI-Modellen und APIs in Vertex AI finden Sie unter Google-Modelle und Model Garden.

Modell auswählen

• Führen Sie den Abschnitt Modell auswählen im Notebook aus.

Text-Prompts senden

Verwenden Sie die Methode generate_content, um Antworten auf Ihre Prompts zu generieren. Sie können Text an generate_content übergeben und das Attribut .text verwenden, um den Textinhalt der Antwort abzurufen.

• Führen Sie den Abschnitt Text-Prompts senden im Notebook aus.

Multimodale Prompts senden

Sie können Texte, PDF-Dokumente, Bilder, Audio- und Videodateien in Ihre Prompts einfügen und erhalten Text- oder Codeantworten.

Sie können in der Anfrage auch direkt die Datei-URL an das Modell übergeben, und zwar in Part.from_uri.

• Führen Sie den Abschnitt Multimodale Prompts senden im Notebook aus.

Systemanweisungen festlegen

Mit Systemanweisungen können Sie das Verhalten des Modells steuern. Durch eine Systemanweisung erhält das Modell zusätzlichen Kontext, um die Aufgabe besser zu verstehen, individuellere Antworten zu geben und während der Nutzerinteraktion Richtlinien einzuhalten.

• Führen Sie den Abschnitt Systemanweisungen festlegen im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Mit dem Modell interagieren

Aufgabe 4: Modell konfigurieren und steuern

Modellparameter konfigurieren

Jeder Aufruf, den Sie an ein Modell senden, kann Parameterwerte enthalten, um zu steuern, wie das Modell Antworten generiert. Weitere Informationen finden Sie unter Mit Parameterwerten experimentieren.

• Führen Sie den Abschnitt Modellparameter konfigurieren im Notebook aus.

Sicherheitsfilter konfigurieren

Die Gemini API bietet Sicherheitsfilter, die Sie in verschiedenen Filterkategorien anpassen können, um bestimmte Arten von Inhalten zuzulassen oder zu beschränken. Sie können diese Filter verwenden, um die für Ihren Anwendungsfall passenden Einstellungen vorzunehmen. Weitere Informationen finden Sie unter Sicherheitsfilter konfigurieren.

Wenn Sie eine Anfrage an das Modell senden, wird der Inhalt analysiert und erhält eine Sicherheitsbewertung. Sie können die Sicherheitsbewertungen der generierten Inhalte prüfen, indem Sie die Modellantworten ausgeben, wie in diesem Beispiel:

• Führen Sie den Abschnitt Sicherheitsfilter konfigurieren im Notebook aus.

Multi-Turn-Unterhaltung starten

Mit der Gemini API können Sie Multi-Turn-Unterhaltungen im Freiformat führen.

• Führen Sie den Abschnitt Multi-Turn-Unterhaltung starten im Notebook aus.

Generierte Ausgabe steuern

Mit der Möglichkeit zur kontrollierten Ausgabe in der Gemini API können Sie die Modellausgabe auf ein strukturiertes Format beschränken. Sie können das Schema als Pydantic-Modell oder als JSON-String bereitstellen.

Sie können auch ein Antwortschema in einem Python-Wörterbuch definieren. Sie können nur die unten aufgeführten Felder verwenden. Alle anderen Felder werden ignoriert.

• enum
• items
• maxItems
• nullable
• properties
• required

In diesem Beispiel weisen Sie das Modell an, Rezensionsdaten zu analysieren, wichtige Entitäten zu extrahieren, eine Sentimentklassifizierung durchzuführen (mehrere Möglichkeiten), zusätzliche Erklärungen bereitzustellen und die Ergebnisse im JSON-Format auszugeben.

• Führen Sie den Abschnitt Generierte Ausgabe steuern im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Modell konfigurieren und steuern

Aufgabe 5: Modellinteraktionen verwalten

Contentstream generieren

Standardmäßig gibt das Modell eine Antwort zurück, nachdem der gesamte Generierungsprozess abgeschlossen ist. Sie können aber auch die Methode generate_content_stream verwenden, um die Antwort zu streamen, während sie generiert wird. Das Modell gibt dann Teile der Antwort zurück, sobald sie erstellt wurden.

• Führen Sie den Abschnitt Contentstream generieren im Notebook aus.

Asynchrone Anfragen senden

Mit dem Modul client.aio können Sie asynchrone Anfragen senden. Dieses Modul stellt alle analogen async-Methoden bereit, die in client verfügbar sind.

Beispiel: client.aio.models.generate_content ist die asynchrone Version von client.models.generate_content.

• Führen Sie den Abschnitt Asynchrone Anfragen senden im Notebook aus.

Tokens zählen und berechnen

Mit der Methode count_tokens können Sie die Anzahl der Eingabetokens berechnen, bevor Sie eine Anfrage an die Gemini API senden. Weitere Informationen finden Sie unter Tokens auflisten und zählen.

Tokens zählen

• Führen Sie den Abschnitt Tokens zählen im Notebook aus.

Tokens berechnen

• Führen Sie den Abschnitt Tokens berechnen im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Modellinteraktionen verwalten

Aufgabe 6: Erweiterte Funktionen

Funktionsaufrufe

Mit Funktionsaufrufen können Sie Tools bereitstellen, die das Modell verwenden kann, um Prompts zu beantworten. Sie erstellen eine Beschreibung einer Funktion im Code und übergeben sie dann in einer Anfrage an ein Language Model. Die Antwort des Modells enthält den Namen einer Funktion, die der Beschreibung entspricht, sowie die Argumente, um diese aufzurufen.

Weitere Beispiele für Funktionsaufrufe finden Sie in diesem Notebook.

• Führen Sie den Abschnitt Funktionsaufrufe im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Funktionsaufrufe

Kontext-Caching verwenden

Mit Kontext-Caching können Sie häufig verwendete Eingabe-Tokens in einem dedizierten Cache speichern und bei nachfolgenden Anfragen darauf verweisen. So müssen Sie nicht immer wieder dieselben Tokens in ein Modell eingeben.

Hinweis: Kontext-Caching ist nur für stabile Modelle mit festen Versionen verfügbar (z. B. gemini-2.0-flash-001). Sie müssen das Versions-Postfix angeben (z. B. -001).

Cache erstellen

• Führen Sie den Abschnitt Cache erstellen im Notebook aus.

Cache verwenden

• Führen Sie den Abschnitt Cache verwenden im Notebook aus.

Cache löschen

• Führen Sie den Abschnitt Cache löschen im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Kontext-Caching verwenden

Batch-Vorhersage

Im Gegensatz zu Onlineantworten (synchronen Antworten), bei denen immer nur eine Eingabeanfrage gleichzeitig möglich ist, können Sie mit Batch-Vorhersagen für die Gemini API in Vertex AI eine große Anzahl von Anfragen als einzelne Batchanfrage an Gemini senden. Die Modellantworten werden dann asynchron am festgelegten Speicherort für Ausgaben in Cloud Storage oder BigQuery eingefügt.

Batch-Vorhersagen sind in der Regel effizienter und kostengünstiger als Online-Vorhersagen, wenn eine große Anzahl von Eingaben verarbeitet wird, bei denen Latenz kein entscheidender Faktor ist.

Batcheingaben vorbereiten

Die Eingabe für Batchanfragen gibt die Elemente an, die zur Vorhersage an das Modell gesendet werden sollen.

Batchanfragen für Gemini akzeptieren BigQuery-Speicherquellen und Cloud Storage-Quellen. Weitere Informationen zu den Batcheingabeformaten finden Sie auf der Seite zur Batch-Textgenerierung.

In diesem Lab wird Cloud Storage als Beispiel verwendet. Anforderungen an die Cloud Storage-Eingabe:

• Dateiformat: JSON Lines (JSONL)
• Befindet sich in us-central1
• Entsprechende Leseberechtigungen für das Dienstkonto

Jede Anfrage, die Sie an ein Modell senden, kann Parameter enthalten, die steuern, wie das Modell eine Antwort generiert. Weitere Informationen zu Gemini-Parametern finden Sie unter Mit Parameterwerten experimentieren.

Dies ist eine der Beispielanfragen in der JSONL-Eingabedatei batch_requests_for_multimodal_input_2.jsonl:

{"request":{"contents": [{"role": "user", "parts": [{"text": "List objects in this image."}, {"file_data": {"file_uri": "gs://cloud-samples-data/generative-ai/image/office-desk.jpeg", "mime_type": "image/jpeg"}}]}],"generationConfig":{"temperature": 0.4}}}

• Führen Sie den Abschnitt Batcheingaben vorbereiten im Notebook aus.

Speicherort für die Batchausgabe vorbereiten

Wenn eine Batch-Vorhersage abgeschlossen ist, wird die Ausgabe an dem in der Anfrage angegebenen Speicherort gespeichert.

• Der Speicherort wird als Cloud Storage- oder BigQuery-URI-Präfix angegeben, z. B.: gs://path/to/output/data oder bq://projectId.bqDatasetId.

• Wenn kein Speicherort angegeben wird, wird für eine Cloud Storage-Quelle gs://STAGING_BUCKET/gen-ai-batch-prediction und für eine BigQuery-Quelle bq://PROJECT_ID.gen_ai_batch_prediction.predictions_TIMESTAMP verwendet.

In diesem Lab wird ein Cloud Storage-Bucket als Beispiel für den Ausgabespeicherort verwendet.

Sie können den URI Ihres Cloud Storage-Buckets in BUCKET_URI angeben. Wenn Sie keinen angeben, wird ein neuer Cloud Storage-Bucket im Format gs://PROJECT_ID-TIMESTAMP für Sie erstellt.

• Führen Sie den Abschnitt Speicherort für die Batchausgabe vorbereiten im Notebook aus.

Anfrage zur Batch-Vorhersage senden

Für eine Batch-Vorhersage geben Sie eine Quellmodell-ID, eine Eingabequelle und einen Ausgabeort an, an dem Vertex AI die Ergebnisse speichert.

Weitere Informationen finden Sie auf der Seite zur Batch-Vorhersage-API. Sie können den Status auch in der Console unter https://console.cloud.google.com/vertex-ai/batch-predictions prüfen.

• Führen Sie den Abschnitt Anfrage zur Batch-Vorhersage senden im Notebook aus.

Hinweis: Es kann einige Minuten dauern, bis die Batch-Vorhersage abgeschlossen ist.

Ergebnisse der Batch-Vorhersage abrufen

Wenn eine Batch-Vorhersage abgeschlossen ist, wird die Ausgabe an dem in der Anfrage angegebenen Speicherort gespeichert. Sie ist auch in batch_job.dest.bigquery_uri oder batch_job.dest.gcs_uri verfügbar.

Beispielausgabe:

{"status": "", "processed_time": "2024-11-13T14:04:28.376+00:00", "request": {"contents": [{"parts": [{"file_data": null, "text": "List objects in this image."}, {"file_data": {"file_uri": "gs://cloud-samples-data/generative-ai/image/gardening-tools.jpeg", "mime_type": "image/jpeg"}, "text": null}], "role": "user"}], "generationConfig": {"temperature": 0.4}}, "response": {"candidates": [{"avgLogprobs": -0.10394711927934126, "content": {"parts": [{"text": "Here's a list of the objects in the image:\n\n* **Watering can:** A green plastic watering can with a white rose head.\n* **Plant:** A small plant (possibly oregano) in a terracotta pot.\n* **Terracotta pots:** Two terracotta pots, one containing the plant and another empty, stacked on top of each other.\n* **Gardening gloves:** A pair of striped gardening gloves.\n* **Gardening tools:** A small trowel and a hand cultivator (hoe). Both are green with black handles."}], "role": "model"}, "finishReason": "STOP"}], "modelVersion": "gemini-2.0-flash-001@default", "usageMetadata": {"candidatesTokenCount": 110, "promptTokenCount": 264, "totalTokenCount": 374}}}

• Führen Sie den Abschnitt Ergebnisse der Batch-Vorhersage abrufen im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Ergebnisse der Batch-Vorhersage abrufen

Texteinbettungen abrufen

Sie können Texteinbettungen für ein Text-Snippet mit der Methode embed_content abrufen. Alle Modelle liefern standardmäßig eine Ausgabe mit 768 Dimensionen. Bei einigen Modellen können Nutzer jedoch eine Ausgabedimensionalität zwischen 1 und 768 auswählen. Weitere Informationen finden Sie unter Vertex AI-API für Texteinbettungen.

• Führen Sie den Abschnitt Texteinbettungen abrufen im Notebook aus.

Klicken Sie auf Fortschritt prüfen. Texteinbettungen abrufen

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

Glückwunsch! Sie haben das Google Gen AI SDK kennengelernt und erfahren, wie Sie eine Verbindung mit KI-Diensten herstellen, verschiedene Prompts senden und Antworten des Gemini-Modells feinabstimmen. Sie haben auch praktische Erfahrung mit Verfahren für Fortgeschrittene gesammelt, wie Interaktionsverwaltung, Kontext-Caching und Einbettungen. Sie sind jetzt bestens gerüstet, um generative KI in Ihren eigenen Projekten zu nutzen.

Weitere Informationen

In den folgenden Ressourcen finden Sie weitere Informationen zu Gemini:

• Überblick: Gemini
• Dokumentation: Generative KI in Vertex AI
• Generative KI auf YouTube
• Im Vertex AI Cookbook finden Sie ausgewählte und durchsuchbare Notebooks zu generativer KI.
• Weitere Notebooks und Beispiele wurden im Repository „Google Cloud Generative AI“ zusammengestellt.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 5. Mai 2025 aktualisiert

Lab zuletzt am 5. Mai 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.