GSP1278

Übersicht

In diesem Lab wird Gemini – die fortschrittlichen multimodalen KI-Modelle von Google – umfassend vorgestellt. Sie lernen, wie Sie mit dem Google Gen AI SDK for Python über die Gemini API mit diesen Modellen interagieren können. Dabei wird eine Vielzahl von Modalitäten abgedeckt, darunter Text, PDF, Bild, Video, Code und Audio. Anschließend erfahren Sie, wie sich mehrere Modalitäten kombinieren lassen, und sehen, wie Gemini verschiedene Datenformate gleichzeitig verarbeiten und analysieren kann. Zum Schluss sehen Sie sich einen Anwendungsfall aus dem Einzelhandel/E‑Commerce an, der die praktische Anwendung von Gemini beim Generieren von Empfehlungen und dem Verbessern der Kundenzufriedenheit veranschaulicht.

Gemini

Gemini umfasst eine Reihe leistungsstarker generativer KI-Modelle, die von Google DeepMind entwickelt wurden. Diese können verschiedene Formen von Inhalten verstehen und erstellen, darunter Text, Code, Bilder, Audio und Video.

Gemini API in Vertex AI

Die Gemini API in Vertex AI bietet eine einheitliche Benutzeroberfläche für die Interaktion mit Gemini-Modellen. Darüber können Entwickler die leistungsstarken KI-Funktionen ohne viel Aufwand in ihre Anwendungen integrieren. Aktuelle Informationen und besondere Merkmale der neuesten Versionen finden Sie in der offiziellen Dokumentation zu Gemini.

Gemini-Modelle

• Gemini Pro – entwickelt für komplexe Schlussfolgerungen, darunter:
  • Analysieren und Zusammenfassen großer Mengen von Informationen
  • Ausgereifte multimodale Schlussfolgerungen (zu Text, Code, Bildern usw.)
  • Effektive Problemlösung mit komplexer Codebasis
• Gemini Flash – für Geschwindigkeit und Effizienz optimiert, bietet folgende Vorteile:
  • Reaktionszeiten unter einer Sekunde und hoher Durchsatz
  • Hohe Qualität zu niedrigeren Kosten für eine Vielzahl von Aufgaben
  • Erweiterte multimodale Funktionen, einschließlich der Verwendung nativer Tools (Google Suche, Codeausführung und Funktionen von Drittanbietern), verbesserter räumlicher Strukturen und neuer Ausgabemodalitäten (Text, Audio, Bilder)

Vorbereitung

Für dieses Lab sollten Sie folgende Konzepte kennen:

• Grundlegende Kenntnisse der Programmierung mit Python
• Grundlegende API-Konzepte
• Ausführen von Python-Code in einem Jupyter-Notebook in Vertex AI Workbench

Ziele

In diesem Lab erfahren Sie, wie Sie das Google Gen AI SDK for Python verwenden, um mit dem Gemini-Modell zu interagieren. Dabei befassen Sie sich mit diesen Themen:

• Einzelne Modalitäten wie Text, PDF, Bild, Video, Code und Audio verarbeiten
• Verschiedene Modalitätenkombinationen testen
• E‑Commerce-Anwendungsfall durchgehen
• Bilder im Hinblick auf Ähnlichkeiten, Abweichungen oder Unterschiede vergleichen
• Entitätsbeziehungen in technischen Diagrammen verstehen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: Notebook in Vertex AI Workbench öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü () auf Vertex AI > Workbench.

2. Suchen Sie die Instanz und klicken Sie auf JupyterLab öffnen.

Die JupyterLab-Oberfläche für Ihre Workbench-Instanz wird in einem neuen Browsertab geöffnet.

Hinweis: Wenn in JupyterLab keine Notebooks angezeigt werden, führen Sie die folgenden zusätzlichen Schritte aus, um die Instanz zurückzusetzen:

1. Schließen Sie den Browsertab für JupyterLab und kehren Sie zur Workbench-Startseite zurück.

2. Aktivieren Sie das Kästchen neben dem Instanznamen und klicken Sie dann auf Zurücksetzen.

3. Nachdem die Schaltfläche JupyterLab öffnen wieder aktiviert ist, warten Sie eine Minute und klicken Sie dann auf JupyterLab öffnen.

Aufgabe 2: Notebook einrichten

1. Öffnen Sie die -Datei.

2. Wählen Sie im Dialogfeld Kernel auswählen in der Liste der verfügbaren Kernel die Option Python 3 aus.

3. Gehen Sie den Abschnitt Erste Schritte des Notebooks durch. Die Projekt-ID und der Standort sind vorkonfiguriert.

Hinweis: Wenn Sie bei der Ausführung einer der Notebook-Zellen eine 429-Antwort erhalten, warten Sie eine Minute, bevor Sie die Zelle noch einmal ausführen und dann fortfahren.

Klicken Sie auf Fortschritt prüfen. Pakete installieren und Bibliotheken importieren

Aufgabe 3: Einzelne Modalitäten

In diesem Abschnitt sehen Sie sich die von Gemini unterstützten Modalitäten an.

1. Gehen Sie den Abschnitt Einzelne Modalitäten im Notebook durch.

Klicken Sie auf Fortschritt prüfen. Einzelne Modalitäten – Text, PDF und Bild

Klicken Sie auf Fortschritt prüfen. Einzelne Modalitäten – Video

Klicken Sie auf Fortschritt prüfen. Einzelne Modalitäten – Audio

Hinweis: Sollten Sie beim Ausführen einer Notebook-Zelle die Antwort ClientError 499 erhalten, die darauf hinweist, dass die Aufgabe vor Abschluss abgebrochen wurde, versuchen Sie, die Codezelle noch einmal auszuführen.

Klicken Sie auf Fortschritt prüfen. Einzelne Modalitäten – Codebasis

Aufgabe 4: Mehrere Modalitäten kombinieren

In diesem Abschnitt erfahren Sie, wie Sie mit Gemini mehrere Modalitäten kombinieren können.

1. Gehen Sie den Abschnitt Mehrere Modalitäten kombinieren im Notebook durch.

Klicken Sie auf Fortschritt prüfen. Mehrere Modalitäten gleichzeitig kombinieren

Aufgabe 5: Anwendungsfall: Einzelhandel/E‑Commerce

In diesem Abschnitt sehen Sie sich einen Anwendungsfall an, in dem Gemini für Empfehlungen im Einzelhandel verwendet wird.

1. Gehen Sie den Abschnitt Anwendungsfall: Einzelhandel/E‑Commerce im Notebook durch.

Klicken Sie auf Fortschritt prüfen. E‑Commerce-Anwendungsfall

Aufgabe 6: Anwendungsfall: Entitätsbeziehungen in technischen Diagrammen

In diesem Abschnitt sehen Sie ein Beispiel dafür, wie Sie mit Gemini Diagramme analysieren und konkrete Maßnahmen ergreifen können, wie Optimierung oder Codeerstellung.

1. Gehen Sie den Abschnitt Anwendungsfall: Entitätsbeziehungen in technischen Diagrammen im Notebook durch.

Klicken Sie auf Fortschritt prüfen. Entitätsbeziehungen in technischen Diagrammen

Aufgabe 7: Anwendungsfall: Bilder im Hinblick auf Ähnlichkeiten, Abweichungen oder Unterschiede vergleichen

In diesem Abschnitt sehen Sie ein Beispiel dafür, wie Sie mit Gemini Bilder vergleichen und Ähnlichkeiten oder Unterschiede zwischen Objekten erkennen können.

1. Gehen Sie den Abschnitt Anwendungsfall: Ähnlichkeiten/Unterschiede im Notebook durch.

Klicken Sie auf Fortschritt prüfen. Bilder im Hinblick auf Ähnlichkeiten, Abweichungen oder Unterschiede vergleichen

Glückwunsch!

In diesem Lab haben Sie gelernt, wie Sie das Gemini-Modell für multimodale Anwendungsfälle verwenden. Weitere Informationen zu Gemini finden Sie auf der unten aufgeführten Website mit der Dokumentation zu Vertex AI.

Weitere Informationen

In den folgenden Ressourcen finden Sie weitere Informationen zu Gemini:

• Überblick: Gemini
• Dokumentation: Generative KI in Vertex AI
• Generative KI auf YouTube
• Im Vertex AI Cookbook finden Sie ausgewählte und durchsuchbare Notebooks zu generativer KI.
• Weitere Notebooks und Beispiele wurden im Repository „Google Cloud Generative AI“ zusammengestellt.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 14. Oktober 2025 aktualisiert

Lab zuletzt am 14. Oktober 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.