GSP1231

Übersicht

Gemini ist eine Reihe von generativen KI-Modellen, die von Google DeepMind entwickelt wurden und auf multimodale Anwendungsfälle ausgelegt sind.

Retrieval-Augmented Generation (RAG) ist mittlerweile eine beliebte Methode, LLMs Zugriff auf externe Daten zu ermöglichen, sowie ein Mechanismus für deren Fundierung, um Halluzinationen zu minimieren. RAG-Modelle sind darauf trainiert, relevante Dokumente aus einem umfangreichen Korpus abzurufen und basierend auf diesen Dokumenten eine Antwort zu generieren. In diesem Lab lernen Sie, wie Sie eine multimodale RAG ausführen, um Fragen zu einem Finanzdokument zu beantworten, das sowohl Text als auch Bilder enthält.

Textbasierte und multimodale RAG vergleichen

Die multimodale RAG hat gegenüber der textbasierten mehrere Vorteile:

1. Zugriff auf mehr Wissen: Die multimodale RAG kann sowohl auf Text‑ als auch auf Bildinformationen zugreifen und diese verarbeiten. So liefert sie eine umfassendere Wissensdatenbank für das LLM.
2. Bessere Argumentationsfähigkeit: Da die multimodale RAG auch visuelle Hinweise verarbeiten kann, sind fundiertere Inferenzen aus verschiedenen Typen von Datenmodalitäten möglich.

In diesem Lab lernen Sie, wie Sie RAG mit der Gemini API in Vertex AI, Texteinbettungen und multimodalen Einbettungen verwenden, um eine Dokumentsuchmaschine zu erstellen.

Vorbereitung

Für dieses Lab sollten Sie folgende Konzepte kennen:

• Grundlegende Kenntnisse der Programmierung mit Python
• Grundlegende API-Konzepte
• Ausführen von Python-Code in einem Jupyter-Notebook in Vertex AI Workbench

Lernziele

Aufgaben in diesem Lab:

• Metadaten von Dokumenten, die Text und Bilder enthalten, extrahieren und speichern sowie Einbettungen der Dokumente erstellen
• Metadaten mit Textabfragen durchsuchen, um ähnliche Texte oder Bilder zu finden
• Metadaten mit Bildabfragen durchsuchen, um ähnliche Bilder zu finden
• Anhand einer Textabfrage als Eingabe nach kontextbezogenen Antworten mit Texten und Bildern suchen

Einrichtung und Anforderungen

Vor dem Klick auf „Start Lab“ (Lab starten)

Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.

In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.

Für dieses Lab benötigen Sie Folgendes:

• Einen Standardbrowser (empfohlen wird Chrome)

Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.

• Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.

Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.

Lab starten und bei der Google Cloud Console anmelden

1. Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können. Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:

   • Schaltfläche „Google Cloud Console öffnen“
   • Restzeit
   • Temporäre Anmeldedaten für das Lab
   • Ggf. weitere Informationen für dieses Lab

2. Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).

   Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.

   Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.

   Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.

3. Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.

   {{{user_0.username | "Username"}}}

   Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.

4. Klicken Sie auf Weiter.

5. Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.

   {{{user_0.password | "Password"}}}

   Sie finden das Passwort auch im Bereich „Details zum Lab“.

6. Klicken Sie auf Weiter.

   Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos. Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.

7. Klicken Sie sich durch die nachfolgenden Seiten:

   • Akzeptieren Sie die Nutzungsbedingungen.
   • Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
   • Melden Sie sich nicht für kostenlose Testversionen an.

Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.

Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.

Aufgabe 1: Notebook in Vertex AI Workbench öffnen

1. Klicken Sie in der Google Cloud Console im Navigationsmenü () auf Vertex AI > Workbench.

2. Suchen Sie die Instanz und klicken Sie auf JupyterLab öffnen.

Die JupyterLab-Oberfläche für Ihre Workbench-Instanz wird in einem neuen Browsertab geöffnet.

Aufgabe 2: Notebook einrichten

1. Öffnen Sie die -Datei.

2. Wählen Sie im Dialogfeld Kernel auswählen in der Liste der verfügbaren Kernel die Option Python 3 aus.

3. Gehen Sie die Abschnitte Erste Schritte und Bibliotheken importieren des Notebooks durch.

   • Verwenden Sie als Projekt-ID den Wert und als Standort die Option .

Hinweis: Notebookzellen mit dem Hinweis Nur Colab können Sie überspringen. Wenn Sie bei der Ausführung einer der Notebook-Zellen eine 429-Antwort erhalten, warten Sie eine Minute, bevor Sie die Zelle noch einmal ausführen und dann fortfahren.

Klicken Sie auf Fortschritt prüfen. GenAI SDK for Python installieren und Bibliotheken importieren

In den folgenden Abschnitten gehen Sie die Notebookzellen durch, um zu sehen, wie Sie mit der Gemini API ein multimodales RAG-System erstellen können.

Aufgabe 3: Benutzerdefinierte Python-Dienstprogramme und erforderliche Dateien herunterladen

Das Modell Gemini 2.0 Flash (gemini-2.0-flash) wurde für Aufgaben in natürlicher Sprache, wechselseitigen Text‑, Codechat und Codegenerierung entwickelt. In diesem Abschnitt laden Sie einige Hilfsfunktionen für das Notebook herunter, um die Lesbarkeit zu verbessern. Sie können sich den Code (intro_multimodal_rag_utils.py) auch direkt in GitHub ansehen.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um das Modell zu laden, die Hilfsfunktionen herunterzuladen und die Dokumente und Bilder aus Cloud Storage abzurufen.

Klicken Sie auf Fortschritt prüfen. Bilder und Dokumente aus Cloud Storage herunterladen

Aufgabe 4: Metadaten von Dokumenten erstellen, die Text und Bilder enthalten

Die in diesem Lab verwendeten Quelldaten sind eine modifizierte Version des von Google ausgefüllten 10-K-Formulars, das einen kurzen Überblick über die Geschäftsergebnisse, die Geschäftstätigkeit, das Management und die Risikofaktoren des Unternehmens enthält. Das Originaldokument ist relativ lang, daher kommt hier eine verkürzte Variante mit nur 14 Seiten zum Einsatz, die zweigeteilt ist: Teil 1 und Teil 2. Das Beispieldokument enthält jedoch trotzdem Text sowie Bilder in Form von Tabellen, Diagrammen und Grafiken.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um Metadaten von Texten und Bildern aus einem Dokument zu extrahieren und zu speichern.

Hinweis: Die Ausführung der Zelle zum Extrahieren und Speichern von Metadaten von Text und Bildern aus einem Dokument kann einige Minuten in Anspruch nehmen.

Klicken Sie auf Fortschritt prüfen. Metadaten von Text und Bildern aus einem Dokument extrahieren und speichern

Aufgabe 5: Textsuche

Wir beginnen die Suche mit einer einfachen Frage, um zu sehen, ob die einfache Textsuche sie mit Texteinbettungen beantworten kann. Als Antwort wird der Wert des unverwässerten und verwässerten Ergebnisses je Google-Aktie für verschiedene Aktientypen erwartet.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um mit einer Textabfrage nach ähnlichen Texten und Bildern zu suchen.

Klicken Sie auf Fortschritt prüfen. Ähnlichen Text mit Textabfrage suchen

Aufgabe 6: Bildersuche

Stellen Sie sich vor, Sie können mit einem Bild nach anderen Bildern suchen und müssen dazu keine Wörter eingeben. Sie haben beispielsweise eine Tabelle, die die Umsatzkosten von zwei Jahren enthält, und möchten im selben oder mehreren anderen Dokumenten weitere ähnlich aussehende Bilder finden.

Die Fähigkeit, mithilfe von Gemini und Einbettungen anhand einer Nutzereingabe ähnliche Texte und Bilder zu finden, bildet eine entscheidende Grundlage für die Entwicklung multimodaler RAG-Systeme. Darum geht es in der nächsten Aufgabe.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um mit einer Bildabfrage nach ähnlichen Bildern zu suchen.

Hinweis: Bis Sie die Punktzahl für diese Aufgabe erhalten, kann es einige Minuten dauern.

Klicken Sie auf Fortschritt prüfen. Mit einer Bildabfrage nach ähnlichen Bildern suchen

Vergleichende Argumentation

Nehmen wir an, eine Grafik zeigt die Performance von Google-Aktien der Klasse A im Vergleich beispielsweise zum S&P 500 oder anderen Technologieunternehmen. Sie möchten wissen, wie die Aktien der Klasse C im Vergleich zu dieser Grafik abgeschnitten haben. Anstatt einfach nur ein ähnliches Bild zu finden, können Sie Gemini bitten, die relevanten Bilder zu vergleichen und Ihnen zu sagen, in welche Aktie Sie investieren sollten. Gemini erklärt Ihnen auch den Grund für die Empfehlung.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um zwei Bilder zu vergleichen und das ähnlichste Bild zu finden.

Klicken Sie auf Fortschritt prüfen. Vergleichende Argumentation

Aufgabe 7: Multimodale Retrieval-Augmented Generation (RAG)

Nun implementieren Sie eine multimodale RAG. Dafür kombinieren Sie alle Elemente aus den vorherigen Abschnitten. Gehen Sie so vor:

• 1. Schritt: Senden Sie eine Abfrage im Textformat, zu der die erwarteten Informationen im Dokument in Bilder und den Text eingebettet vorliegen.
• 2. Schritt: Finden Sie alle Textteile im Dokument mit einer Methode, die der im Abschnitt Textsuche ähnelt.
• 3. Schritt: Finden Sie alle ähnlichen Bilder auf den Seiten anhand der Nutzerabfrage mit image_description mit einer Methode, die der im Abschnitt Bildersuche ähnelt.
• 4. Schritt: Kombinieren Sie alle ähnlichen Texte und Bilder, die Sie im 2. und 3. Schritt gefunden haben, zu context_text und context_images.
• 5. Schritt: Mithilfe von Gemini können Sie die Nutzerabfrage mit dem Text‑ und Bildkontext aus dem 2. und 3. Schritt übergeben. Sie können dem Modell auch eine bestimmte Anweisung im Hinblick auf die Beantwortung der Nutzerabfrage geben.
• 6. Schritt: Gemini gibt eine Antwort und Sie können anhand der angegebenen Quellen die relevanten Texte und Bilder prüfen, die zur Beantwortung der Abfrage verwendet wurden.

1. In dieser Aufgabe gehen Sie die Notebookzellen durch, um eine multimodale RAG auszuführen.

Hinweis: Bis Sie die Punktzahl für diese Aufgabe erhalten, kann es einige Minuten dauern.

Klicken Sie auf Fortschritt prüfen. Quellen drucken, um die relevanten Texte und Bilder zu prüfen

Das wars! Sie haben das Lab erfolgreich abgeschlossen.

In diesem Lab haben Sie gelernt, wie Sie mit multimodaler Retrieval-Augmented Generation (RAG) eine zuverlässige Dokumentsuchmaschine erstellen. Sie wissen jetzt, wie Sie Metadaten von Dokumenten extrahieren und speichern, die sowohl Text als auch Bilder enthalten, und Einbettungen für die Dokumente generieren. Außerdem haben Sie gelernt, wie Sie in den Metadaten mithilfe von Text‑ und Bildabfragen nach ähnlichen Texten und Bildern suchen. Darüber hinaus können Sie eine Textabfrage als Eingabe verwenden, um nach kontextbezogenen Antworten mit Text und Bildern zu suchen.

Weitere Informationen

In den folgenden Ressourcen finden Sie weitere Informationen zu Gemini:

• Überblick: Gemini
• Dokumentation: Generative KI in Vertex AI
• Generative KI auf YouTube
• Im Vertex AI Cookbook finden Sie ausgewählte und durchsuchbare Notebooks zu generativer KI.
• Weitere Notebooks und Beispiele wurden im Repository „Google Cloud Generative AI“ zusammengestellt.

Google Cloud-Schulungen und -Zertifizierungen

In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.

Anleitung zuletzt am 15. Mai 2025 aktualisiert

Lab zuletzt am 15. Mai 2025 getestet

© 2025 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.