GSP1140
Übersicht
Document AI ist eine Lösung zur Dokumentverarbeitung, die unstrukturierte Daten (z. B. Dokumente, E‑Mails, Rechnungen, Formulare usw.) leichter verständlich, analysierbar und nutzbar macht. Über die API stehen Funktionen wie Inhaltsklassifizierung, Entitätserkennung, erweiterte Suche und weitere Optionen zur Verfügung.
In diesem Lab erfahren Sie, wie Sie spezialisierte Document AI-Prozessoren verwenden, um bestimmte Dokumente mit Python zu klassifizieren und zu parsen.
Für das Parsen und die Entitätsextraktion verwenden Sie eine Rechnung als Beispiel. Diese Vorgehensweise und der Beispielcode eignen sich für alle von Document AI unterstützten Dokumente.
Ziele
Aufgaben in diesem Lab:
- Schematisierte Entitäten mit spezialisierten Prozessoren extrahieren
Einrichtung und Anforderungen
Vor dem Klick auf „Start Lab“ (Lab starten)
Lesen Sie diese Anleitung. Labs sind zeitlich begrenzt und können nicht pausiert werden. Der Timer beginnt zu laufen, wenn Sie auf Lab starten klicken, und zeigt Ihnen, wie lange Google Cloud-Ressourcen für das Lab verfügbar sind.
In diesem praxisorientierten Lab können Sie die Lab-Aktivitäten in einer echten Cloud-Umgebung durchführen – nicht in einer Simulations- oder Demo-Umgebung. Dazu erhalten Sie neue, temporäre Anmeldedaten, mit denen Sie für die Dauer des Labs auf Google Cloud zugreifen können.
Für dieses Lab benötigen Sie Folgendes:
- Einen Standardbrowser (empfohlen wird Chrome)
Hinweis: Nutzen Sie den privaten oder Inkognitomodus (empfohlen), um dieses Lab durchzuführen. So wird verhindert, dass es zu Konflikten zwischen Ihrem persönlichen Konto und dem Teilnehmerkonto kommt und zusätzliche Gebühren für Ihr persönliches Konto erhoben werden.
- Zeit für die Durchführung des Labs – denken Sie daran, dass Sie ein begonnenes Lab nicht unterbrechen können.
Hinweis: Verwenden Sie für dieses Lab nur das Teilnehmerkonto. Wenn Sie ein anderes Google Cloud-Konto verwenden, fallen dafür möglicherweise Kosten an.
Lab starten und bei der Google Cloud Console anmelden
-
Klicken Sie auf Lab starten. Wenn Sie für das Lab bezahlen müssen, wird ein Dialogfeld geöffnet, in dem Sie Ihre Zahlungsmethode auswählen können.
Auf der linken Seite befindet sich der Bereich „Details zum Lab“ mit diesen Informationen:
- Schaltfläche „Google Cloud Console öffnen“
- Restzeit
- Temporäre Anmeldedaten für das Lab
- Ggf. weitere Informationen für dieses Lab
-
Klicken Sie auf Google Cloud Console öffnen (oder klicken Sie mit der rechten Maustaste und wählen Sie Link in Inkognitofenster öffnen aus, wenn Sie Chrome verwenden).
Im Lab werden Ressourcen aktiviert. Anschließend wird ein weiterer Tab mit der Seite „Anmelden“ geöffnet.
Tipp: Ordnen Sie die Tabs nebeneinander in separaten Fenstern an.
Hinweis: Wird das Dialogfeld Konto auswählen angezeigt, klicken Sie auf Anderes Konto verwenden.
-
Kopieren Sie bei Bedarf den folgenden Nutzernamen und fügen Sie ihn in das Dialogfeld Anmelden ein.
{{{user_0.username | "Username"}}}
Sie finden den Nutzernamen auch im Bereich „Details zum Lab“.
-
Klicken Sie auf Weiter.
-
Kopieren Sie das folgende Passwort und fügen Sie es in das Dialogfeld Willkommen ein.
{{{user_0.password | "Password"}}}
Sie finden das Passwort auch im Bereich „Details zum Lab“.
-
Klicken Sie auf Weiter.
Wichtig: Sie müssen die für das Lab bereitgestellten Anmeldedaten verwenden. Nutzen Sie nicht die Anmeldedaten Ihres Google Cloud-Kontos.
Hinweis: Wenn Sie Ihr eigenes Google Cloud-Konto für dieses Lab nutzen, können zusätzliche Kosten anfallen.
-
Klicken Sie sich durch die nachfolgenden Seiten:
- Akzeptieren Sie die Nutzungsbedingungen.
- Fügen Sie keine Wiederherstellungsoptionen oder Zwei-Faktor-Authentifizierung hinzu (da dies nur ein temporäres Konto ist).
- Melden Sie sich nicht für kostenlose Testversionen an.
Nach wenigen Augenblicken wird die Google Cloud Console in diesem Tab geöffnet.
Hinweis: Wenn Sie auf Google Cloud-Produkte und ‑Dienste zugreifen möchten, klicken Sie auf das Navigationsmenü oder geben Sie den Namen des Produkts oder Dienstes in das Feld Suchen ein.
Cloud Shell aktivieren
Cloud Shell ist eine virtuelle Maschine, auf der Entwicklertools installiert sind. Sie bietet ein Basisverzeichnis mit 5 GB nichtflüchtigem Speicher und läuft auf Google Cloud. Mit Cloud Shell erhalten Sie Befehlszeilenzugriff auf Ihre Google Cloud-Ressourcen.
-
Klicken Sie oben in der Google Cloud Console auf Cloud Shell aktivieren 
.
-
Klicken Sie sich durch die folgenden Fenster:
- Fahren Sie mit dem Informationsfenster zu Cloud Shell fort.
- Autorisieren Sie Cloud Shell, Ihre Anmeldedaten für Google Cloud API-Aufrufe zu verwenden.
Wenn eine Verbindung besteht, sind Sie bereits authentifiziert und das Projekt ist auf Project_ID, eingestellt. Die Ausgabe enthält eine Zeile, in der die Project_ID für diese Sitzung angegeben ist:
Ihr Cloud-Projekt in dieser Sitzung ist festgelegt als {{{project_0.project_id | "PROJECT_ID"}}}
gcloud ist das Befehlszeilentool für Google Cloud. Das Tool ist in Cloud Shell vorinstalliert und unterstützt die Tab-Vervollständigung.
- (Optional) Sie können den aktiven Kontonamen mit diesem Befehl auflisten:
gcloud auth list
- Klicken Sie auf Autorisieren.
Ausgabe:
ACTIVE: *
ACCOUNT: {{{user_0.username | "ACCOUNT"}}}
Um das aktive Konto festzulegen, führen Sie diesen Befehl aus:
$ gcloud config set account `ACCOUNT`
- (Optional) Sie können die Projekt-ID mit diesem Befehl auflisten:
gcloud config list project
Ausgabe:
[core]
project = {{{project_0.project_id | "PROJECT_ID"}}}
Hinweis: Die vollständige Dokumentation für gcloud finden Sie in Google Cloud in der Übersicht zur gcloud CLI.
Aufgabe 1: Document AI API aktivieren
Bevor Sie mit Document AI arbeiten können, müssen Sie die API aktivieren.
-
Klicken Sie zum Öffnen der Cloud Shell oben in der Console auf den Button Cloud Shell aktivieren.
-
Führen Sie in der Cloud Shell den folgenden Befehl aus, um die API für Document AI zu aktivieren:
gcloud services enable documentai.googleapis.com
Auf dem Bildschirm sollte Folgendes zu sehen sein:
Operation "operations/..." finished successfully.
Außerdem sollten Sie Pandas installieren, eine Open-Source-Bibliothek für Python zur Datenanalyse.
- Führen Sie den folgenden Befehl aus, um Pandas zu installieren:
pip3 install --upgrade pandas
- Führen Sie den folgenden Befehl aus, um die Python-Clientbibliotheken für Document AI zu installieren:
pip3 install --upgrade google-cloud-documentai
Auf dem Bildschirm sollte Folgendes zu sehen sein:
...
Installing collected packages: google-cloud-documentai
Successfully installed google-cloud-documentai-2.15.0
Jetzt können Sie die Document AI API verwenden.
Klicken Sie auf Fortschritt prüfen.
Document AI API aktivieren
Aufgabe 2: Formularparser-Prozessor erstellen
Sie müssen zuerst eine Formularparser-Prozessorinstanz erstellen, die Sie in der Document AI Platform für diese Anleitung verwenden können.
- Klicken Sie im Navigationsmenü unter Künstliche Intelligenz auf ALLE PRODUKTE ANSEHEN und wählen Sie Document AI aus.
- Klicken Sie auf Prozessoren ansehen, scrollen Sie nach unten zu Spezialisiert und klicken Sie unter Rechnungsparser auf Prozessor erstellen.
-
Geben Sie als Namen lab-invoice-parser ein und wählen Sie die nächstgelegene Region aus der Liste aus.
-
Klicken Sie auf Erstellen, um den Prozessor zu erstellen.
-
Kopieren Sie Ihre Prozessor-ID. Sie werden sie später in Ihrem Code verwenden.
Prozessor erstellen
Beispieldokumente herunterladen
Wir haben einige Beispieldokumente, die Sie für dieses Lab verwenden können.
- Führen Sie den folgenden Befehl aus, um die Beispielformulare in die Cloud Shell herunterzuladen:
gcloud storage cp gs://cloud-samples-data/documentai/codelabs/specialized-processors/procurement_multi_document.pdf .
gcloud storage cp gs://cloud-samples-data/documentai/codelabs/specialized-processors/google_invoice.pdf .
- Prüfen Sie mit dem folgenden Befehl, ob die Dateien in Cloud Shell heruntergeladen wurden:
ls
Auf dem Bildschirm sollte Folgendes zu sehen sein:
google_invoice.pdf procurement_multi_document.pdf
Aufgabe 3: Entitäten extrahieren
Sie können jetzt die schematisierten Entitäten aus den Dateien extrahieren, wie Konfidenzwerte, Attribute und normalisierte Werte.
Der Code für die API-Anfrage entspricht dem Code aus dem vorherigen Schritt und eignet sich für Online- oder Batchanfragen.
Sie können auf die folgenden Informationen zu den Entitäten zugreifen:
-
Entitätstyp
- z. B.
invoice_date, receiver_name, total_amount
-
Rohwerte
- Datenwerte, wie sie in der Originaldokumentdatei dargestellt werden.
-
Normalisierte Werte
- Datenwerte in einem normalisierten und standardisierten Format, sofern zutreffend.
- Ggf. mit Anreicherung aus dem Enterprise Knowledge Graph
-
Konfidenzwerte
- Wie „sicher“ das Modell ist, dass die Werte korrekt sind.
Einige Entitätstypen wie line_item können auch verschachtelte Entitäten als Attribute enthalten, beispielsweise line_item/unit_price und line_item/description. In diesem Beispiel ist die verschachtelte Struktur zur besseren Übersicht vereinfacht.
Rechnungsparser
- Erstellen Sie in der Cloud Shell eine Datei mit dem Namen
extraction.py und fügen Sie den folgenden Code ein:
import pandas as pd
from google.cloud import documentai_v1 as documentai
def online_process(
project_id: str,
location: str,
processor_id: str,
file_path: str,
mime_type: str,
) -> documentai.Document:
"""
Processes a document using the Document AI Online Processing API.
"""
opts = {"api_endpoint": f"{location}-documentai.googleapis.com"}
# Instantiates a client
documentai_client = documentai.DocumentProcessorServiceClient(client_options=opts)
# The full resource name of the processor, e.g.:
# projects/project-id/locations/location/processor/processor-id
# You must create new processors in the Cloud Console first
resource_name = documentai_client.processor_path(project_id, location, processor_id)
# Read the file into memory
with open(file_path, "rb") as file:
file_content = file.read()
# Load Binary Data into Document AI RawDocument Object
raw_document = documentai.RawDocument(content=file_content, mime_type=mime_type)
# Configure the process request
request = documentai.ProcessRequest(name=resource_name, raw_document=raw_document)
# Use the Document AI client to process the sample form
result = documentai_client.process_document(request=request)
return result.document
PROJECT_ID = "YOUR_PROJECT_ID"
LOCATION = "YOUR_PROJECT_LOCATION" # Format is 'us' or 'eu'
PROCESSOR_ID = "INVOICE_PARSER_ID" # Create processor in Cloud Console
# The local file in your current working directory
FILE_PATH = "google_invoice.pdf"
# Refer to https://cloud.google.com/document-ai/docs/processors-list
# for supported file types
MIME_TYPE = "application/pdf"
document = online_process(
project_id=PROJECT_ID,
location=LOCATION,
processor_id=PROCESSOR_ID,
file_path=FILE_PATH,
mime_type=MIME_TYPE,
)
types = []
raw_values = []
normalized_values = []
confidence = []
# Grab each key/value pair and their corresponding confidence scores.
for entity in document.entities:
types.append(entity.type_)
raw_values.append(entity.mention_text)
normalized_values.append(entity.normalized_value.text)
confidence.append(f"{entity.confidence:.0%}")
# Get Properties (Sub-Entities) with confidence scores
for prop in entity.properties:
types.append(prop.type_)
raw_values.append(prop.mention_text)
normalized_values.append(prop.normalized_value.text)
confidence.append(f"{prop.confidence:.0%}")
# Create a Pandas Dataframe to print the values in tabular format.
df = pd.DataFrame(
{
"Type": types,
"Raw Value": raw_values,
"Normalized Value": normalized_values,
"Confidence": confidence,
}
)
print(df)
-
Ersetzen Sie INVOICE_PARSER_ID durch die ID des zuvor erstellten Rechnungsparser-Prozessors und verwenden Sie die Datei google_invoice.pdf.
-
Ersetzen Sie YOUR_PROJECT_ID und YOUR_PROJECT_LOCATION durch Ihre Google Cloud-Projekt-ID bzw. den Prozessorstandort.
-
Führen Sie das Script aus:
python3 extraction.py
Die Ausgabe sollte in etwa so aussehen:
Type Raw Value Normalized Value Confidence
0 due_date Sep 30, 2019 2019-09-30 99%
1 net_amount 22,379.39 22379.39 99%
2 total_amount 19,647.68 19647.68 99%
3 invoice_date Sep 24, 2019 2019-09-24 98%
4 total_tax_amount 1,767.97 1767.97 94%
5 receiver_name Jane Smith, 88%
6 receiver_address 1600 Amphitheatre Pkway Mountain View, CA 94043 77%
7 invoice_id 23413561D 60%
8 freight_amount 199.99 199.99 60%
9 invoice_type invoice_statement 59%
10 currency $ USD 58%
11 supplier_name Google Google 37%
12 line_item 9.99 12 12 ft HDMI cable 119.88 100%
13 line_item/unit_price 9.99 9.99 95%
14 line_item/quantity 12 12 75%
15 line_item/description 12 ft HDMI cable 64%
16 line_item/amount 119.88 119.88 90%
17 line_item 12 399.99 27" Computer Monitor 4,799.88 100%
18 line_item/quantity 12 12 76%
19 line_item/unit_price 399.99 399.99 95%
20 line_item/description 27" Computer Monitor 42%
21 line_item/amount 4,799.88 4799.88 93%
22 line_item Ergonomic Keyboard 12 59.99 719.88 100%
23 line_item/description Ergonomic Keyboard 42%
24 line_item/quantity 12 12 75%
25 line_item/unit_price 59.99 59.99 94%
26 line_item/amount 719.88 719.88 85%
27 line_item Optical mouse 12 19.99 239.88 100%
28 line_item/description Optical mouse 55%
29 line_item/quantity 12 12 72%
30 line_item/unit_price 19.99 19.99 94%
31 line_item/amount 239.88 239.88 81%
32 line_item Laptop 12 1,299.99 15,599.88 100%
33 line_item/description Laptop 65%
34 line_item/quantity 12 12 71%
35 line_item/unit_price 1,299.99 1299.99 94%
36 line_item/amount 15,599.88 15599.88 91%
37 line_item Misc processing fees 899.99 899.99 1 100%
38 line_item/description Misc processing fees 54%
39 line_item/unit_price 899.99 899.99 92%
40 line_item/amount 899.99 899.99 82%
41 line_item/quantity 1 1 68%
- Erstellen Sie einen Cloud Storage-Bucket und laden Sie die generierte Ausgabe des Befehls
docai_outputs.txt in den Bucket hoch.
# Create a bucket
export PROJECT_ID=$(gcloud config get-value project)
gsutil mb gs://$PROJECT_ID-docai
# Create and upload the file
python3 extraction.py > docai_outputs.txt
gsutil cp docai_outputs.txt gs://$PROJECT_ID-docai
Cloud Storage-Bucket erstellen und Ausgabedatei hochladen
Optional: Andere Spezialprozessoren ausprobieren
Sie haben mit Document AI für das Beschaffungswesen Dokumente klassifiziert und eine Rechnung geparst. Document AI unterstützt auch die folgenden Speziallösungen:
Mit dieser Vorgehensweise und diesem Code können Sie jeden spezialisierten Prozessor nutzen.
Wenn Sie die anderen Speziallösungen ausprobieren möchten, können Sie das Lab mit anderen Prozessortypen und anderen Beispieldokumenten noch einmal ausführen.
Hinweis: Einige Prozessoren für Ausweisdokumente, Kreditwesen und Verträge sind derzeit nur mit eingeschränktem Zugriff verfügbar. Wenn Sie einen geschäftlichen Anwendungsfall für diese Prozessoren haben, reichen Sie bitte das entsprechende Anfrageformular ein, bevor Sie fortfahren.
Beispieldokumente
Hier finden Sie einige Beispieldokumente, mit denen Sie die anderen spezialisierten Prozessoren ausprobieren können.
Weitere Beispieldokumente und Prozessorausgaben finden Sie in der Dokumentation.
Das wars! Sie haben das Lab erfolgreich abgeschlossen.
Glückwunsch! Sie haben mit Document AI eine Rechnung geparst. Außerdem haben Sie gelernt, wie Sie die Python-Clientbibliothek verwenden, um die Document AI API aufzurufen.
Weitere Informationen
Weitere Informationen zu Document AI und der Python-Clientbibliothek finden Sie in den folgenden Ressourcen:
Google Cloud-Schulungen und -Zertifizierungen
In unseren Schulungen erfahren Sie alles zum optimalen Einsatz unserer Google Cloud-Technologien und können sich entsprechend zertifizieren lassen. Unsere Kurse vermitteln technische Fähigkeiten und Best Practices, damit Sie möglichst schnell mit Google Cloud loslegen und Ihr Wissen fortlaufend erweitern können. Wir bieten On-Demand-, Präsenz- und virtuelle Schulungen für Anfänger wie Fortgeschrittene an, die Sie individuell in Ihrem eigenen Zeitplan absolvieren können. Mit unseren Zertifizierungen weisen Sie nach, dass Sie Experte im Bereich Google Cloud-Technologien sind.
Anleitung zuletzt am 7. November 2024 aktualisiert
Lab zuletzt am 7. November 2024 getestet
© 2026 Google LLC. Alle Rechte vorbehalten. Google und das Google-Logo sind Marken von Google LLC. Alle anderen Unternehmens- und Produktnamen können Marken der jeweils mit ihnen verbundenen Unternehmen sein.
