GSP1140
Présentation
Document AI est une solution de reconnaissance de documents qui exploite des données non structurées (par exemple, des documents, des e-mails, des factures, des formulaires, etc.) et en facilite la compréhension, l'analyse et l'utilisation. L'API fournit une structure via la classification de contenu, l'extraction d'entités, la recherche avancée, etc.
Dans cet atelier, vous allez apprendre à utiliser les processeurs spécialisés de Document AI pour classer et analyser des documents spécialisés avec Python.
Pour l'analyse et l'extraction d'entités, vous utiliserez une facture comme exemple. Cette procédure et cet exemple de code fonctionnent pour n'importe quel document spécialisé compatible avec Document AI.
Objectifs
Dans cet atelier, vous apprendrez à effectuer la tâche suivante :
- Extraire des entités schématisées à l'aide de processeurs spécialisés
Préparation
Avant de cliquer sur le bouton "Démarrer l'atelier"
Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.
Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.
Pour réaliser cet atelier :
- Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).
Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.
- Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.
Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.
Démarrer l'atelier et se connecter à la console Google Cloud
-
Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement.
Sur la gauche, vous trouverez le panneau "Détails concernant l'atelier", qui contient les éléments suivants :
- Le bouton "Ouvrir la console Google Cloud"
- Le temps restant
- Les identifiants temporaires que vous devez utiliser pour cet atelier
- Des informations complémentaires vous permettant d'effectuer l'atelier
-
Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).
L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.
Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.
Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.
-
Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.
{{{user_0.username | "Username"}}}
Vous trouverez également le nom d'utilisateur dans le panneau "Détails concernant l'atelier".
-
Cliquez sur Suivant.
-
Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.
{{{user_0.password | "Password"}}}
Vous trouverez également le mot de passe dans le panneau "Détails concernant l'atelier".
-
Cliquez sur Suivant.
Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud.
Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.
-
Accédez aux pages suivantes :
- Acceptez les conditions d'utilisation.
- N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
- Ne vous inscrivez pas à des essais sans frais.
Après quelques instants, la console Cloud s'ouvre dans cet onglet.
Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche.
Activer Cloud Shell
Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud. Cloud Shell vous permet d'accéder via une ligne de commande à vos ressources Google Cloud.
-
Cliquez sur Activer Cloud Shell 
en haut de la console Google Cloud.
-
Passez les fenêtres suivantes :
- Accédez à la fenêtre d'informations de Cloud Shell.
- Autorisez Cloud Shell à utiliser vos identifiants pour effectuer des appels d'API Google Cloud.
Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET : . Le résultat contient une ligne qui déclare l'ID_PROJET pour cette session :
Your Cloud Platform project in this session is set to {{{project_0.project_id | "PROJECT_ID"}}}
gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.
- (Facultatif) Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :
gcloud auth list
- Cliquez sur Autoriser.
Résultat :
ACTIVE: *
ACCOUNT: {{{user_0.username | "ACCOUNT"}}}
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- (Facultatif) Vous pouvez lister les ID de projet à l'aide de cette commande :
gcloud config list project
Résultat :
[core]
project = {{{project_0.project_id | "PROJECT_ID"}}}
Remarque : Pour consulter la documentation complète sur gcloud, dans Google Cloud, accédez au guide de présentation de la gcloud CLI.
Tâche 1 : Activer l'API Document AI
Avant de pouvoir utiliser Document AI, vous devez activer l'API.
-
Ouvrez Cloud Shell en cliquant sur le bouton Activer Cloud Shell en haut de la console.
-
Dans Cloud Shell, exécutez la commande suivante pour activer l'API Document AI.
gcloud services enable documentai.googleapis.com
L'écran qui s'affiche devrait ressembler à ce qui suit :
Operation "operations/..." finished successfully.
Vous devrez également installer Pandas, une bibliothèque d'analyse de données Open Source pour Python.
- Exécutez la commande suivante pour installer Pandas.
pip3 install --upgrade pandas
- Exécutez la commande suivante pour installer les bibliothèques clientes Python pour Document AI.
pip3 install --upgrade google-cloud-documentai
L'écran qui s'affiche devrait ressembler à ce qui suit :
...
Installing collected packages: google-cloud-documentai
Successfully installed google-cloud-documentai-2.15.0
Vous êtes maintenant prêt à utiliser l'API Document AI.
Cliquez sur Vérifier ma progression pour valider l'objectif.
Activer l'API Document AI
Tâche 2 : Créer un processeur d'analyse de formulaires
Vous devez d'abord créer une instance d'analyseur de formulaires à utiliser sur la plate-forme Document AI lors de ce tutoriel.
- Dans le menu de navigation, cliquez sur AFFICHER TOUS LES PRODUITS. Sous Intelligence artificielle, sélectionnez Document AI.
- Cliquez sur Explorer les processeurs, faites défiler jusqu'à Spécialisé, puis dans Analyseur de factures, cliquez sur Créer un processeur.
-
Nommez-le lab-invoice-parser et sélectionnez la région la plus proche dans la liste.
-
Cliquez sur Créer pour créer le processeur.
-
Copiez l'ID de votre processeur. Vous devrez l'utiliser ultérieurement dans votre code.
Créer un processeur
Télécharger des exemples de documents
Nous avons mis à votre disposition quelques exemples de documents que vous pouvez utiliser pour cet atelier.
- Exécutez la commande suivante pour télécharger les exemples de formulaires dans Cloud Shell.
gcloud storage cp gs://cloud-samples-data/documentai/codelabs/specialized-processors/procurement_multi_document.pdf .
gcloud storage cp gs://cloud-samples-data/documentai/codelabs/specialized-processors/google_invoice.pdf .
- Vérifiez que les fichiers ont bien été téléchargés dans Cloud Shell à l'aide de la commande suivante :
ls
Un message de ce type devrait s'afficher :
google_invoice.pdf procurement_multi_document.pdf
Tâche 3 : Extraire les entités
Vous pouvez à présent extraire les entités schématisées des fichiers, y compris les scores de confiance, les propriétés et les valeurs normalisées.
Le code permettant d'envoyer la requête API est identique à celui de l'étape précédente et peut être utilisé pour des requêtes en ligne ou par lot.
Vous aurez accès aux informations suivantes concernant les entités :
-
Type d'entité
- Par exemple,
invoice_date (date de la facture), receiver_name (nom du bénéficiaire), total_amount (montant total)
-
Valeurs brutes
- Valeurs de données telles qu'elles sont présentées dans le fichier du document d'origine
-
Valeurs normalisées
- Valeurs de données dans un format normalisé et standard, le cas échéant
- Peuvent également inclure l'enrichissement issu de Enterprise Knowledge Graph
-
Niveaux de confiance
- Degré de certitude du modèle quant à l'exactitude des valeurs
Certains types d'entités, tels que line_item (ligne), peuvent également inclure des propriétés. Ce sont des entités imbriquées telles que line_item/unit_price (ligne/prix à l'unité) et line_item/description (ligne/description). Cet exemple simplifie la structure imbriquée pour faciliter la lecture.
Analyseur de factures
- Dans Cloud Shell, créez un fichier nommé
extraction.py et collez-y le code suivant :
import pandas as pd
from google.cloud import documentai_v1 as documentai
def online_process(
project_id: str,
location: str,
processor_id: str,
file_path: str,
mime_type: str,
) -> documentai.Document:
"""
Processes a document using the Document AI Online Processing API.
"""
opts = {"api_endpoint": f"{location}-documentai.googleapis.com"}
# Instantiates a client
documentai_client = documentai.DocumentProcessorServiceClient(client_options=opts)
# The full resource name of the processor, e.g.:
# projects/project-id/locations/location/processor/processor-id
# You must create new processors in the Cloud Console first
resource_name = documentai_client.processor_path(project_id, location, processor_id)
# Read the file into memory
with open(file_path, "rb") as file:
file_content = file.read()
# Load Binary Data into Document AI RawDocument Object
raw_document = documentai.RawDocument(content=file_content, mime_type=mime_type)
# Configure the process request
request = documentai.ProcessRequest(name=resource_name, raw_document=raw_document)
# Use the Document AI client to process the sample form
result = documentai_client.process_document(request=request)
return result.document
PROJECT_ID = "YOUR_PROJECT_ID"
LOCATION = "YOUR_PROJECT_LOCATION" # Format is 'us' or 'eu'
PROCESSOR_ID = "INVOICE_PARSER_ID" # Create processor in Cloud Console
# The local file in your current working directory
FILE_PATH = "google_invoice.pdf"
# Refer to https://cloud.google.com/document-ai/docs/processors-list
# for supported file types
MIME_TYPE = "application/pdf"
document = online_process(
project_id=PROJECT_ID,
location=LOCATION,
processor_id=PROCESSOR_ID,
file_path=FILE_PATH,
mime_type=MIME_TYPE,
)
types = []
raw_values = []
normalized_values = []
confidence = []
# Grab each key/value pair and their corresponding confidence scores.
for entity in document.entities:
types.append(entity.type_)
raw_values.append(entity.mention_text)
normalized_values.append(entity.normalized_value.text)
confidence.append(f"{entity.confidence:.0%}")
# Get Properties (Sub-Entities) with confidence scores
for prop in entity.properties:
types.append(prop.type_)
raw_values.append(prop.mention_text)
normalized_values.append(prop.normalized_value.text)
confidence.append(f"{prop.confidence:.0%}")
# Create a Pandas Dataframe to print the values in tabular format.
df = pd.DataFrame(
{
"Type": types,
"Raw Value": raw_values,
"Normalized Value": normalized_values,
"Confidence": confidence,
}
)
print(df)
-
Remplacez INVOICE_PARSER_ID par l'ID du processeur d'analyse de factures que vous avez créé précédemment et utilisez le fichier google_invoice.pdf.
-
Remplacez YOUR_PROJECT_ID et YOUR_PROJECT_LOCATION par l'ID de votre projet Google Cloud et l'emplacement du processeur, respectivement.
-
Exécutez le script suivant :
python3 extraction.py
Votre résultat doit se présenter comme suit :
Type Raw Value Normalized Value Confidence
0 due_date Sep 30, 2019 2019-09-30 99%
1 net_amount 22,379.39 22379.39 99%
2 total_amount 19,647.68 19647.68 99%
3 invoice_date Sep 24, 2019 2019-09-24 98%
4 total_tax_amount 1,767.97 1767.97 94%
5 receiver_name Jane Smith, 88%
6 receiver_address 1600 Amphitheatre Pkway Mountain View, CA 94043 77%
7 invoice_id 23413561D 60%
8 freight_amount 199.99 199.99 60%
9 invoice_type invoice_statement 59%
10 currency $ USD 58%
11 supplier_name Google Google 37%
12 line_item 9.99 12 12 ft HDMI cable 119.88 100%
13 line_item/unit_price 9.99 9.99 95%
14 line_item/quantity 12 12 75%
15 line_item/description 12 ft HDMI cable 64%
16 line_item/amount 119.88 119.88 90%
17 line_item 12 399.99 27" Computer Monitor 4,799.88 100%
18 line_item/quantity 12 12 76%
19 line_item/unit_price 399.99 399.99 95%
20 line_item/description 27" Computer Monitor 42%
21 line_item/amount 4,799.88 4799.88 93%
22 line_item Ergonomic Keyboard 12 59.99 719.88 100%
23 line_item/description Ergonomic Keyboard 42%
24 line_item/quantity 12 12 75%
25 line_item/unit_price 59.99 59.99 94%
26 line_item/amount 719.88 719.88 85%
27 line_item Optical mouse 12 19.99 239.88 100%
28 line_item/description Optical mouse 55%
29 line_item/quantity 12 12 72%
30 line_item/unit_price 19.99 19.99 94%
31 line_item/amount 239.88 239.88 81%
32 line_item Laptop 12 1,299.99 15,599.88 100%
33 line_item/description Laptop 65%
34 line_item/quantity 12 12 71%
35 line_item/unit_price 1,299.99 1299.99 94%
36 line_item/amount 15,599.88 15599.88 91%
37 line_item Misc processing fees 899.99 899.99 1 100%
38 line_item/description Misc processing fees 54%
39 line_item/unit_price 899.99 899.99 92%
40 line_item/amount 899.99 899.99 82%
41 line_item/quantity 1 1 68%
- Créez un bucket Cloud Storage et importez-y le résultat généré par la commande
docai_outputs.txt.
# Create a bucket
export PROJECT_ID=$(gcloud config get-value project)
gsutil mb gs://$PROJECT_ID-docai
# Create and upload the file
python3 extraction.py > docai_outputs.txt
gsutil cp docai_outputs.txt gs://$PROJECT_ID-docai
Créer un bucket Cloud Storage et importer le fichier de résultat
Facultatif : Essayer d'autres processeurs spécialisés
Vous avez utilisé Document AI pour l'approvisionnement afin de classer des documents et d'analyser une facture. Document AI propose également les solutions spécialisées suivantes :
Vous pouvez suivre la même procédure et utiliser le même code pour gérer n'importe quel processeur spécialisé.
Si vous souhaitez essayer les autres solutions spécialisées, vous pouvez recommencer l'atelier avec d'autres types de processeurs et des exemples de documents spécialisés.
Remarque : L'accès à certains processeurs pour l'identité, les prêts et les contrats est actuellement limité. Si vous avez un cas d'utilisation métier pour ces processeurs, veuillez remplir et envoyer le formulaire de demande approprié.
Exemples de documents
Voici quelques exemples de documents que vous pouvez utiliser pour tester les autres processeurs spécialisés.
Vous trouverez d'autres exemples de documents et de résultats de processeur dans la documentation.
Félicitations !
Vous avez utilisé Document AI pour analyser une facture. Vous avez également appris à appeler l'API Document AI à l'aide de la bibliothèque cliente Python.
Étapes suivantes et informations supplémentaires
Consultez les ressources suivantes pour en savoir plus sur Document AI et la bibliothèque cliente Python :
Formations et certifications Google Cloud
Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.
Dernière mise à jour du manuel : 7 novembre 2024
Dernier test de l'atelier : 7 novembre 2024
Copyright 2026 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.
