Chargement...
Aucun résultat.

Create the BigQuery AWS connection

Vérifier ma progression

/ 25

Create the BigQuery Dataset and External Table

Vérifier ma progression

/ 25

Query the External Table

Vérifier ma progression

/ 25

Export query results to AWS S3

Vérifier ma progression

/ 25

Cet atelier peut intégrer des outils d'IA pour vous accompagner dans votre apprentissage.
Ce contenu n'est pas encore optimisé pour les appareils mobiles.
Pour une expérience optimale, veuillez accéder à notre site sur un ordinateur de bureau en utilisant un lien envoyé par e-mail.

GSP1075

Google Cloud – Ateliers d'auto-formation

Présentation

Dans cet atelier, vous allez apprendre à utiliser BigQuery Omni avec AWS. BigQuery Omni vous permet d'exécuter des analyses BigQuery sur des données stockées dans AWS S3. Vous allez créer une connexion autorisée entre Google Cloud BigQuery et AWS S3, interroger des données résidant dans des buckets S3 sans aucun mouvement de données et réécrire les résultats de la requête dans des buckets AWS S3. Cet atelier est basé sur un guide BigQuery Omni publié par Google.

Architecture de haut niveau

Architecture de haut niveau

Objectifs

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

  • Créer une connexion entre Google Cloud et AWS
  • Autoriser BigQuery Omni à lire les données d'un bucket AWS S3
  • Créer une table externe BigQuery qui référence les données brutes présentes dans le bucket AWS S3
  • Exécuter des requêtes sur les données AWS S3
  • Exporter les résultats des requêtes vers un bucket AWS S3

Préparation

Avant de cliquer sur le bouton "Démarrer l'atelier"

Lisez ces instructions. Les ateliers sont minutés, et vous ne pouvez pas les mettre en pause. Le minuteur, qui démarre lorsque vous cliquez sur Démarrer l'atelier, indique combien de temps les ressources Google Cloud resteront accessibles.

Cet atelier pratique vous permet de suivre les activités dans un véritable environnement cloud, et non dans un environnement de simulation ou de démonstration. Des identifiants temporaires vous sont fournis pour vous permettre de vous connecter à Google Cloud le temps de l'atelier.

Pour réaliser cet atelier :

  • Vous devez avoir accès à un navigateur Internet standard (nous vous recommandons d'utiliser Chrome).
Remarque : Ouvrez une fenêtre de navigateur en mode incognito (recommandé) ou de navigation privée pour effectuer cet atelier. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.
  • Vous disposez d'un temps limité. N'oubliez pas qu'une fois l'atelier commencé, vous ne pouvez pas le mettre en pause.
Remarque : Utilisez uniquement le compte de participant pour cet atelier. Si vous utilisez un autre compte Google Cloud, des frais peuvent être facturés à ce compte.

Démarrer l'atelier et se connecter à la console Google Cloud

  1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, une boîte de dialogue s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la droite, vous trouverez le panneau Préparation et accès à l'atelier, qui contient les éléments suivants :

    • Le bouton Ouvrir la console Google Cloud
    • Les identifiants temporaires (nom d'utilisateur et mot de passe) que vous devez utiliser pour cet atelier
    • Des informations complémentaires vous permettant d'effectuer l'atelier, si nécessaire

    Notez que le minuteur de l'atelier se trouve en haut de la page et indique le temps restant.

  2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans une fenêtre en navigation privée si vous utilisez Chrome).

    L'atelier lance les ressources, puis ouvre la page "Se connecter" dans un nouvel onglet.

    Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

    Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

  3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

    {{{user_0.username | "Username"}}}

    Vous trouverez également le nom d'utilisateur dans le panneau Préparation et accès à l'atelier.

  4. Cliquez sur Suivant.

  5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

    {{{user_0.password | "Password"}}}

    Vous trouverez également le mot de passe dans le panneau Préparation et accès à l'atelier.

  6. Cliquez sur Suivant.

    Important : Vous devez utiliser les identifiants fournis pour l'atelier. N'utilisez pas les identifiants de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires pourront vous être facturés.

  7. Accédez aux pages suivantes :

    • Acceptez les conditions d'utilisation.
    • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
    • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour accéder aux produits et services Google Cloud, cliquez sur le menu de navigation ou saisissez le nom du service ou du produit dans le champ Recherche. Icône du menu de navigation et champ de recherche

Tâche 1 : Créer une connexion BigQuery AWS

BigQuery Omni accède aux données Amazon S3 à l'aide de connexions autorisées depuis Google Cloud. Chaque connexion possède son propre utilisateur IAM (Identity and Access Management) Amazon Web Services (AWS). Vous accordez des autorisations aux utilisateurs à l'aide des rôles IAM AWS. Les stratégies des rôles IAM AWS déterminent les données auxquelles BigQuery peut accéder pour chaque connexion.

Remarque : Dans cet atelier, vous allez utiliser les consoles Google Cloud et AWS, et passer d'un onglet/d'une fenêtre à l'autre en fonction des descriptions des tâches.

Créer une stratégie IAM AWS pour BigQuery

  1. Connectez-vous à AWS Management Console. Cliquez sur le bouton Open AWS Console (Ouvrir la console AWS) dans le volet de l'atelier, puis connectez-vous à l'aide du nom d'utilisateur et du mot de passe fournis.

  2. Recherchez Amazon S3 dans la barre de recherche en haut de la page, puis sélectionnez S3. Un bucket régional nommé contenant des données préremplies est déjà disponible pour cet atelier. Copiez le nom de ce bucket pour les étapes suivantes.

  3. Recherchez AWS Identity and Access Management (IAM) dans la barre de recherche en haut de la page, puis sélectionnez IAM.

  4. Dans le volet de gauche, sélectionnez Policies (Stratégies), puis cliquez sur bigquery-omni-connection-policy.

  5. Cliquez sur l'onglet JSON, puis sur Edit (Modifier) et collez le texte suivant dans l'éditeur. Remplacez toutes les occurrences de <BUCKET_NAME> par le nom de votre bucket S3 copié à l'étape 2.

{ "Statement": [ { "Action": [ "s3:ListBucket" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>" ], "Sid": "BucketLevelAccess" }, { "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>", "arn:aws:s3:::<BUCKET_NAME>/*" ], "Sid": "ObjectLevelGetAccess" }, { "Action": [ "s3:PutObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<BUCKET_NAME>", "arn:aws:s3:::<BUCKET_NAME>/*" ], "Sid": "ObjectLevelPutAccess" } ], "Version": "2012-10-17" }

  1. Cliquez sur Suivant.

  2. Cliquez sur Save changes (Enregistrer les modifications).

Valider l'IAM AWS pour BigQuery

  1. Dans le volet de gauche, sélectionnez Roles (Rôles).

  2. Cliquez sur le rôle bigquery-omni-connection.

  3. Copiez l'ARN. Il se présente au format suivant, où <ACCOUNT_ID> correspond à l'ID de votre compte AWS.

arn:aws:iam::<ACCOUNT_ID>:role/bigquery-omni-connection

ARN du rôle copié

Créer la connexion BigQuery AWS

  1. Dans la console Google Cloud, accédez au menu de navigation, puis à BigQuery > Studio.

  2. Accédez au volet Explorateur, puis sélectionnez + Ajouter des données.

Ajouter des données

  1. Cochez la case Stockage/Lacs de données. Sous Sélection de sources de données, sélectionnez Amazon S3, puis Fédération BigQuery Omni.

  2. Dans le volet Source de données externe, saisissez les informations suivantes :

    • Dans le champ Type de connexion, sélectionnez Lakehouse sur AWS (via BigQuery Omni).
    • Dans le champ ID de connexion, saisissez bq-omni-aws-connector pour identifier la ressource de connexion.
    • Dans le champ Emplacement de connexion, sélectionnez aws-us-east-1.
    • Facultatif : dans le champ Nom descriptif, saisissez un nom clair pour identifier la connexion. Le nom descriptif peut être n'importe quelle valeur permettant d'identifier la ressource de connexion si vous devez la modifier par la suite.
    • Facultatif : dans le champ Description, saisissez une description de la ressource de connexion.
    • Dans le champ ID de rôle AWS, saisissez l'ARN complet du rôle IAM que vous avez copié à l'étape précédente au format suivant : arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME.

  3. Cliquez sur Créer une connexion.

  4. Revenez à l'explorateur BigQuery classique, cliquez sur le menu déroulant à côté du nom de votre projet et accédez à la connexion que vous venez de créer dans la liste Connexions externes.

informations sur la ressource de connexion bigquery

  1. Notez l'identité Google BigQuery. Il s'agit d'un principe de Google spécifique à chaque connexion. Copiez cette identité Google BigQuery qui sera utilisée dans la section suivante.

Votre identité Google BigQuery doit ressembler à ceci :

BigQuery Google identity: 114999259451445753095

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer la connexion BigQuery AWS

Ajouter une relation de confiance au rôle AWS

La relation de confiance permet à la connexion BigQuery AWS d'assumer son rôle et d'accéder aux données S3 comme spécifié dans la stratégie des rôles.

  1. Revenez à la console IAM AWS.

  2. Dans le volet de gauche, sélectionnez Roles (Rôles).

  3. Sélectionnez le rôle bigquery-omni-connection.

  4. Vérifiez que la durée maximale de la session est définie sur 12 heures. Étant donné que chaque requête peut s'exécuter pendant un maximum de six heures, cette durée permet une nouvelle tentative. L'augmentation de la durée de la session au-delà de 12 heures n'autorise pas de nouvelles tentatives. Pour en savoir plus, consultez le délai d'exécution de la requête à plusieurs instructions.

  5. Sélectionnez l'onglet Trust Relationships (Relations de confiance), puis cliquez sur Edit trust policy (Modifier la stratégie de confiance).

  6. Remplacez le contenu de la stratégie par le code suivant, en remplaçant BIGQUERY_IDENTITY par l'identité Google BigQuery que vous avez copiée à l'étape 6 de la section Créer la connexion BigQuery AWS.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Federated": "accounts.google.com" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringEquals": { "accounts.google.com:sub": "<BIGQUERY_IDENTITY>" } } } ] }
  1. Cliquez sur Update Policy (Modifier la stratégie).

La connexion est maintenant prête à être utilisée.

Remarque : Il peut y avoir un délai de propagation pour l'attribution de rôle dans AWS. Si vous recevez une erreur de ce type lorsque vous utilisez une nouvelle connexion, le fait d'attendre et de réessayer plus tard peut résoudre le problème.

Tâche 2 : Exécuter des requêtes sur la table externe AWS S3

BigQuery Omni ne gère pas les données stockées dans Amazon S3. Pour accéder aux données S3, vous devez définir une table externe. Cette table est appelée table externe, car les données ne sont pas stockées dans l'espace de stockage géré BigQuery. Pour en savoir plus sur les tables externes, consultez la section sur les tables externes.

Créer un ensemble de données BigQuery

Dans cette section, vous allez créer un ensemble de données BigQuery dans la même région que votre bucket AWS S3.

  1. Dans la console Google Cloud, accédez à la page BigQuery pour créer un ensemble de données.

  2. Dans le volet Explorateur classique, cliquez sur les trois points à côté du nom de votre projet et sélectionnez Créer un ensemble de données.

  3. Sur la page Créer un ensemble de données, saisissez les informations suivantes :

    • Pour ID de l'ensemble de données, saisissez bq_omni_demo.
    • Pour Emplacement des données, choisissez aws-us-east-1.

  4. Cliquez sur Créer un ensemble de données.

Créer une table externe

Dans cette section, vous allez créer une table externe dans l'ensemble de données ci-dessus.

  1. Dans l'explorateur BigQuery, développez votre projet et sélectionnez l'ensemble de données bq_omni_demo que vous avez créé.

  2. Dans le panneau de détails, cliquez sur Créer une table.

  3. Dans la section Source de la page Créer une table, procédez comme suit :

    • Dans le champ Créer une table à partir de, sélectionnez Amazon S3.
    • Dans le champ Sélectionnez un chemin d'accès S3, saisissez s3://[nom du bucket S3]/taxi-data_green_trips_table.csv.
      • Remplacez [nom du bucket S3] par .
    • Pour Format de fichier, sélectionnez CSV.
Remarque : Les formats acceptés sont AVRO, PARQUET, ORC, CSV, NEWLINE_DELIMITED_JSON et Google Sheets. Important : veillez à supprimer tous les espaces du chemin d'accès S3, car ils provoquent des erreurs.

  1. Dans la section Destination de la page Créer une table, procédez comme suit :

    • Dans le champ Nom de l'ensemble de données, choisissez bq_omni_demo.
    • Dans le champ Nom de la table, utilisez bq-omni-table.
    • Vérifiez que le paramètre Type de table est défini sur Table externe.
    • Dans le champ ID de connexion, sélectionnez l'ID de connexion approprié dans la liste déroulante.
    • Dans la section Schéma, cochez la case Détection automatique.

  2. Cliquez sur Créer une table.

Remarque : Il n'est pas nécessaire de spécifier un schéma de table, car il est détecté automatiquement à partir du fichier source.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer l'ensemble de données et la table externe BigQuery

Tâche 3 : Créer une table externe et interroger les données AWS S3

BigQuery Omni vous permet d'interroger la table externe comme n'importe quelle table BigQuery. La taille maximale des résultats pour les requêtes interactives est de 10 Go (preview). Pour en savoir plus, consultez la section Limites. Si le résultat de votre requête dépasse 10 Go, nous vous recommandons de l'exporter vers Amazon S3. Le résultat de la requête est stocké dans une table temporaire BigQuery.

Interroger la table externe

  1. Sur la page d'informations de bq-omni-table, cliquez sur Requête. Un nouvel éditeur s'ouvre.

  2. Dans l'éditeur de requête, exécutez l'instruction suivante :

SELECT * FROM `{{{project_0.project_id|S3 bucket name}}}.bq_omni_demo.bq-omni-table`
  1. Cliquez sur Exécuter.

Vous devriez obtenir le résultat suivant :

résultats de la requête

Cliquez sur Vérifier ma progression pour valider l'objectif. Interroger la table externe

Tâche 4 : Exporter les résultats des requêtes vers AWS S3

BigQuery Omni vous permet d'exporter vers Amazon S3 le résultat d'une requête portant sur une table externe BigQuery.

Exporter les résultats d'une requête

BigQuery Omni écrit sur l'emplacement Amazon S3 spécifié, quel que soit le contenu existant. La requête d'exportation peut écraser les données existantes ou combiner le résultat de la requête avec les données existantes. Dans le champ "Éditeur de requête", vous devez exécuter une requête d'exportation en SQL standard de Google. Le langage SQL standard de Google est la syntaxe par défaut dans la console Google Cloud. Voici le modèle à utiliser :

EXPORT DATA WITH CONNECTION `CONNECTION_REGION.CONNECTION_NAME` \ OPTIONS(uri="s3://BUCKET_NAME/PATH", format="FORMAT", ...) \ AS QUERY

Vous devez remplacer les éléments suivants :

  • CONNECTION_REGION : région dans laquelle la connexion a été créée.
  • CONNECTION_NAME : nom de la connexion que vous avez créée avec l'autorisation nécessaire pour écrire dans le bucket S3.
  • BUCKET_NAME : bucket Amazon S3 dans lequel vous souhaitez écrire les données.
  • PATH : chemin dans lequel vous souhaitez écrire le fichier exporté.
  • FORMAT : les formats acceptés sont JSON, AVRO et CSV.
  • QUERY : requête permettant d'analyser les données stockées dans une table externe BigQuery.
  1. Pour cet atelier, la requête a été préremplie. Collez cette requête dans l'éditeur :
EXPORT DATA WITH CONNECTION `aws-us-east-1.bq-omni-aws-connector` OPTIONS(uri="s3://{{{project_0.project_id|S3 bucket name}}}/exports/*", format="CSV") AS SELECT * FROM `{{{project_0.project_id|S3 bucket name}}}.bq_omni_demo.bq-omni-table`
  1. Cliquez sur Exécuter.

Vous devriez obtenir le résultat suivant :

Successfully exported 15417 rows into 1 files.
  1. Accédez à votre bucket S3 et vérifiez que les données ont été exportées dans le répertoire exports.

Console AWS : exportation d'une requête vers un bucket S3

Parfait ! Vous avez exécuté une requête d'exportation et vous avez créé un fichier dans votre bucket S3.

Cliquez sur Vérifier ma progression pour valider l'objectif. Exporter les résultats des requêtes vers AWS S3

Félicitations !

Dans cet atelier, vous avez créé une connexion entre Google Cloud et AWS, et vous avez autorisé BigQuery Omni à lire les données d'un bucket AWS S3. Vous avez ensuite créé une table externe BigQuery qui référence les données brutes présentes dans le bucket AWS S3, vous avez exécuté des requêtes sur les données et vous avez exporté les résultats des requêtes vers un bucket AWS S3.

Étapes suivantes et informations supplémentaires

Pour en savoir plus sur BigQuery Omni, consultez les ressources suivantes :

Formations et certifications Google Cloud

Les formations et certifications Google Cloud vous aident à tirer pleinement parti des technologies Google Cloud. Nos cours portent sur les compétences techniques et les bonnes pratiques à suivre pour être rapidement opérationnel et poursuivre votre apprentissage. Nous proposons des formations pour tous les niveaux, à la demande, en salle et à distance, pour nous adapter aux emplois du temps de chacun. Les certifications vous permettent de valider et de démontrer vos compétences et votre expérience en matière de technologies Google Cloud.

Dernière mise à jour du manuel : 18 mai 2026

Dernier test de l'atelier : 19 février 2026

Copyright 2026 Google LLC. Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.

Avant de commencer

  1. Les ateliers créent un projet Google Cloud et des ressources pour une durée déterminée.
  2. Les ateliers doivent être effectués dans le délai imparti et ne peuvent pas être mis en pause. Si vous quittez l'atelier, vous devrez le recommencer depuis le début.
  3. En haut à gauche de l'écran, cliquez sur Démarrer l'atelier pour commencer.

Utilisez la navigation privée

  1. Copiez le nom d'utilisateur et le mot de passe fournis pour l'atelier
  2. Cliquez sur Ouvrir la console en navigation privée

Connectez-vous à la console

  1. Connectez-vous à l'aide des identifiants qui vous ont été attribués pour l'atelier. L'utilisation d'autres identifiants peut entraîner des erreurs ou des frais.
  2. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.
  3. Ne cliquez pas sur Terminer l'atelier, à moins que vous n'ayez terminé l'atelier ou que vous ne vouliez le recommencer, car cela effacera votre travail et supprimera le projet.

Ce contenu n'est pas disponible pour le moment

Nous pouvons vous prévenir par e-mail lorsqu'il sera disponible

Parfait !

Nous pouvons vous contacter par e-mail s'il devient disponible

Un atelier à la fois

Confirmez pour mettre fin à tous les ateliers existants et démarrer celui-ci

Utilisez la navigation privée pour effectuer l'atelier

Le meilleur moyen d'exécuter cet atelier consiste à utiliser une fenêtre de navigation privée. Vous éviterez ainsi les conflits entre votre compte personnel et le compte temporaire de participant, qui pourraient entraîner des frais supplémentaires facturés sur votre compte personnel.