Présentation

Cloud Storage est une ressource fondamentale de Google Cloud offrant de nombreuses fonctionnalités avancées. Dans cet atelier, vous découvrirez de nombreuses fonctionnalités de Cloud Storage qui pourront vous servir dans vos conceptions. Vous pouvez interagir avec Cloud Storage à l'aide de la console Google Cloud, de l'outil de ligne de commande gsutil ou des bibliothèques clientes Cloud Storage pour différents langages de programmation.

Objectifs

Dans cet atelier, vous allez apprendre à effectuer les tâches suivantes :

• Créer et utiliser des buckets
• Limiter l'accès en définissant des listes de contrôle d'accès
• Utiliser vos propres clés de chiffrement
• Mettre en œuvre un contrôle des versions
• Synchroniser des répertoires

Préparation

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous trouverez le panneau Détails concernant l'atelier, qui contient les éléments suivants :

   • Le bouton Ouvrir la console Google Cloud
   • Le temps restant
   • Les identifiants temporaires que vous devez utiliser pour cet atelier
   • Des informations complémentaires vous permettant d'effectuer l'atelier

2. Cliquez sur Ouvrir la console Google Cloud (ou effectuez un clic droit et sélectionnez Ouvrir le lien dans la fenêtre de navigation privée si vous utilisez le navigateur Chrome).

   L'atelier lance les ressources, puis ouvre la page Se connecter dans un nouvel onglet.

   Conseil : Réorganisez les onglets dans des fenêtres distinctes, placées côte à côte.

   Remarque : Si la boîte de dialogue Sélectionner un compte s'affiche, cliquez sur Utiliser un autre compte.

3. Si nécessaire, copiez le nom d'utilisateur ci-dessous et collez-le dans la boîte de dialogue Se connecter.

   {{{user_0.username | "Username"}}}

   Vous trouverez également le nom d'utilisateur dans le panneau Détails concernant l'atelier.

4. Cliquez sur Suivant.

5. Copiez le mot de passe ci-dessous et collez-le dans la boîte de dialogue Bienvenue.

   {{{user_0.password | "Password"}}}

   Vous trouverez également le mot de passe dans le panneau Détails concernant l'atelier.

6. Cliquez sur Suivant.

   Important : Vous devez utiliser les identifiants fournis pour l'atelier. Ne saisissez pas ceux de votre compte Google Cloud. Remarque : Si vous utilisez votre propre compte Google Cloud pour cet atelier, des frais supplémentaires peuvent vous être facturés.

7. Accédez aux pages suivantes :

   • Acceptez les conditions d'utilisation.
   • N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
   • Ne vous inscrivez pas à des essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Pour afficher un menu contenant la liste des produits et services Google Cloud, cliquez sur le menu de navigation en haut à gauche, ou saisissez le nom du service ou du produit dans le champ Recherche.

Tâche 1 : Préparation

Dans cette tâche, vous allez créer un bucket Cloud Storage. Vous téléchargerez ensuite un exemple de fichier que vous utiliserez dans la tâche suivante.

Créer un bucket Cloud Storage

1. Dans la console Google Cloud, accédez au menu de navigation () et cliquez sur Cloud Storage > Buckets.

Remarque : Chaque bucket doit avoir un nom unique. Vous pouvez utiliser une partie de l'ID de votre premier projet (PROJECT_ID_1) à cet effet. Par exemple, si l'ID de votre projet (PROJECT_ID_1) est monprojet-154920, vous pouvez nommer votre bucket storecore154920

2. Cliquez sur Créer.
3. Spécifiez les paramètres suivants et conservez les valeurs par défaut des autres paramètres :

Propriété	Valeur (saisissez la valeur ou sélectionnez l'option spécifiée)
Nom	Saisissez un nom unique
Type d'emplacement	Région
Région
Appliquer la protection contre l'accès public sur ce bucket	Décochée
Contrôle des accès	Ultraprécis (autorisation au niveau de l'objet en plus de vos autorisations au niveau du bucket)

4. Notez le nom du bucket. Il sera désigné plus tard dans cet atelier par la variable [BUCKET_NAME_1].
5. Cliquez sur Créer.

Cliquez sur Vérifier ma progression pour valider l'objectif. Créer un bucket Cloud Storage

Télécharger un exemple de fichier avec CURL et créer deux copies

1. Dans la console Cloud, cliquez sur Activer Cloud Shell ().
2. Cliquez sur Continuer si vous y êtes invité.
3. Stockez [BUCKET_NAME_1] dans une variable d'environnement :

export BUCKET_NAME_1=<saisissez le nom de votre premier bucket ici>

4. Effectuez une vérification à l'aide de la commande "echo" :

echo $BUCKET_NAME_1

5. Exécutez la commande suivante pour télécharger un exemple de fichier (il s'agit d'un fichier HTML de documentation Hadoop accessible publiquement) :

curl \ https://hadoop.apache.org/docs/current/\ hadoop-project-dist/hadoop-common/\ ClusterSetup.html > setup.html

6. Pour créer des copies du fichier, exécutez les commandes suivantes :

cp setup.html setup2.html cp setup.html setup3.html

Tâche 2 : Listes de contrôle d'accès (LCA)

Dans cette tâche, vous allez définir des listes de contrôle d'accès pour limiter l'accès au fichier que vous aurez copié dans le bucket Cloud Storage.

Copier le fichier dans le bucket et configurer la liste de contrôle d'accès

1. Exécutez la commande suivante pour copier le premier fichier dans le bucket :

gcloud storage cp setup.html gs://$BUCKET_NAME_1/

2. Pour obtenir la liste d'accès attribuée par défaut au fichier setup.html, exécutez la commande suivante :

gsutil acl get gs://$BUCKET_NAME_1/setup.html > acl.txt cat acl.txt

3. Pour rendre la liste d'accès privée et vérifier les résultats, exécutez les commandes suivantes :

gsutil acl set private gs://$BUCKET_NAME_1/setup.html gsutil acl get gs://$BUCKET_NAME_1/setup.html > acl2.txt cat acl2.txt

4. Pour mettre à jour la liste d'accès et rendre le fichier accessible publiquement, exécutez les commandes suivantes :

gsutil acl ch -u AllUsers:R gs://$BUCKET_NAME_1/setup.html gsutil acl get gs://$BUCKET_NAME_1/setup.html > acl3.txt cat acl3.txt

Cliquez sur Vérifier ma progression pour valider l'objectif. Rendre un fichier lisible publiquement

Examiner le fichier dans la console Cloud

1. Dans la console Google Cloud, accédez au menu de navigation () et cliquez sur Cloud Storage > Buckets.
2. Cliquez sur [BUCKET_NAME_1].
3. Vérifiez que l'option Accès public du fichier setup.html contient un lien public.

Supprimer le fichier local et le copier de nouveau à partir de Cloud Storage

1. Revenez dans Cloud Shell. Si nécessaire, cliquez sur Activer Cloud Shell ().
2. Exécutez la commande suivante pour supprimer le fichier de configuration :

rm setup.html

3. Pour vérifier que le fichier a bien été supprimé, exécutez la commande suivante :

ls

4. Pour copier une nouvelle fois le fichier à partir du bucket, exécutez la commande suivante :

gcloud storage cp gs://$BUCKET_NAME_1/setup.html setup.html

Tâche 3 : Clés de chiffrement fournies par le client (CSEK)

Dans cette tâche, vous allez générer une clé CSEK pour chiffrer les fichiers stockés dans le bucket Cloud Storage.

Générer une clé CSEK

Pour l'étape suivante, vous avez besoin d'une clé AES-256 encodée en base64.

1. Exécutez la commande suivante pour créer une clé :

python3 -c 'import base64; import os; print(base64.encodebytes(os.urandom(32)))'

Résultat (exemple de sortie) :

b'tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=\n'

2. Copiez la valeur de la clé générée en supprimant b' et \n' du résultat de la commande. La clé doit être sous la forme tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=.

Modifier le fichier .boto

Les paramètres de contrôle du chiffrement se trouvent dans un fichier de configuration gsutil nommé .boto.

1. Pour afficher et ouvrir le fichier .boto, exécutez les commandes suivantes :

ls -al nano .boto

Remarque : Si le fichier .boto est vide, fermez l'éditeur nano en appuyant sur Ctrl+X et générez un nouveau fichier .boto avec la commande gsutil config -n. Essayez ensuite de rouvrir le fichier à l'aide des commandes ci-dessus.

Si le fichier .boto est toujours vide, il vous faudra peut-être le rechercher avec la commande gsutil version -l.

2. Recherchez la ligne contenant #encryption_key=.

Remarque : En bas de l'éditeur nano, vous disposez de raccourcis pour parcourir rapidement les fichiers. Utilisez le raccourci Where is (Où se trouve) pour localiser rapidement la ligne contenant #encryption_key=.

3. Supprimez le caractère # pour annuler la mise en commentaire de la ligne, puis collez la valeur de la clé précédemment générée à la fin de la ligne.

Exemple :

Avant : # encryption_key= Après : encryption_key=tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=

4. Appuyez sur Ctrl+O, puis sur Entrée pour enregistrer le fichier .boto. Appuyez ensuite sur Ctrl+X pour quitter nano.

Importer les fichiers "setup" restants (chiffrés) et effectuer une vérification dans la console Cloud

1. Pour importer les fichiers setup.html restants, exécutez les commandes suivantes :

gsutil cp setup2.html gs://$BUCKET_NAME_1/ gsutil cp setup3.html gs://$BUCKET_NAME_1/

2. Revenez à la console Cloud.
3. Cliquez sur [BUCKET_NAME_1]. Les fichiers setup2.html et setup3.html indiquent qu'ils sont chiffrés par le client.

Cliquez sur Vérifier ma progression pour valider l'objectif. Clés de chiffrement fournies par le client (CSEK)

Supprimer les fichiers locaux, copier de nouveaux fichiers et vérifier le chiffrement

1. Pour supprimer vos fichiers locaux, exécutez la commande suivante dans Cloud Shell :

rm setup*

2. Pour copier de nouveau les fichiers à partir du bucket, exécutez la commande suivante :

gsutil cp gs://$BUCKET_NAME_1/setup* ./

3. Vérifiez que les opérations ont réussi en exécutant les commandes cat suivantes qui permettent de lire les fichiers chiffrés :

cat setup.html cat setup2.html cat setup3.html

Tâche 4 : Alterner des CSEK

Dans cette tâche, vous allez alterner les CSEK utilisées pour chiffrer les données dans Cloud Storage, afin d'assurer la sécurité des données en continu.

Déplacer la clé de chiffrement CSEK actuelle vers la clé de déchiffrement

1. Exécutez la commande suivante pour ouvrir le fichier .boto :

nano .boto

2. Ajoutez le caractère # au début de la ligne "encryption_key" actuelle pour la mettre en commentaire.

Remarque : En bas de l'éditeur nano, vous disposez de raccourcis pour parcourir rapidement les fichiers. Utilisez le raccourci Where is (Où se trouve) pour localiser rapidement la ligne contenant encryption_key=.

3. Supprimez le caractère # pour annuler la mise en commentaire de la ligne "decryption_key1". Copiez ensuite la clé actuelle de la ligne "encryption_key" et collez-la dans la ligne "decryption_key1".

Résultat (exemple de sortie) :

Avant : encryption_key=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= # decryption_key1= Après : # encryption_key=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= decryption_key1=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg=

4. Appuyez sur Ctrl+O, puis sur Entrée pour enregistrer le fichier .boto. Appuyez ensuite sur Ctrl+X pour quitter nano.

Remarque : Dans un projet réel, vous auriez supprimé l'ancienne clé de chiffrement fournie par le client de la ligne "encryption_key".

Générer une autre clé de chiffrement fournie par le client et l'ajouter au fichier .boto

1. Exécutez la commande suivante pour générer une nouvelle clé :

python3 -c 'import base64; import os; print(base64.encodebytes(os.urandom(32)))'

2. Copiez la valeur de la clé générée en supprimant b' et \n' du résultat de la commande. La clé doit être sous la forme tmxElCaabWvJqR7uXEWQF39DhWTcDvChzuCmpHe6sb0=.
3. Pour ouvrir le fichier .boto, exécutez la commande suivante :

nano .boto

4. Annulez la mise en commentaire de la ligne de chiffrement, puis collez la nouvelle valeur de clé pour encryption_key=.

Résultat (exemple de sortie) :

Avant : # encryption_key=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= Après : encryption_key=HbFK4I8CaStcvKKIx6aNpdTse0kTsfZNUjFpM+YUEjY=

5. Appuyez sur Ctrl+O, puis sur Entrée pour enregistrer le fichier .boto. Appuyez ensuite sur Ctrl+X pour quitter nano.

Réécrire la clé pour le premier fichier et mettre en commentaire l'ancienne clé de déchiffrement

Lorsque vous réécrivez un fichier chiffré, vous pouvez le déchiffrer avec la clé "decryption_key1" définie précédemment et le chiffrer à l'aide de la nouvelle clé "encryption_key".

Vous allez réécrire la clé pour le fichier setup2.html, mais pas pour le fichier setup3.html. De cette manière, vous pourrez observer ce qui se passe si vous n'effectuez pas une rotation correcte de vos clés.

1. Exécutez la commande suivante :

gsutil rewrite -k gs://$BUCKET_NAME_1/setup2.html

2. Pour ouvrir le fichier .boto, exécutez la commande suivante :

nano .boto

3. Ajoutez le caractère # au début de la ligne "decryption_key1" actuelle pour la remettre en commentaire.

Résultat (exemple de sortie) :

Avant : decryption_key1=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg= Après : # decryption_key1=2dFWQGnKhjOcz4h0CudPdVHLG2g+OoxP8FQOIKKTzsg=

4. Appuyez sur Ctrl+O, puis sur Entrée pour enregistrer le fichier .boto. Appuyez ensuite sur Ctrl+X pour quitter nano.

Remarque : Dans un projet réel, vous auriez supprimé l'ancienne clé de chiffrement fournie par le client de la ligne "decryption_key1".

Télécharger les fichiers setup2.html et setup3.html

1. Pour télécharger le fichier setup2.html, exécutez la commande suivante :

gsutil cp gs://$BUCKET_NAME_1/setup2.html recover2.html

2. Pour télécharger le fichier setup3.html, exécutez la commande suivante :

gsutil cp gs://$BUCKET_NAME_1/setup3.html recover3.html Remarque : Que s'est-il passé ? Le fichier setup3.html n'a pas été réécrit avec la nouvelle clé. Cela implique qu'il ne peut plus être déchiffré, et que l'opération de copie du fichier va échouer.

Vous avez réussi à alterner des CSEK.

Tâche 5 : Activer la gestion du cycle de vie

Dans cette tâche, vous allez activer la gestion du cycle de vie pour un bucket Cloud Storage afin d'automatiser la suppression des objets après une période spécifiée.

Afficher la stratégie actuellement définie pour le cycle de vie du bucket

• Exécutez la commande ci-dessous pour afficher la stratégie de cycle de vie actuellement définie :

gsutil lifecycle get gs://$BUCKET_NAME_1 Remarque : Pour le moment, il n'existe aucune configuration de gestion du cycle de vie. Vous allez en créer une lors des prochaines étapes.

Créer un fichier de stratégie de cycle de vie au format JSON

1. Pour créer un fichier nommé life.json, exécutez la commande suivante :

nano life.json

2. Collez la valeur suivante dans le fichier life.json :

{ "rule": [ { "action": {"type": "Delete"}, "condition": {"age": 31} } ] } Remarque : Ces instructions indiquent à Cloud Storage que l'objet doit être supprimé après un délai de 31 jours.

3. Appuyez sur Ctrl+O et Entrée pour enregistrer le fichier, puis sur Ctrl+X pour quitter nano.

Définir et examiner la stratégie

1. Pour définir la stratégie, exécutez la commande suivante :

gsutil lifecycle set life.json gs://$BUCKET_NAME_1

2. Pour examiner la stratégie, exécutez la commande suivante :

gsutil lifecycle get gs://$BUCKET_NAME_1

Cliquez sur Vérifier ma progression pour valider l'objectif. Activer la gestion du cycle de vie

Tâche 6 : Activer la gestion des versions

Dans cette tâche, vous allez activer la gestion des versions pour un bucket Cloud Storage afin d'empêcher toute suppression ou modification accidentelle des données.

Afficher l'état de la gestion des versions pour le bucket et activer la gestion des versions

1. Exécutez la commande suivante pour afficher l'état actuel de la gestion des versions pour le bucket :

gsutil versioning get gs://$BUCKET_NAME_1 Remarque : L'état "Suspendu" indique que la gestion des versions n'est pas activée.

2. Pour activer la gestion des versions, exécutez la commande suivante :

gsutil versioning set on gs://$BUCKET_NAME_1

3. Pour vérifier que la gestion des versions a bien été activée, exécutez la commande suivante :

gsutil versioning get gs://$BUCKET_NAME_1

Cliquez sur Vérifier ma progression pour valider l'objectif. Activer la gestion des versions

Créer plusieurs versions de l'exemple de fichier dans le bucket

1. Vérifiez la taille de l'exemple de fichier :

ls -al setup.html

2. Ouvrez le fichier setup.html :

nano setup.html

3. Supprimez cinq lignes du fichier setup.html (peu importe lesquelles) afin de modifier sa taille.
4. Appuyez sur Ctrl+O et Entrée pour enregistrer le fichier, puis sur Ctrl+X pour quitter nano.
5. Copiez le fichier dans le bucket avec l'option de gestion des versions "-v" :

gcloud storage cp -v setup.html gs://$BUCKET_NAME_1

6. Ouvrez le fichier setup.html :

nano setup.html

7. Supprimez cinq autres lignes du fichier setup.html afin de modifier sa taille.
8. Appuyez sur Ctrl+O et Entrée pour enregistrer le fichier, puis sur Ctrl+X pour quitter nano.
9. Copiez le fichier dans le bucket avec l'option de gestion des versions "-v" :

gcloud storage cp -v setup.html gs://$BUCKET_NAME_1

Lister toutes les versions du fichier

1. Pour lister toutes les versions du fichier, exécutez la commande suivante :

gcloud storage ls -a gs://$BUCKET_NAME_1/setup.html

2. Sélectionnez et copiez le nom de la version originale du fichier (la première listée). Cette version sera désignée sous le nom [VERSION_NAME] lors de la prochaine étape.

Remarque : Assurez-vous de copier l'intégralité du chemin d'accès du fichier, en commençant par gs://

3. Stockez la valeur de cette version dans la variable d'environnement [VERSION_NAME].

export VERSION_NAME=<saisissez le nom de la VERSION ici>

4. Effectuez une vérification à l'aide de la commande "echo" :

echo $VERSION_NAME

Résultat (exemple de sortie) :

gs://BUCKET_NAME_1/setup.html#1584457872853517

Télécharger la version d'origine du fichier (la plus ancienne) et vérifier la récupération du fichier

1. Téléchargez la version originale du fichier :

gcloud storage cp $VERSION_NAME recovered.txt

2. Pour vérifier que le fichier a bien été récupéré, exécutez les commandes suivantes :

ls -al setup.html ls -al recovered.txt Remarque : Vous venez de récupérer le fichier original à partir de la version de sauvegarde. Vous pouvez remarquer que ce fichier d'origine est plus lourd que la version actuelle, du fait de la suppression de certaines lignes dans le nouveau fichier.

Tâche 7 : Synchroniser un répertoire avec un bucket

Dans cette tâche, vous allez synchroniser un répertoire local et ses sous-répertoires avec un bucket Cloud Storage à l'aide de la commande gsutil rsync.

Créer un répertoire imbriqué et le synchroniser avec un bucket

Créez une structure de répertoire imbriqué pour observer ce qui se passe lorsque vous copiez le répertoire vers un bucket de manière récursive.

1. Exécutez les commandes suivantes :

mkdir firstlevel mkdir ./firstlevel/secondlevel cp setup.html firstlevel cp setup.html firstlevel/secondlevel

2. Pour synchroniser le répertoire "firstlevel" de la VM avec votre bucket, exécutez la commande suivante :

gsutil rsync -r ./firstlevel gs://$BUCKET_NAME_1/firstlevel

Examiner les résultats

1. Dans la console Google Cloud, accédez au menu de navigation () et cliquez sur Cloud Storage > Buckets.
2. Cliquez sur [BUCKET_NAME_1]. Observez les sous-dossiers présents dans le bucket.
3. Cliquez sur /firstlevel, puis sur /secondlevel.
4. Comparez ce que vous observez dans la console Cloud avec les résultats obtenus à l'aide de la commande suivante :

gcloud storage ls -r gs://$BUCKET_NAME_1/firstlevel

5. Quittez Cloud Shell :

exit

Tâche 8 : Récapitulatif

Dans cet atelier, vous avez appris à créer et utiliser des buckets et des objets. Vous avez également découvert les fonctionnalités Cloud Storage suivantes :

• Clés de chiffrement fournies par le client (CSEK)
• Utiliser vos propres clés de chiffrement
• Rotation des clés
• Liste de contrôle d'accès (LCA)
• Configuration d'une liste de contrôle d'accès en mode privé, puis passage en mode public
• Gestion du cycle de vie
• Création d'une stratégie de suppression des objets au bout de 31 jours
• Gestion des versions
• Création d'une version et restauration d'une version précédente
• Synchronisation de répertoires
• Synchronisation récursive d'un répertoire de VM avec un bucket

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Google Cloud Skills Boost supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.

Le nombre d'étoiles correspond à votre degré de satisfaction :

• 1 étoile = très insatisfait(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.

Copyright 2020 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms d'entreprises et de produits peuvent être des marques des entreprises auxquelles ils sont associés.