概要

このラボでは、Vertex Pipelines を使った ML パイプラインの作成方法と実行方法について学びます。

学習目標

• Kubeflow Pipelines SDK を使用してスケーラブルな ML パイプラインを構築する
• 入力としてテキストを受け取る簡単なパイプラインを 3 つのステップで作成して実行する
• AutoML 分類モデルのトレーニング、評価、デプロイを行うパイプラインを作成して実行する
• google_cloud_pipeline_components ライブラリで提供されている事前構築済みコンポーネントを使用して、Vertex AI サービスとのやり取りを行う
• Cloud Scheduler でパイプライン ジョブのスケジュールを設定する

設定と要件

各ラボでは、新しい Google Cloud プロジェクトとリソースセットを一定時間無料で利用できます。

1. Qwiklabs にシークレット ウィンドウでログインします。

2. ラボのアクセス時間（例: 1:15:00）に注意し、時間内に完了できるようにしてください。
   一時停止機能はありません。必要な場合はやり直せますが、最初からになります。

3. 準備ができたら、[ラボを開始] をクリックします。

4. ラボの認証情報（ユーザー名とパスワード）をメモしておきます。この情報は、Google Cloud Console にログインする際に使用します。

5. [Google Console を開く] をクリックします。

6. [別のアカウントを使用] をクリックし、このラボの認証情報をコピーしてプロンプトに貼り付けます。
   他の認証情報を使用すると、エラーが発生したり、料金の請求が発生したりします。

7. 利用規約に同意し、再設定用のリソースページをスキップします。

Cloud Shell をアクティブにする

Cloud Shell は、開発ツールが組み込まれた仮想マシンです。5 GB の永続ホーム ディレクトリを提供し、Google Cloud 上で実行されます。Cloud Shell を使用すると、コマンドラインで Google Cloud リソースにアクセスできます。gcloud は Google Cloud のコマンドライン ツールで、Cloud Shell にプリインストールされており、Tab キーによる入力補完がサポートされています。

1. Google Cloud Console のナビゲーション パネルで、「Cloud Shell をアクティブにする」アイコン（）をクリックします。

2. [次へ] をクリックします。
   環境がプロビジョニングされ、接続されるまでしばらく待ちます。接続の際に認証も行われ、プロジェクトは現在のプロジェクト ID に設定されます。次に例を示します。

サンプル コマンド

• 有効なアカウント名前を一覧表示する:

gcloud auth list

（出力）

Credentialed accounts: - <myaccount>@<mydomain>.com (active)

（出力例）

Credentialed accounts: - google1623327_student@qwiklabs.net

• プロジェクト ID を一覧表示する:

gcloud config list project

（出力）

[core] project = <プロジェクト ID>

（出力例）

[core] project = qwiklabs-gcp-44776a13dea667a6

タスク 1. クラウド環境を設定する

Cloud Shell には、現在の Cloud プロジェクトの名前が格納されている GOOGLE_CLOUD_PROJECT など、いくつかの環境変数があります。本ラボではさまざまな場所でこれを使用します。次を実行すると確認できます。

echo $GOOGLE_CLOUD_PROJECT

API を有効にする

• これらのサービスがどんな場面で（なぜ）必要になるのかは、後の手順でわかります。とりあえず、次のコマンドを実行して Compute Engine、Container Registry、Vertex AI の各サービスへのアクセス権を取得します。

gcloud services enable compute.googleapis.com \ containerregistry.googleapis.com \ aiplatform.googleapis.com \ cloudbuild.googleapis.com \ cloudfunctions.googleapis.com

成功すると次のようなメッセージが表示されます。

Operation "operations/acf.cc11852d-40af-47ad-9d59-477a12847c9e" finished successfully.

タスク 2. Cloud Storage バケットを作成する

Vertex AI でトレーニング ジョブを実行するには、保存対象のモデルアセットを格納するストレージ バケットが必要です。バケットにはリージョンが必要です。ここでは US-central を指定しますが、別のリージョンを使用することもできます（その場合はラボ内の該当箇所をすべて置き換えてください）。

1. Cloud Shell ターミナルで次のコマンドを実行して、バケットを作成します。

BUCKET_NAME=gs://$GOOGLE_CLOUD_PROJECT-bucket gsutil mb -l us-central1 $BUCKET_NAME

2. このバケットへのアクセス権をコンピューティング サービス アカウントに付与します。

gcloud projects describe $GOOGLE_CLOUD_PROJECT > project-info.txt PROJECT_NUM=$(cat project-info.txt | sed -nre 's:.*projectNumber\: (.*):\1:p') SVC_ACCOUNT="${PROJECT_NUM//\'/}-compute@developer.gserviceaccount.com" gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT --member serviceAccount:$SVC_ACCOUNT --role roles/storage.objectAdmin

こうすることで、Vertex Pipelines にこのバケットへのファイルの書き込みに必要な権限を付与することができます。

タスク 3. 推奨 API を有効にする

1. Google Cloud コンソールのナビゲーション メニュー（）で、[Vertex AI] > [ダッシュボード] をクリックします。
2. [すべての推奨 API を有効にする] をクリックします。

タスク 4. Vertex AI Notebooks インスタンスを起動する

1. Google Cloud コンソール のナビゲーション メニューで、[Vertex AI] > [ワークベンチ] をクリックします。[ユーザー管理のノートブック] を選択します。

2. ノートブック インスタンスのページで [Create New] をクリックし、[Environment] で [TensorFlow Enterprise 2.6 (with LTS)] の最新バージョンを選択します。

3. [新しいノートブック] インスタンス ダイアログで、Deep Learning VM の名前を確認します。リージョンとゾーンを変更しない場合は、設定をすべてそのままにして [作成] をクリックします。新しい VM が起動するまでに 2～3 分かかります。

4. [JUPYTERLAB を開く] をクリックします。
   JupyterLab ウィンドウが新しいタブで開きます。

タスク 5. Vertex AI Notebooks インスタンス内でコース リポジトリのクローンを作成する

training-data-analyst ノートブックのクローンを JupyterLab インスタンス内に作成するには、次の手順を行います。

1. JupyterLab で、[Terminal] アイコンをクリックして新しいターミナルを開きます。

2. コマンドライン プロンプトで、次のコマンドを実行します。

   git clone https://github.com/GoogleCloudPlatform/training-data-analyst

3. リポジトリのクローンが作成されたことを確認するには、training-data-analyst ディレクトリをダブルクリックし、リポジトリのコンテンツが表示されることを確認します。
   このディレクトリには、本コースのすべての Jupyter ノートブック ラボで使用するファイルが含まれています。

タスク 6. Vertex Pipelines で ML パイプラインを作成して実行する

1. ノートブック インターフェースで、[training-data-analyst] > [courses] > [machine_learning] > [deepdive2] > [machine_learning_in_the_enterprise] > [labs] に移動して pipelines_intro_kfp.ipynb を開きます。

2. ノートブック インターフェースで、[Edit] > [Clear All Outputs] をクリックします。

3. ノートブックの手順をよく読み、コードを入力する必要がある場所に「#TODO」のマークを付けた行を挿入します。

ヒント: 現在のセルを実行するには、そのセルをクリックして、Shift+Enter キーを押します。その他のセルコマンドはノートブック UI 内の [実行] の下にあります。

• タスクのヒントが提供されている場合もあります。テキストをハイライト表示すると、関連するヒントが白いテキストで表示されます。
• さらに情報が必要な場合は、[training-data-analyst] > [courses] > [machine_learning] > [deepdive2] > [machine_learning_in_the_enterprise] > [solutions] に移動して pipelines_intro_kfp.ipynb を開き、ソリューションの全体を見ることもできます。

ラボを終了する

ラボでの学習が完了したら、[ラボを終了] をクリックします。ラボで使用したリソースが Qwiklabs から削除され、アカウントの情報も消去されます。

ラボの評価を求めるダイアログが表示されたら、星の数を選択してコメントを入力し、[送信] をクリックします。

星の数は、それぞれ次の評価を表します。

• 星 1 つ = 非常に不満
• 星 2 つ = 不満
• 星 3 つ = どちらともいえない
• 星 4 つ = 満足
• 星 5 つ = 非常に満足

フィードバックを送信しない場合は、ダイアログ ボックスを閉じてください。

フィードバック、ご提案、修正が必要な箇所については、[サポート] タブからお知らせください。

Copyright 2020 Google LLC All rights reserved. Google および Google のロゴは Google LLC の商標です。その他すべての企業名および商品名はそれぞれ各社の商標または登録商標です。