Serverless Data Processing with Dataflow - CI/CD with Dataflow Rezensionen

ERROR for airflow version 1 not supported please update the lab

CHENNA K. · Vor mehr als ein Jahr überprüft

not working and i got lot of issues from google side

Batthi V. · Vor mehr als ein Jahr überprüft

Hello, I´ve trying to do the lab but ran into two sytem errors and need your help to get through them. Error #1 - Task 2. Creating the Cloud Composer environment - Description: When creating the Cloud Composer environment with the lab's code, I receive the following error: "ERROR: (gcloud.composer.environments.create) INVALID_ARGUMENT: Found 1 problem: 1) Invalid image version: 'composer-1.20.8-airflow-1.10.15' derived based on your input: 'composer-1.20.8-airflow-1.10.15'. Currently suggested new environment image versions are: [composer-3-airflow-2.7.3, composer-2.8.5-airflow-2.7.3, composer-2.8.5-airflow-2.6.3]." - Here is the code provided by the lab: gcloud composer environments create $COMPOSER_ENV_NAME \ --location $COMPOSER_REGION \ --zone $COMPOSER_ZONE_ID \ --python-version 3 \ --image-version composer-1.20.8-airflow-1.10.15 Error #2 - Task 5. Creating Cloud Build pipelines - Description: When creating the build and testing the pipeline with the code from the lab, I receive the following error: "BUILD FAILURE: Build step failure: build step 9 "gcr.io/cloud-builders/gcloud" failed: step exited with non-zero status: 1 ERROR: (gcloud.builds.submit) build f6609bb1-24f8-449f-a2ce-5c115bb3c3f5 completed with status "FAILURE" " - Here is the code provided by the lab: cd ~/ci-cd-for-data-processing-workflow/source-code/build-pipeline gcloud builds submit --config=build_deploy_test.yaml --substitutions=\ REPO_NAME=$SOURCE_CODE_REPO,\ _DATAFLOW_JAR_BUCKET=$DATAFLOW_JAR_BUCKET_TEST,\ _COMPOSER_INPUT_BUCKET=$INPUT_BUCKET_TEST,\ _COMPOSER_REF_BUCKET=$REF_BUCKET_TEST,\ _COMPOSER_DAG_BUCKET=$COMPOSER_DAG_BUCKET,\ _COMPOSER_ENV_NAME=$COMPOSER_ENV_NAME,\ _COMPOSER_REGION=$COMPOSER_REGION,\ _COMPOSER_DAG_NAME_TEST=$COMPOSER_DAG_NAME_TEST

Andres Felipe G. · Vor mehr als ein Jahr überprüft

Composer environment is not supported, code is not working

vchemodurov@griddynamics.com S. · Vor mehr als ein Jahr überprüft

Step 9 failed in creating the build - I did rerun teh build it failed - with logs not giving enough information

Shabana K. · Vor mehr als ein Jahr überprüft

It have to be up to date. I tried image-version composer-3-airflow-2.7.3 I couldn't change test dag and run process corectly

Andrzej J. · Vor mehr als ein Jahr überprüft

janarthanam j. · Vor mehr als ein Jahr überprüft

Composer environment is not supported, code is not working

vchemodurov@griddynamics.com S. · Vor mehr als ein Jahr überprüft

This command is not working gcloud composer environments create $COMPOSER_ENV_NAME \ --location $COMPOSER_REGION \ --zone $COMPOSER_ZONE_ID \ --python-version 3 \ --image-version composer-1.20.8-airflow-1.10.15

Ramesh S. · Vor mehr als ein Jahr überprüft

Step 9 failed in creating the build - I did rerun teh build it failed - with logs not giving enough information

Shabana K. · Vor mehr als ein Jahr überprüft

manjing m. · Vor mehr als ein Jahr überprüft

It have to be up to date. I tried image-version composer-3-airflow-2.7.3 I couldn't change test dag and run process corectly

Andrzej J. · Vor mehr als ein Jahr überprüft

It have to be up to date

Andrzej J. · Vor mehr als ein Jahr überprüft

Command to create the composer instance not up to date, permissions seems to be missing as well or steps/explanations from the lab

Anthony D. · Vor mehr als ein Jahr überprüft

It have to be up to date

Andrzej J. · Vor mehr als ein Jahr überprüft

It is impossiblee to create the cloud composer enviroment(task2)

Monika K. · Vor mehr als ein Jahr überprüft

Ahmad A. · Vor mehr als ein Jahr überprüft

BUGGGG

Muhtarom A. · Vor mehr als ein Jahr überprüft

Instruction for Cloud Composer environment creation is wrong. At Task5, the following error message appears. Broken DAG (dags/data-pipeline-test.py): Traceback (most recent call last): File "/opt/python3.11/lib/python3.11/site-packages/airflow/models/baseoperator.py", line 437, in apply_defaults result = func(self, **kwargs, default_args=default_args) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/python3.11/lib/python3.11/site-packages/airflow/models/baseoperator.py", line 794, in __init__ raise AirflowException( airflow.exceptions.AirflowException: Invalid arguments were passed to PubSubPublishMessageOperator (task_id: publish_test_complete). Invalid arguments were: **kwargs: {'project': 'qwiklabs-gcp-04-185741e67'}

Yuri F. · Vor mehr als ein Jahr überprüft

This lab does not work, the first code: gcloud composer environments create $COMPOSER_ENV_NAME \ --location $COMPOSER_REGION \ --zone $COMPOSER_ZONE_ID \ --python-version 3 \ --image-version composer-1.20.8-airflow-1.10.15 ERROR: (gcloud.composer.environments.create) INVALID_ARGUMENT: Found 1 problem: 1) Invalid image version: 'composer-1.20.8-airflow-1.10.15' derived based on your input: 'composer-1.20.8-airflow-1.10.15'. Currently suggested new environment image versions are: [composer-3-airflow-2.7.3, composer-2.8.2-airflow-2.7.3, composer-2.8.2-airflow-2.6.3]. student_03_bf6a99f5ecf3@cloudshell:~/ci-cd-for-data-processing-workflow/env-setup (qwiklabs-gcp-00-62eb828b9159)$ I've tried multiple things, only one worked and then I was kicked out of the lab for not following instructions. Please fix! Update 7/16/2024 - this lab still does not work. The same error was receive. I was advised by Skills Boost support that the error was resolved.

Jenna R. · Vor mehr als ein Jahr überprüft

Not working in gcloud composer environments create $COMPOSER_ENV_NAME \ --location $COMPOSER_REGION \ --zone $COMPOSER_ZONE_ID \ --python-version 3 \ --image-version composer-1.20.8-airflow-1.10.15

Alessandro T. · Vor mehr als ein Jahr überprüft

issue with ressources initialisation

Tanguy S. · Vor mehr als ein Jahr überprüft

Cloud Composer version no longer supported. It has been discontinued.

Peter V. · Vor mehr als ein Jahr überprüft

Was not able to progress as the airflow composer version is deprecated picked a different version the env did not get created

Shabana K. · Vor mehr als ein Jahr überprüft

... bugs

Ulan S. · Vor mehr als ein Jahr überprüft