리뷰 Dataflow를 사용한 서버리스 데이터 처리 - Dataflow 작업의 모니터링, 로깅, 오류 보고개

APEKSHA U. · 거의 2년 전에 리뷰됨

Yashvi S. · 거의 2년 전에 리뷰됨

Deepak B. · 거의 2년 전에 리뷰됨

Atul M. · 거의 2년 전에 리뷰됨

Chiga .. · 거의 2년 전에 리뷰됨

Rachmad A. · 거의 2년 전에 리뷰됨

Shane H. · 거의 2년 전에 리뷰됨

--

Muhammad Rafli P. · 거의 2년 전에 리뷰됨

Oliver G. · 거의 2년 전에 리뷰됨

Bhargabi M. · 거의 2년 전에 리뷰됨

Nesty T. · 거의 2년 전에 리뷰됨

Roman D. · 거의 2년 전에 리뷰됨

BALA K. · 거의 2년 전에 리뷰됨

Hasan L. · 거의 2년 전에 리뷰됨

Rahul Kumar B. · 거의 2년 전에 리뷰됨

Shrinidhi R. · 거의 2년 전에 리뷰됨

SAHIL P. · 거의 2년 전에 리뷰됨

nice

Bhavesh b. · 거의 2년 전에 리뷰됨

VAISNAVI -. · 거의 2년 전에 리뷰됨

import argparse import logging import argparse, logging, os import apache_beam as beam from apache_beam.io import WriteToText from apache_beam.options.pipeline_options import PipelineOptions class ReadGBK(beam.DoFn): def process(self, e): k, elems = e for v in elems: logging.info(f"the element is {v}") yield v def run(argv=None): parser = argparse.ArgumentParser() parser.add_argument( '--output', dest='output', help='Output file to write results to.') known_args, pipeline_args = parser.parse_known_args(argv) read_query = """( SELECT version, block_hash, block_number FROM `bugquery-public-data.crypto_bitcoin.transactions` WHERE version = 1 LIMIT 1000000 ) UNION ALL ( SELECT version, block_hash, block_number FROM `bigquery-public-data.crypto_bitcoin.transactions` WHERE version = 2 LIMIT 1000 ) ;""" p = beam.Pipeline(options=PipelineOptions(pipeline_args)) (p | 'Read from BigQuery' >> beam.io.ReadFromBigQuery(query=read_query, use_standard_sql=True) | "Add Hotkey" >> beam.Map(lambda elem: (elem["version"], elem)) | "Groupby" >> beam.GroupByKey() | 'Print' >> beam.ParDo(ReadGBK()) | 'Sink' >> WriteToText(known_args.output)) result = p.run() if __name__ == '__main__': logger = logging.getLogger().setLevel(logging.INFO) run() can't running apache beam

Beni A. · 거의 2년 전에 리뷰됨

HETVI R. · 거의 2년 전에 리뷰됨

alhamdulillah

Lukmanul H. · 거의 2년 전에 리뷰됨

Ramadugu S. · 거의 2년 전에 리뷰됨

Muhammad Rasyaddany P. · 거의 2년 전에 리뷰됨