mypage マイページ cart カート
コース検索
サイト内検索


ホーム > Introduction to Data Engineering on Google Cloud

Introduction to Data Engineering on Google Cloud


期間  1日間 時間  9:30～17:30
価格(税込)  88,000円(税込) 主催  トレノケート
形式  講義＋ハンズオン コースコード  GGC0038V
コース日程が決定次第、ご案内いたします。マイページ会員様は「お気に入り」にご登録いただければ、日程が公開された際にメールで通知が届きます。
詳しくはお問い合わせください。

ワンポイントアドバイス

１日のクラスルームトレーニングで、Google Cloud のプロダクトとサービスの概要を学習します。

重要なご連絡・ご確認事項

※下記の事前必須手続きが完了していない場合は、ご受講いただけません。手続きが未完了で当日受講出来なかった場合は、有償キャンセルとなりますのでご注意ください。


【ご受講前の必須手続き】
ご受講日までに、下記リンクからプライバシーポリシーと利用規約に同意の上、トレーニングシステム「Qwiklabs」のアカウントを作成してください。
Qwiklabsアカウントとコース申込時の受講者メールアドレスは、同じものをご使用ください。

https://trainocate.qwiklabs.com/?locale=ja

※自動返信メールには「globalknowledge-jp.qwiklabs.comからアクセスしてください」と表示される場合がありますが、同一のサイトですので問題ありません。
※既にtrainocate.qwiklabs.comのQwiklabsアカウントをお持ちの方は再作成の必要はありません。


※受講証明書発行には、全日程の80%以上の出席率または、最低80%以上のラボの完了が必須となりますのでご注意ください。


【本コースはオンライン対応です】

会場が「オンラインLive」または「教室Live配信」の日程は、オンラインでご参加いただけます。

  • オンラインLive：受講者の方はオンラインのみとなります。
  • 教室Live配信：教室・オンラインから受講される方が混在します。

★オンラインLiveトレーニングの詳細はこちら

※本コースはプレイバックサービスの対象外です。

対象者情報

対象者
・ データ エンジニア
・ システム管理者
・ データベース管理者
前提条件
□『Google Cloud Fundamentals: Core Infrastructure』(GGC0001V) 受講済み程度の Google Cloud に関する基本的知識
□ SQL に関する基礎的な知識

学習内容の詳細

コース概要
このコースでは、Google Cloud におけるデータエンジニアリング、データエンジニアの役割と責任、それらが Google Cloud の提供するサービスとどのように対応しているかについて学びます。また、データエンジニアリングの課題に対処する方法についても学びます。
学習目標
● データエンジニアの役割を説明できる。
● データエンジニアリングのタスクを特定し、Google Cloud で使用される主要コンポーネントを説明できる。
● Google Cloud 上でさまざまなパターンのデータパイプラインを作成してデプロイできる。
● Google Cloud におけるさまざまな自動化技術を特定し、活用できる。
学習内容 
モジュール 1：データ エンジニアリング タスクとコンポーネント
  - データエンジニアの役割
  - データソースとデータシンクの違い
  - データフォーマット
  - Google Cloud におけるストレージソリューションの選択肢  
  - Google Cloud におけるメタデータ管理の選択肢  
  - Analytics Hub を使用したデータセットの共有

モジュール 2：データのレプリケーションと移行
  - レプリケーションおよび移行アーキテクチャ  
  - gcloud コマンドラインツール  
  - データセットの移動  
  - Datastream

モジュール 3：抽出とロードのデータ パイプライン パターン
  - 抽出とロード (EL) のアーキテクチャ 
  - bq コマンドラインツール
  - BigQuery Data Transfer Service
  - BigLake

モジュール 4：抽出、ロード、変換のデータ パイプライン パターン
  - 抽出、ロード、変換 (ELT) アーキテクチャ
  - BigQuery を使用した SQL スクリプトの作成とスケジューリング
  - Dataform

モジュール 5：抽出、変換、ロードのデータ パイプライン パターン
  - 抽出、変換、ロード (ETL) アーキテクチャ
  - ETL データパイプラインのための Google Cloud GUI ツール
  - Dataproc を使用したバッチデータ処理
  - ストリーミングデータ処理の選択肢
  - Bigtable とデータパイプライン

モジュール 6：自動化の手法
  - パイプラインの自動化パターンと選択肢
  - Cloud Scheduler と Workflows
  - Cloud Composer
  - Cloud Run Functions
  - Eventarc

実習/演習内容詳細

演習/デモ内容
ハンズオン ラボ

- BigQuery へのデータの読み込み
- Datastream: PostgreSQL から BigQuery へのレプリケーション (オプション)
- BigLake: Qwik Start
- Dataform で SQL ワークフローを作成して実行する
- Dataproc Serverless for Spark を使用して BigQuery にデータをロードする
- Dataflow を使用してリアルタイム ダッシュボード用のストリーミング データ パイプラインを作成する
- Cloud Run functions を使用して BigQuery にデータをロードする (オプション)

ご注意・ご連絡事項

事前必須手続きが完了していない場合は、ご受講いただけません。手続きが未完了で当日受講出来なかった場合は、有償キャンセルとなりますのでご注意ください。
【事前必須手続き】
・リンクよりトレーニングシステム「Qwiklab」アカウントを作成してください。
・Qwiklabsアカウントとコース申込時の受講者メールアドレスは、同じものをご使用ください。
受講証明書発行には、全日程の80%以上の出席率または、最低80%以上のラボの完了が必須となりますのでご注意ください。
【本コースはオンライン対応です】
会場が「オンラインLive」または「教室Live配信」の日程は、オンラインでご参加いただけます。
・オンラインLive：受講者の方はオンラインのみとなります。
・教室Live配信：教室・オンラインから受講される方が混在します。
※本コースはプレイバックサービスの対象外です。

おすすめのコースフロー図を見る