学習内容
|
-1日目-
1. イントロダクション
- データエンジニアリングとは
- データエンジニアの位置づけ
- OLTPとOLAP
2. ビックデータアーキテクチャ
- ビックデータアーキテクチャの全体像
- データ処理の構成要素
- バッチ処理とストリーム処理のユースケース
3. バッチ処理基盤の構築
- バッチ処理基盤の構築の考慮事項
- 環境構築
- データのレプリケーション
- ビックデータ処理(ノンコード)
- PySpark を用いたビックデータ処理
- まとめ
-2日目-
4. イントロダクション
- 1 日目の振返り
- 事例紹介
5. ストリーム処理基盤の構築
- ストリーム処理基盤の考慮事項
- 環境構築
- ストリーム処理基盤の開発
- PowerBI での結果の可視化
6. データ活用
- 機械学習とデータエンジニアリング
- 機械学習モデルの開発(ノンコード)
- 機械学習モデルのパイプライン作成
- 機械学習モデルの再学習の自動化とスケジューリング
7. データエンジニアリングの基盤の設計の演習
- 課題定義
- 設計
- 発表
- まとめ
|