|
学習内容
|
1. データエンジニアリングのロールと主要なコンセプト
- データエンジニアのロール
- データ分析システムのデータ検出
- データワークフローのための AWS サービス
- 継続的インテグレーションと継続的デリバリー
- ネットワークの考慮事項
2. データレイクの設計と実装
-データレイクの紹介
-データレイクストレージ
-データの取り込み
-データのカタログ化
-データの変換
-データの提供と活用
-(ラボ 1)AWS でデータレイクを設定する
3. データレイクソリューションの最適化と保護
- パフォーマンスの最適化
- Lake Formation を利用したセキュリティ
- Lake Formation によるアクセス許可の設定
- セキュリティとガバナンス
- トラブルシューティング
-(ラボ 2)AWS Lake Formation ブループリントを使用したデータレイク作成の自動化
4. データウェアハウスのアーキテクチャと設計原則
- データウェアハウスの概論
- Amazon Redshift の概要
- Amazon Redshift へのデータの取り込み
- データの処理
- データの提供と活用
-(ラボ 3)Amazon Redshift Serverless を使用したデータウェアハウスのセットアップ
5. データウェアハウスのパフォーマンス最適化の手法
- モニタリングと最適化のオプション
- Amazon Redshift でのデータ最適化
- Amazon Redshift でのクエリ最適化
- データオーケストレーション
6. データウェアハウスのセキュリティとアクセスコントロール
- Amazon Redshift での認証とアクセスコントロール
- Amazon Redshift のデータセキュリティ
-(ラボ 4)Amazon Redshift での作業
7. バッチデータパイプラインの設計
- バッチデータパイプラインの概要
- バッチデータパイプラインの設計
- バッチデータの取り込み
8. バッチ処理の実装戦略
- データの処理と変換
- データ形式の変換
- データの統合
- データのカタログ化
- データの提供と活用
-(ラボ 5)データエンジニアの業務フロー
9. バッチデータパイプラインの最適化、オーケストレーション、保護
- バッチデータパイプラインの最適化
- バッチデータパイプラインのオーケストレーション
- バッチデータパイプラインの保護
-(ラボ 6)AWS Step Functions を使用した Spark でのデータ処理のオーケストレーション
10. ストリーミングデータのアーキテクチャパターン
- ストリーミングデータパイプラインの概要
- ストリームソースからのデータの取り込み
- ストリーミングデータの保存
- ストリーミングデータの処理
- ストリーミングデータの分析
-(ラボ 7)Amazon Managed Service for Apache Flink によるストリーミング分析
11. ストリーミングソリューションの最適化と保護
- ストリーミングデータソリューションの最適化
- ストリーミングデータパイプラインの保護
-(ラボ 8)Amazon Managed Streaming for Apache Kafka を使用したアクセスコントロール
12. コンプライアンスとコスト最適化
- コンプライアンスに関する考慮事項
- コスト最適化ツール
|