15. AWS Glue

[グルー]

01：Summary

1. サーバーレスな統合的なデータインテグレーションサービス。

2. データ収集、カタログ化、データ加工を一気通貫して行うことができる。

[関連用語]

✓ サーバーレスは、開発者がインフラストラクチャの管理やサーバーのプロビジョニングについて心配することなく、コードの開発、デプロイ、実行に集中できます。

02：Movie

AWS Glue Overview | Amazon Web Services ★

Amazon Web Services

AWS Glue【AWS Black Belt】 ★★★

Amazon Web Services Japan 公式

PDF：https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Glue_0331_v1.pdf

それではAWSグルーのご紹介ですサーバーレスサービスのAWSグループは 大規模データに対しても 柔軟にスケールして運用負荷を低減しコスト最適化を図ることができます また最新のデータアーキテクチャーに乗っ取りながらデータ資産をカタログとし て 管理をして様々なツールやユーザーがデータ利活用しやすい仕組みを構築でき ます そしてペタバイト級のデータに対してもパッチまたは リアルタイムで処理が可能で分析や機械 学習などの様々な用途向けのデータ準備を実現できますここでデータライフサイクルとポイントと なる要素について 解説をします...

03：Detail

Glueと周辺データアーキテクチャ

収集/抽出/変換/読込/データの管理をGlueが担当

保存：データの保管場所(ストレージ/データベース)

収集：いろいろな保管場所から必要なデータを集める処理

予想：ビッグデータの分析結果から未来の結果を予想する処理

抽出：SQLクエリなどで必要なデータを抽出する処理

変換：データ形式の変換や加工をする処理

格納：データをストレージやデータベースに書込む処理

分析：データのフィルタリング/統計関数/演算などの処理

データの管理：メタデータ(データの構造やスキーマ/データ型/カラム)の管理

可視化：チャートやダッシュボードを作成する処理

その他分析サービスとの比較

AWS は、あらゆるデータ分析のニーズに適合する最も幅広い分析サービスを提供し、あらゆる規模や業種の組織がデータを活用してビジネスを改革することを可能にします。データの移動、データストレージ、データレイク、ビッグデータ分析、ログ分析、ストリーミング分析、ビジネスインテリジェンス、機械学習 (ML)、そしてその中間にあるものまで、AWS は最高の料金パフォーマンス、スケーラビリティ、最低コストを提供する目的別のサービスを提供します。

04：Keyword

✓ ETLツール

✓ データ収集

✓ カタログ化

✓ データ加工