03. Amazon EMR

[EMR]

01：Summary

1. ビッグデータ処理プラットフォーム。

[関連用語]

✓ ビッグデータとは、通常、従来のデータ処理ツールや手法では取り扱いが難しいほど大量かつ多様なデータセットを指します。

02：Movie

Amazon Elastic MapReduce のご紹介（日本語字幕） ★

Amazon Web Services

【AWS Black Belt Online Seminar】Amazon EMR ★★★

Amazon Web Services Japan 公式

PDF：https://pages.awscloud.com/rs/112-TZM-766/images/20191023_AWS-Blackbelt_EMR.pdf

amazon emr にはコンピューティングとストレージの分離の特性が備わっています。

ストレージには基本的に amazon s 3を活用していますこれはクラフターに...

03：Detail

EMRと周辺データアーキテクチャ

ビッグデータの抽出/変換/分析をEMRが担当

保存：データの保管場所(ストレージ/データベース)

収集：いろいろな保管場所から必要なデータを集める処理

予想：ビッグデータの分析結果から未来の結果を予想する処理

抽出：SQLクエリなどで必要なデータを抽出する処理

変換：データ形式の変換や加工をする処理

格納：データをストレージやデータベースに書込む処理

分析：データのフィルタリング/統計関数/演算などの処理

データの管理：メタデータ(データの構造やスキーマ/データ型/カラム)の管理

可視化：チャートやダッシュボードを作成する処理

その他分析サービスとの比較

AWS は、あらゆるデータ分析のニーズに適合する最も幅広い分析サービスを提供し、あらゆる規模や業種の組織がデータを活用してビジネスを改革することを可能にします。データの移動、データストレージ、データレイク、ビッグデータ分析、ログ分析、ストリーミング分析、ビジネスインテリジェンス、機械学習 (ML)、そしてその中間にあるものまで、AWS は最高の料金パフォーマンス、スケーラビリティ、最低コストを提供する目的別のサービスを提供します。

04：Keyword

✓ ビッグデータプラットフォーム