Hadoop API

HadoopでMapReduce処理を実施する際のバックエンドストレージは、通常、Hadoop専用に設計されたHDFS(Hadoop Distributed File System)を使用します。

GlusterFS 3.3のHadoop APIを使用すると、HDFSの代替としてGlusterFSのボリュームを使用することができます。GlusterFSのボリュームに対して、通常のファイルシステムとしてのアクセスとHadoopからのMapReduce処理のためのアクセスが可能になります。

注意

GlusterFS 3.3に付属するHadoop APIは、まだ実験的な要素が強く、次のような制限があります。

    • Hadoop APIのモジュールがCPUバウンドなため、CPUコアの性能がボトルネックとなり、HDFSと比較するとI/O性能はあまりよくありません。

    • 使用できるHadoopのバージョンが限定的です。

    • Hadoopデーモンをroot権限で実行する必要があります。

これらの制限は、今後のバージョンで改善されていく予定です。