【Hadoop】クイックスタート

Hadoopのドキュメント"Hadoop Quickstart"の日本語訳です。

ダウンロードする

ここからHadoopをダウンロードし、展開します。

準備をする

conf/hadoop-env.shを編集しJAVA_HOMEを指定します。

動作確認のために、Hadoopスクリプトの使用方法を表示してみます。

$ bin/hadoop

Hadoopスクリプトの使用方法が表示されれば、正しく動作しています。

単一プロセスで実行してみる

まず、単一プロセスでHadoopを実行してみます。デフォルトでは、Hadoopは単一プロセスで実行するようになっています。

入力されたファイルの中から、与えられた正規表現にマッチする行をすべて表示してみます。入力にはconfディレクトリのコピーを使い、出力先にはoutputディレクトリを指定してみます。

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output \
> 'dfs[a-z.]+'
$ cat output/*