2012年7月3日火曜日

HADOOPインストールトライ中

あまりにもTwitterデータの数が多すぎて,単体のマシンでは処理が難しくなってきたので,HADOOPを使ってみることにした.
 まずは,スタンドアロンな環境から.
基本的には,Hadoop徹底入門を参考にして入れてみる. 

  • OSはCentOS6.2
  • Hadoopのバージョンは0.20.205

0.20系が1.0につながるものらしいので,まあ,これでいいだろうと.

本の通りにインストール作業をすれば,基本的には大丈夫.
ただ,一点だけはまったのが, start-dfs.sh の実行.
普通の設定で実行しようとすると
Warning: $HADOOP_HOME is deprecated
と表示されうまく起動しない. そこで,
hadoop-env.sh
に,
export HADOOP_HOME_WARN_SUPPRESS="TRUE"
を追加.
これで,無事start-dfs.shが実行された. まだMapReduceにもたどり着いていないけど.

0 件のコメント: