Windows7にCDH5.1.3でHadoop・その1失敗編

Hadoopプログラミングをする上で，いちいちサーバにjarを持って行ってテストをするのは大変すぎるので，Windows上のEclipseでHadoopプログラムをデバッグしていたんだけど，新しいHadoopをCDH5.1.3で入れたので，新しいバージョン．
以前の情報はこちら．

インストール

まず，
https://ccp.cloudera.com/display/SUPPORT/CDH+Downloads
で，CDH5.1.3のtarを取得．
CDH5.1.3なのはサーバとバージョンを併せるため．

とりあえず，
hadoop-2.3.0-cdh5.1.3.tar.gz
をダウンロード．
Cygwinの/usr/local/libに展開．

$ cd /usr/local/lib
$ tar zxvf hadoop-2.3.0-cdh5.1.3.tar.gz
$ ln -s hadoop-2.3.0-cdh5.1.3 hadoop
$ ln -s /cygdrive/c/Program\ Files\ /Java/jdk1.7.0_60/ jdk1.7
$ ln -s jdk1.7 java

Windowsの環境変数にHADOOP_HOMEを追加． Pathも追加．

HADOOP_HOME:C:\usr\cygwin\usr\local\lib\hadoop
PATH:...;%HADOOP_HOME%\bin

hadoop/bin-mapreduce1/hadoop-config.shに以下を追記

# the root of the Hadoop installation
if [ -z "$HADOOP_HOME" ]; then
  export HADOOP_HOME=`dirname "$this"`/..
else
  export HADOOP_HOME=$(cygpath -u "$HADOOP_HOME")
fi

hadoopにも以下を追記．

#cygwin=false
cygwin=true
# some Java parameters
export JAVA_HOME=/usr/local/lib/java

Windowsではローカルモードでしか起動しないので，以下のように設定する．
etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>C:\tmp\hadoop</value>
    </property>
</configuration>

etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>local</value>
    </property>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
</configuration>

Eclipseプラグイン

ここまで来て問題発生．
ここにあるとおり，プラグインの公式な物がHadoop2.x系では出ていないとのこと．
ということで，どうしようかと考えていたら．
Windows用HadoopHDInsightの記事を発見．
とりあえずこれを試してみることにする．
というところで，続きは次回．