ラベル hadoop の投稿を表示しています。 すべての投稿を表示
ラベル hadoop の投稿を表示しています。 すべての投稿を表示
2014年12月2日火曜日

Windows7にCDH5.1.3でHadoop・断念編

›
というわけで， 前回のエントリー でHDInsightでHadoopをと思ったけど， その後どうやってもEclipseでは起動しない． どうもライブラリその他の関係でうまくいかないようだ． 色々試した結果，EclipsePluginがHadoop2.x系には対応していない...
2014年11月25日火曜日

Windows7にCDH5.1.3でHadoop・その1失敗編

›
Hadoopプログラミングをする上で，いちいちサーバにjarを持って行ってテストをするのは大変すぎるので，Windows上のEclipseでHadoopプログラムをデバッグしていたんだけど，新しいHadoopをCDH5.1.3で入れたので，新しいバージョン． 以前の情報は こち...
2013年1月31日木曜日

Hadoopのタスクを任意の数のMapperで起動する

›
Hadoopを試してみて気づいたのが，やはり巨大ファイルに対しては効率が良いが， 若干処理が重いものを分散して行おうとすると全然ダメと言うこと． 設計思想を考えれば当たり前なんだけど，個人的には便利な分散処理システムとして使いたい． 具体的には，パラメータ設定を変...
2013年1月9日水曜日

Windows7にHadoop

›
Hadoopプログラミングをする上で，いちいちサーバにjarを持って行ってテストをするのは大変すぎるので，Windows上のEclipseでHadoopプログラムをデバッグすることを目指す． インストール まず， https://ccp.cloudera.com/disp...