研究用に，指定した単語を含む全ツイートを取得するプログラムを作成． API1.1対応．
cronを使って一分ごとに走らせたりすると，特定の単語に関するツイートは網羅的に集められそう．
ちなみに， Twitter4jバージョン3.0.3を利用しています．
import java.util.List;
import twitter4j.Query;
import twitter4j.QueryResult;
import twitter4j.Status;
import twitter4j.Twitter;
import twitter4j.TwitterException;
import twitter4j.TwitterFactory;
import twitter4j.conf.Configuration;
import twitter4j.conf.ConfigurationBuilder;
/**
* 任意の単語でツイートを検索する．<br>
* @author tori
* @date 2013/06/11
*/
public class TwitterSearcher {
public static void main(String[] args){
TwitterSearcher ts = new TwitterSearcher(consumerKey, consumerSecret, accessToken, accessTokenSecret);
try{
List<Status> searchResultList = ts.search(searchword);
for(Status status:searchResultList){
System.out.printf("%s\t%s\n", status.getUser().getScreenName(), status.getText());
}
}catch(TwitterException e){
e.printStackTrace();
}
}
Twitter twitter;
/**
* ConsumerKey，ConsumerSecret,AccessToken,AccessTokenSecretを利用して検索インスタンスを作成
* @param consumerKey
* @param consumerSecret
* @param accessToken
* @param accessTokenSecret
*/
public TwitterSearcher(String consumerKey, String consumerSecret, String accessToken, String accessTokenSecret) {
Configuration configuration = new ConfigurationBuilder().setOAuthConsumerKey(
consumerKey).setOAuthConsumerSecret(consumerSecret)
.setOAuthAccessToken(accessToken)
.setOAuthAccessTokenSecret(accessTokenSecret).build();
TwitterFactory factory = new TwitterFactory(configuration);
twitter = factory.getInstance();
}
/**
* 単語を指定して検索を行う．獲得数は最大の100
* @param word
* @return
* @throws TwitterException
*/
public List<Status> search(String word) throws TwitterException{
return search(word, 100);
}
/**
* 単語を指定して検索を行う．任意の数を獲得する．(最大は100)
* @param word
* @param page
* @param count
* @return
* @throws TwitterException
*/
public List<Status> search(String word, int count) throws TwitterException{
Query query = new Query(word);
query.setResultType(Query.RECENT);
query.setCount(count);
QueryResult result = twitter.search(query);
return result.getTweets();
}
}
\RequirePackage[T1]{fontenc}
dvipdfmx -p letter -f dlbase14.map HogeHage.dvi
Configuration conf = new Configuration(); Path hdfsPath = new Path(filePath); FileSystem fs = hdfsPath.getFileSystem(conf); OutputStream os = fs.create(hdfsPath); //パラメータファイルは一時ファイルとして，終了と同時に削除する fs.deleteOnExit(hdfsPath); OutputStreamWriter osw = new OutputStreamWriter(os); for(String param:paramList){ osw.append(param); osw.append("\n"); } osw.flush(); os.close();
| Kind | % Complete | Num Tasks | Pending | Running | Complete | Killed | Failed/Killed Task Attempts | |
|---|---|---|---|---|---|---|---|---|
| map | 100.00% | 1 | 0 | 0 | 1 | 0 | 0 / 0 | |
| reduce | 100.00% | 1 | 0 | 0 | 1 | 0 | 0 / 0 |
Configuration conf = new Configuration();
conf.setClass("ClassName", class, Scenario.class);
Job job = new Job(conf, "JobName");
//入力ファイルのPathを取得する
Path inputPath = new Path(inputFile.getAbsolutePath());
//対象ファイルサイズを取得
long length = inputPath.getFileSystem(conf).getFileStatus(inputPath).getLen();
//mapTaskNumは分割したいMap数．これで，1タスクあたりのファイルの区切りサイズを決定する
long splitSize = length/mapTaskNum;
//最大でもそのサイズ以上にはならないようにタスクを区切る
FileInputFormat.setMaxInputSplitSize(job, splitSize);
| Kind | % Complete | Num Tasks | Pending | Running | Complete | Killed | Failed/Killed Task Attempts | |
|---|---|---|---|---|---|---|---|---|
| map | 100.00% | 3000 | 0 | 0 | 3000 | 0 | 0 / 11 | |
| reduce | 100.00% | 1 | 0 | 0 | 1 | 0 | 0 / 0 |
$ cd /usr/local/lib $ tar zxvf hadoop-0.20.2-cdh3u5.tar.gz $ ln -s /cygdrive/c/Program\ Files\ \(x86\)/Java/jdk1.7.0_07/ jdk1.7 $ ln -s jdk1.7 java
HADOOP_HOME:C:\usr\cygwin\usr\local\lib\hadoop-0.20.2-cdh3u5 PATH:...;%HADOOP_HOME%\bin
# the root of the Hadoop installation
if [ -z "$HADOOP_HOME" ]; then
export HADOOP_HOME=`dirname "$this"`/..
else
export HADOOP_HOME=$(cygpath -u "$HADOOP_HOME")
fi
hadoop-env.shにも以下を追記．
# The java implementation to use. Required. export JAVA_HOME=/usr/local/lib/java
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>C:\tmp\hadoop</value>
</property>
</configuration>
conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>local</value>
</property>
</configuration>
hadoop-0.20.2\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jarをEclipseのpluginsにコピーする．
このページを参考に，
http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/tutorial.html
WrodCounterをコピペ．
さらに，Starterとして以下を作成．inputFile.datには適当な文を入れておく．
public class Starter {
static public void main(String[] args) throws Exception{
WordCount.main(new String[]{"inputFile.dat", "output"});
}
}
Path ～;C:\usr\cygwin\bininputFile.dat
Hello World! Hello Hadoop!output/part-r-00000
Hadoop! 1 Hello 2 World! 1無事成功．
投稿
すべてのコメント
