Q&A
twitter APIをお使いくださいなの
###前提・実現したいこと
twitterの高度な検索のページからキーワード検索で企業名を検索し、検索結果をスクレイピングし、企業に対する意見を収集するプログラムを作ろうと思っています。
前提であるスクレイピングのためにJsoupを導入したのですが、dataメソッドでリクエストパラメータが使えず、リクエスト先に飛べません。
Jsoupを使い慣れている方がいれば解決策を教えていただきたいです。
###発生している問題・エラーメッセージ
//出力結果 <HTML> 高度な検索のHTMLソース </HTML>
###該当のソースコード
//HTMLソース抜粋 <div class="txt"> <label class="t1-label"> <span class="td">次のキーワードをすべて含む</span> <input type="text" name="ands"> </label> </div> <div class="txt"> <label class="t1-label"> <span class="td">次のキーワード全体を含む</span> <input type="text" name="phrase"> </label> </div> <div class="txt"> <label class="t1-label"> <span class="td">次のキーワードのいずれかを含む</span> <input type="text" name="ors"> </label> </div> <div class="txt"> <label class="t1-label"> <span class="td">次のキーワードを含まない</span> <input type="text" name="nots"> </label> </div> <div class="txt"> <label class="t1-label"> <span class="td">次のハッシュタグを含む</span> <input type="text" name="tag"> </label> </div> //JAVAソース抜粋 Document doc = Jsoup.connect("https://twitter.com/search-advanced?lang=ja&lang=ja").data("ands","クックパッド").get(); Elements elements = doc.select("p.TweetTextSize.js-tweet-text.tweet-text"); System.out.println(elements.text()); System.out.println(doc.html());
###試したこと
###補足情報(言語/FW/ツール等のバージョンなど)
Jsoup1.11.2
eclipse oxygen
回答1件
0
ベストアンサー
Jsoupで接続しているURLが違いますね(・ω|
https://twitter.com/search?lang=ja&src=typd でしょうか。
あと、検索パラメータのパラメータ名は q ではないでしょうか。
java
1String url = "https://twitter.com/search?lang=ja&src=typd"; 2Document doc = Jsoup.connect(url).timeout(8000).data("q", "クックパッド").get(); 3Elements elements = doc.select("p.TweetTextSize.js-tweet-text.tweet-text"); 4System.out.println(elements.text());
出力結果
イスラエル大使館がクックパッドでレシピを公開していることは（略）
投稿2017/12/06 05:17
総合スコア12011
あなたの回答
tips
プレビュー
