teratail header banner
teratail header banner
質問するログイン新規登録

質問編集履歴

1

クローラーの条件修正

2017/04/14 07:46

投稿

coinbura
coinbura

スコア106

title CHANGED
File without changes
body CHANGED
@@ -1,4 +1,4 @@
1
- 許可をもらった複数サイト内の、リンクが貼られた部分のコード(htmlリンクとJavascriptのリンク)を全コンテンツを対象に定期的に取得するクローラーを作ろうと思っています。
1
+ 許可をもらった複数サイト内の全コンテンツを対象に定期的にクロールしてソースを取得するクローラーを作ろうと思っています。(JavaScriptのリンクも読み取る仕様で)
2
2
 
3
3
  最低でも100サイト✕1000ページくらいを巡回する事ができるようなものを作ろうと思うのですが、どのような言語?を学習すればよいでしょうか?
4
4