回答編集履歴

修正

2017/01/02 21:43

投稿

退会済みユーザー

スコア0

answer CHANGED Viewed

@@ -190,6 +190,5 @@
 ```ここに言語を入力
 []
 ```
-変なリンクを踏んでいるのがエラーの原因だと私は予想します。
 これとは別にこのプログラムは同じ画像を何回も保存しているので
 全ての画像を保存し終わるまでにだいぶ時間がかかると考えられます。

補足

2017/01/02 21:42

投稿

退会済みユーザー

スコア0

answer CHANGED Viewed

@@ -112,4 +112,84 @@
 Cacheフォルダの画像以外のファイルを削除するようにしているので注意。
 キャッシュの場所についての参考
-[キャッシュの場所を確認する](http://www.tipsfound.com/chrome/01001)
+[キャッシュの場所を確認する](http://www.tipsfound.com/chrome/01001)
+```Ruby
+require 'open-uri'
+require 'nokogiri'
+require 'anemone'
+Dir.mkdir("画像フォルダ") unless Dir.exist?("画像フォルダ")
+Dir.chdir("画像フォルダ")
+opts = {
+    depth_limit: 1,
+        # 0 => 指定したURL先のみ
+        # 1 => 指定したURLにあるlinkから1回のジャンプで辿れる先も見る。
+    delay: 1,#ページ訪問間隔を1秒空ける
+}
+# 取得したいサイトURL
+url = 'http://nekonekomamire.blog86.fc2.com/'
+html = open(url) do |f|
+   f.read
+end
+# htmlを解析して目的のURLを取得
+Anemone.crawl(url, opts) do |anemone|
+     # 起点となるページから飛ぶ先を予め指定
+    anemone.focus_crawl do |page|
+     page.links.keep_if { |link|
+      link.to_s.match(/http:\/\/nekonekomamire.blog86.fc2.com\//)
+      # 正規表現でhttp://nekonekomamire.blog86.fc2.com/に当てはまるurlを指定してます。
+     }
+    end
+    anemone.on_every_page do |page|
+      doc = Nokogiri::HTML.parse(html)
+      page.doc.css('div[class="body"]').each do |node|
+        begin
+          gazouURL  = node.css('a').attribute('href').to_s
+          puts "#{gazouURL} を取得。"
+          name = File.basename(gazouURL)
+          #正規表現で画像ファイル以外は弾くようにしてます。
+          if /\.jpg$|\.jpeg$|\.png$|\.gif$|\.bmp$/ =~ name then
+            # ここで、URLの画像をダウンロードします。
+            open(name, 'wb') do |output|
+             open(gazouURL) do |input|
+              output.write(input.read)
+             end
+            end
+            puts "#{name} をダウンロードしました。"
+          else
+            puts "#{name} は画像ファイルではないのでスルーします。"
+          end
+         rescue
+           puts("エラー")
+         end
+        puts "4秒休憩\n\n"
+        sleep(4)
+      end
+    end
+end
+```
+resucueを入れてエラーが出ても一応は止まらないようにしました。
+これがエラーが出る前のnode.css('a')です。↓
+```ここに言語を入力
+[#<Nokogiri::XML::Element:0x277ec60 name="a" attributes=[#<Nokogiri::XML::Attr:0x277ec24 name="href" value="http://blog-imgs-52.fc2.com/n/e/k/nekonekomamire/20121105013114dde.jpg">, #<Nokogiri::XML::Attr:0x277ec18 name="target" value="_blank">] children=[#<Nokogiri::XML::Element:0x277e720 name="img" attributes=[#<Nokogiri::XML::Attr:0x277e6d8 name="src" value="http://blog-imgs-52.fc2.com/n/e/k/nekonekomamire/20121105013114dde.jpg">, #<Nokogiri::XML::Attr:0x277e6cc name="alt" value="\u30EA\u30DC\u30EB\u30D0\u30FC">, #<Nokogiri::XML::Attr:0x277e6c0 name="border" value="0">, #<Nokogiri::XML::Attr:0x277e6b4 name="width" value="910">, #<Nokogiri::XML::Attr:0x277e6a8 name="height" value="848">]>]>, #<Nokogiri::XML::Element:0x1bc9cfc name="a" attributes=[#<Nokogiri::XML::Attr:0x1bc9ca8 name="href" value="http://blog.fc2.com/theme-6448-11.html">, #<Nokogiri::XML::Attr:0x1bc9c9c name="title" value="\u81EA\u4F5C\u30A4\u30E9\u30B9\u30C8\uFF08\u4E8C\u6B21\u5275\u4F5C\uFF09">] children=[#<Nokogiri::XML::Text:0x1bc9804 "\u81EA\u4F5C\u30A4\u30E9\u30B9\u30C8\uFF08\u4E8C\u6B21\u5275\u4F5C\uFF09">]>, #<Nokogiri::XML::Element:0x1bc96b4 name="a" attributes=[#<Nokogiri::XML::Attr:0x1bc966c name="href" value="http://blog.fc2.com/community-11.html">, #<Nokogiri::XML::Attr:0x1bc9660 name="title" value="\u30A2\u30CB\u30E1\u30FB\u30B3\u30DF\u30C3\u30AF">] children=[#<Nokogiri::XML::Text:0x1bc91a4 "\u30A2\u30CB\u30E1\u30FB\u30B3\u30DF\u30C3\u30AF">]>, #<Nokogiri::XML::Element:0x1bc9054 name="a" attributes=[#<Nokogiri::XML::Attr:0x1bc9018 name="href" value="http://nekonekomamire.blog86.fc2.com/blog-entry-435.html">] children=[#<Nokogiri::XML::Text:0x1bc8cf4 "2012/11/05(\u6708) 01:33:25">]>, #<Nokogiri::XML::Element:0x1bc8bbc name="a" attributes=[#<Nokogiri::XML::Attr:0x1bc8b80 name="href" value="blog-category-10.html">] children=[#<Nokogiri::XML::Text:0x1bc88b0 "\u30EA\u30EA\u30AB\u30EB\u306A\u306E\u306F">]>, #<Nokogiri::XML::Element:0x1bc8760 name="a" attributes=[#<Nokogiri::XML::Attr:0x1bc8724 name="href" value="http://nekonekomamire.blog86.fc2.com/blog-entry-435.html#trackback">] children=[#<Nokogiri::XML::Text:0x1bc8400 "\u30C8\u30E9\u30C3\u30AF\u30D0\u30C3\u30AF:1">]>, #<Nokogiri::XML::Element:0x1bc82c8 name="a" attributes=[#<Nokogiri::XML::Attr:0x1bc828c name="href" value="http://nekonekomamire.blog86.fc2.com/blog-entry-435.html#comment">] children=[#<Nokogiri::XML::Text:0x1bf7efc "\u30B3\u30E1\u30F3\u30C8:0">]>]
+```
+これがエラーが出た時のnode.css('a')です。↓
+```ここに言語を入力
+[]
+```
+変なリンクを踏んでいるのがエラーの原因だと私は予想します。
+これとは別にこのプログラムは同じ画像を何回も保存しているので
+全ての画像を保存し終わるまでにだいぶ時間がかかると考えられます。

補足

2017/01/02 21:32

投稿

退会済みユーザー

スコア0

answer CHANGED Viewed

@@ -109,6 +109,7 @@
 自分のブラウザのキャッシュから画像を手に入れればサイトに接続する必要がないということで
 こんなプログラムを考えてみました。
 私はChromeを使っているのでその他のブラウザについてはどうなるかわかりません。
+Cacheフォルダの画像以外のファイルを削除するようにしているので注意。
 キャッシュの場所についての参考
 [キャッシュの場所を確認する](http://www.tipsfound.com/chrome/01001)

補足

2017/01/02 16:36

投稿

退会済みユーザー

スコア0

answer CHANGED Viewed

@@ -85,3 +85,30 @@
 [robots.txt解析ツール](https://www.searchengineoptimization.jp/robots-txt-analyzer)
 2017/1/02自己満足のために追記
+2017/1/03自己満足のために追記
+```Ruby
+Dir.chdir("Cache")
+list = Dir.glob("*")
+list.each do |name|
+  header = nil
+  File.open(name, "rb") do |f|
+    header = f.read(8)
+  end
+  if header =~ /GIF|JF|Ex|PNG/ then
+    File.rename(name, name + ".gif") if header.include?("GIF")
+    File.rename(name, name + ".jpg") if header.include?("JF")
+    File.rename(name, name + ".jpg") if header.include?("Ex")
+    File.rename(name, name + ".png") if header.include?("PNG")
+  else
+    File.delete(name)
+  end
+end
+```
+自分のブラウザのキャッシュから画像を手に入れればサイトに接続する必要がないということで
+こんなプログラムを考えてみました。
+私はChromeを使っているのでその他のブラウザについてはどうなるかわかりません。
+キャッシュの場所についての参考
+[キャッシュの場所を確認する](http://www.tipsfound.com/chrome/01001)

補足

2017/01/02 16:16

投稿

退会済みユーザー

スコア0

answer CHANGED Viewed

@@ -30,10 +30,58 @@
 }
 ```
+```Ruby
+require"open-uri"
+#1:open-uriをrequire(インターネットに接続)
+require"certified"
+#2:certifiedをrequire(SSL証明書エラーを避けるためのgem。)
+url = "http://nekonekomamire.blog86.fc2.com/" #3:接続するサイトのURL
+Dir.mkdir("画像フォルダ") unless Dir.exist?("画像フォルダ") #4:とってきた画像を保存するためのフォルダを作成
+Dir.chdir("画像フォルダ") #5:#4で作った画像保存用フォルダに移動
+loop{#6:ループ
+page_source = open(url, &:read) #7:対象になるページを開いてpage_sourceに入れる。&:readがないとページが読み込まれません。
+img_url = page_source.scan(%r|img src="(.+?)"|).flatten!
+=begin
+#8:page_sourceから画像のurlを正規表現でとる。
+結果は[[image0.jpg],[image0.jpg]]みたいな配列になる。このままでは
+#10でFile.basenameをしたときに「配列ですよ」とエラーがでるので
+flatten!をして配列を[image0.jpg, image1.jpg]という形に変更。
+=end
+img_url.reject!{|e| e =~ /logo|counter|banner|close/}
+=begin
+#9:#8でとった画像のurlには要らない画像（バナーなど）のurlが含まれている。
+いらない画像のurlを見てみると「logo,counter,banner,close」のいずれかが
+含まれているので該当するimg_urlの要素を削除する。
+=end
+img_url.each do |img| #10:img_urlの要素を順番に保存
+  name = File.basename(img)
+  open(name, 'wb') do |output|
+   open(img) do |input|
+    output.write(input.read)
+   end
+  end
+  sleep(rand(4..6))
+end
+next_url = page_source.scan(%r| <a href="(.+?)">次のページ</a>|).flatten! #11:次のページのURLを正規表現でとる。
+if next_url[0] == nil then #12:next_urlの最初の要素がnilになったらloopを終了させる。
+  break
+end
+url = next_url[0] #13:urlにnext_urlを入れる。
+}
+```
 私も画像を収集するプログラムを作ってみました。
 回答を書いている時点で画像を200程保存できています。
 私はanemoneに詳しくないのでそこについては分かりませんが
 サイトの方には原因がないような気がします。
 参考
-[robots.txt解析ツール](https://www.searchengineoptimization.jp/robots-txt-analyzer)
+[robots.txt解析ツール](https://www.searchengineoptimization.jp/robots-txt-analyzer)
+2017/1/02自己満足のために追記

修正

2017/01/01 16:41

投稿

退会済みユーザー

スコア0

answer CHANGED Viewed

@@ -23,7 +23,7 @@
 end
 next_url = page_source.scan(%r| <a href="(.+?)">次のページ</a>|).flatten!
-if next_url == nil then
+if next_url[0] == nil then
   break
 end
 url = next_url[0]