前提・実現したいこと
URLの先からclass, id指定でテキストを取得してくるというプログラムを書いています。
発生している問題・エラーメッセージ
ローカルでは動作するものがHeroku上では動作しないという問題が起きています。
スクレイピングする時に、
500 Internal Server Errorで返って来ています。
2018-07-06T03:50:44.444410+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] Started GET "/matomes/scraping_novel?url=https%3A%2F%2Fn code.syosetu.com%2Fn4449cj%2F" for 118.241.250.45 at 2018-07-06 03:50:44 +0000 2018-07-06T03:50:44.445672+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] Processing by MatomesController#scraping_novel as HTML 2018-07-06T03:50:44.445727+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] Parameters: {"url"=>"https://ncode.syosetu.com/n4449cj /"} 2018-07-06T03:50:45.173047+00:00 heroku[router]: at=info method=GET path= "/matomes/scraping_novel?url=https%3A%2F%2Fncode.syosetu.com%2Fn44 49cj%2F" host=narou-matome.herokuapp.com request_id=e6200e7a-9f08-44be-9d1b-8117409b1d9c fwd="118.241.250.45" dyno=web.1 connect=1ms service =730ms status=500 bytes=1827 protocol=https 2018-07-06T03:50:45.170680+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] Completed 500 Internal Server Error in 725ms (ActiveReco rd: 0.0ms) 2018-07-06T03:50:45.171140+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] 2018-07-06T03:50:45.171147+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] OpenURI::HTTPError (503 Service Temporarily Unavailable) : 2018-07-06T03:50:45.171177+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] 2018-07-06T03:50:45.171203+00:00 app[web.1]: [e6200e7a-9f08-44be-9d1b-8117409b1d9c] app/controllers/matomes_controller.rb:90:in `scraping_no vel'
該当のソースコード
ruby
1 def scraping_novel 2 require 'open-uri' 3 require 'nokogiri' 4 5 # スクレイピング先のURL 6 url = params[:url] 7 charset = nil 8 9 html = open(url) do |f| 10 charset = f.charset 11 f.read 12 end 13 14 doc = Nokogiri::HTML.parse(html, nil, charset) 15 16 p doc.css("p.novel_title").inner_text 17 p doc.css("div#novel_ex").inner_text 18 19 # タイトルを表示 20 @novel_title = doc.css("p.novel_title").inner_text 21 @novel_description = doc.css("div#novel_ex").inner_text 22 23 end
追記
小説家になろうのページを取得しようとしているのですが、
そのサイトのみスクレイピングが出来ないようです。
他のアドレスを入力したらスクレイピングできました。
原因がわかる方がおられましたらご教示お願いいたします。

回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。