質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.93%

サーバーがプログラムの外部接続を拒否する

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 6,332

yuki_90453

score 173

いつもお世話になっております。
スクレイピングを行うプログラムで下記のログのように外部接続を行うとサーバーがプログラムを拒否してしまい途中でプログラムが止まってしまいます。

/usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/net/http.rb:882:in `rescue in block in connect': Failed to open TCP connection to 127.0.0.1:8910 (Connection refused - connect(2) for "127.0.0.1" port 8910) (Errno::ECONNREFUSED)
    from /usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/net/http.rb:879:in `block in connect'
    from /usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/timeout.rb:91:in `block in timeout'
    from /usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/timeout.rb:101:in `timeout'
    from /usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/net/http.rb:878:in `connect'
    from /usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/net/http.rb:863:in `do_start'
    from /usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/net/http.rb:852:in `start'
    from /usr/local/rbenv/versions/2.3.1/lib/ruby/2.3.0/net/http.rb:584:in `start'
    from /var/www/html/Ruby/Application/ReviewList/vendor/bundle/ruby/2.3.0/gems/selenium-webdriver-3.3.0/lib/selenium/webdriver/common/service.rb:93:in `connect_to_server'
    from /var/www/html/Ruby/Application/ReviewList/vendor/bundle/ruby/2.3.0/gems/selenium-webdriver-3.3.0/lib/selenium/webdriver/common/service.rb:116:in `stop_server'
    from /var/www/html/Ruby/Application/ReviewList/vendor/bundle/ruby/2.3.0/gems/selenium-webdriver-3.3.0/lib/selenium/webdriver/common/service.rb:79:in `stop'
    from /var/www/html/Ruby/Application/ReviewList/vendor/bundle/ruby/2.3.0/gems/selenium-webdriver-3.3.0/lib/selenium/webdriver/common/service.rb:69:in `block in start'
    from /var/www/html/Ruby/Application/ReviewList/vendor/bundle/ruby/2.3.0/gems/selenium-webdriver-3.3.0/lib/selenium/webdriver/common/platform.rb:138:in `block in exit_hook

ログにもあるTCP 8910ですが、リッスンされておりませんでした。
他に8910で被っているプロセスも見つかりませんでした。

tcp 0 0 0.0.0.0:8911 0.0.0.0:* LISTEN 4442/phantomjs
tcp 0 0 0.0.0.0:8912 0.0.0.0:* LISTEN 7428/phantomjs

iptables

Chain INPUT (policy ACCEPT)
target     prot opt source               destination
f2b-dovecot-pop3imap  tcp  --  anywhere             anywhere            multiport dports pop3,imap
f2b-SSH    tcp  --  anywhere             anywhere            tcp dpt:ssh
RH-Firewall-1-INPUT  all  --  anywhere             anywhere
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:hbci
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:telnet

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination
RH-Firewall-1-INPUT  all  --  anywhere             anywhere

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

Chain RH-Firewall-1-INPUT (2 references)
target     prot opt source               destination
ACCEPT     all  --  anywhere             anywhere
ACCEPT     icmp --  anywhere             anywhere            icmp any
ACCEPT     esp  --  anywhere             anywhere
ACCEPT     ah   --  anywhere             anywhere
ACCEPT     udp  --  anywhere             224.0.0.251         udp dpt:mdns
ACCEPT     udp  --  anywhere             anywhere            udp dpt:ipp
ACCEPT     tcp  --  anywhere             anywhere            tcp dpt:ipp
ACCEPT     all  --  anywhere             anywhere            state RELATED,ESTABLISHED
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:10022
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:http
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:https
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:smtp
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:urd
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:submission
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:pop3
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:pop3s
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:imap
ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:imaps
REJECT     all  --  anywhere             anywhere            reject-with icmp-host-prohibited

Chain f2b-SSH (1 references)
target     prot opt source               destination
RETURN     all  --  anywhere             anywhere

Chain f2b-dovecot-pop3imap (1 references)
target     prot opt source               destination
RETURN     all  --  anywhere             anywhere

気になる点

接続を拒否されているタイミングは、初回の接続ではなくアクセスしてしばらくしてからになります。webサイトの3ページ目ぐらいでアクセスが拒否され止まっています。

何かプロセスが動的に拒否しているのではないかと考えているのですが、関係あるのでしょうか?

質問

この問題の際でプログラムが全滅してしまい大変困っております。どなたでもいいので怪しい部分があればご指摘お願い致します。

環境

CentOS6 
Ruby 
Selenium 
PhantomJS
VPS

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • kunai

    2017/04/06 13:51

    rubyはよくわかっていませんが、127.0.0.1というIPアドレスは自分自身を表すものです。本当に外部に接続しようとしているのでしょうか。

    キャンセル

  • yuki_90453

    2017/04/06 13:56

    はい、サーバにはwebページは入っていないので、サーバー内部のサイトにアクセスしようとしているのはないと思います

    キャンセル

  • kunai

    2017/04/06 14:10

    いや、つまり外部に接続しているつもりなのに、なぜか127.0.0.1という自分自身にアクセスしており、さらにそのPortがListenされていないのでConnect出来ないという問題なのではないかなと思うわけです。出来れば通信部分のソースコードを提示いただけないでしょうか。

    キャンセル

回答 2

0

多くのサイトは「高負荷なアクセスが来たらブロックする」という防護策が講じられています。あまりに短時間に多数のアクセスを行うと、サーバがダウンしてしまう前に悪さをしているやつを弾き飛ばしてしまいます。あなたに悪意がなくても、高速にアクセスしまくる行為は「DoS攻撃」と呼ばれるもので、サーバに高負荷を与えてアクセス不全に陥らせる行為です。
スクレイピングの際は「1アクセスごとに何秒か待機する」など、対象のサーバに負荷を与えない配慮が必要です。そもそも対象のサイトがスクレイピングを禁止していないかもチェックしてください。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/04/06 13:52

    回答頂きありがとうございます。
    念の為、sleepで数秒を入れてあります。

    スクレイピングを行っているサイトは複数あり、どれも同じエラーでプログラムが中断されます。

    また拒否しているのは「127.0.0.1」となっており調べて見るとlocalhostが拒否しているようです。

    キャンセル

  • 2017/04/06 14:16

    んー…となるとセレニウム関連のエラーだと思うので、私は詳しくないです。申し訳ないですが誰か他の人の回答を待ってください。とりあえず、私がエラーログから分かることは、スクレイピング処理がなんらかの要因でタイムアウトしているっぽい、というところでしょうか。

    キャンセル

check解決した方法

-1

再起動したらいけました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.93%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る