質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

87.61%

Python 3.6.5 ・・・ [WinError 10061]を解決したい

解決済

回答 2

投稿

  • 評価
  • クリップ 1
  • VIEW 9,775

score 15

前提・実現したいこと

ここに質問の内容を詳しく書いてください。
(例)Anaconda(Python3.x)でwebからキーワードに合致するサイトを収集するシステムを作っています。
途中、実装中(試行中)以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

ConnectionRefusedError: [WinError 10061] 対象のコンピューターによって拒否されたため、接続できませんでした。

該当のソースコード

ライブラリをインストール

from bs4 import BeautifulSoup
import requests
import pandas as pd

columns = ['rank','title','url','affiliate_url']
df = pd.DataFrame(columns=columns)
df.head()

keyword = '会社 いきたくない'

html_doc = requests.get('https://www.google.co.jp/search?num=10&q=' +keyword).text
soup = BeautifulSoup(html_doc, 'html.parser')  # BeautifulSoupの初期化
print(soup.prettify())

試したこと

解決方法が見当たらない為、どなたかご教示いただけますようお願いします。

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

Jupyter notebook 5.5.0 
(Anaconda, Python 3.6.5, IPython 6.4.0 )

以上

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+3

google ってプログラムっぽい user agent で検索すると 403 返してきますね。 
プログラムから使いたいなら google custom search api を使うべしっていう意思表示でしょう。

質問者様のプログラムは僕の環境でもちゃんと HTML を取得しました。
環境によって user agent が異なるのが原因かと思われます。
あんまり深く調査すべきところではないです。

アンサーとしては、 google の検索結果をスクレイピングせず、 custom search api を使いましょう。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/01/29 14:52

    ご回答ありがとうございます。
    ご回答者様の方法を試し中ですが、
    現在・・・apiのレスポンスが悪いためか、結果を得られておりません。
    追って結果報告させていただきます。

    キャンセル

  • 2019/01/29 17:42

    Proxyについて、他サイト参照し、下記コードにて当方質問のエラーは解消されました。
    ​ "http_proxy=http://your_proxy:your_port",
    "https_proxy=http://your_proxy:your_port"
    ただし、別のエラーが発生しており、下記メッセージが表示されます。
    引き続き申し訳ありませんが、アドバイスご教示いただけませんでしょうか。

    以下、エラーメッセージ全文となります。
    ---------------------------------------------------------------------------
    AttributeError Traceback (most recent call last)
    <ipython-input-20-7a6dec61d5c5> in <module>()
    11 }
    12
    ---> 13 req = requests.get("http://www.google.co.jp/", proxies=proxy_dict)
    14
    15 columns = ['rank','title','url','affiliate_url']

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\api.py in get(url, params, **kwargs)
    70
    71 kwargs.setdefault('allow_redirects', True)
    ---> 72 return request('get', url, params=params, **kwargs)
    73
    74

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\api.py in request(method, url, **kwargs)
    56 # cases, and look like a memory leak in others.
    57 with sessions.Session() as session:
    ---> 58 return session.request(method=method, url=url, **kwargs)
    59
    60

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\sessions.py in request(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)
    497
    498 settings = self.merge_environment_settings(
    --> 499 prep.url, proxies, stream, verify, cert
    500 )
    501

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\sessions.py in merge_environment_settings(self, url, proxies, stream, verify, cert)
    669 if self.trust_env:
    670 # Set environment's proxies.
    --> 671 no_proxy = proxies.get('no_proxy') if proxies is not None else None
    672 env_proxies = get_environ_proxies(url, no_proxy=no_proxy)
    673 for (k, v) in env_proxies.items():

    AttributeError: 'set' object has no attribute 'get'

    キャンセル

checkベストアンサー

0

こんにちは。

ご提示のコードに問題はないです(私の環境では実行できました)。
getする先を変えてみても同じでしょうか。

あとはProxyサーバーの有無を確認し、必要なら下のように設定してください。
参考:認証プロキシ環境でpythonのRequestsライブラリを使用する方法 - メモめもメモ

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/01/29 17:41

    Proxyについて、他サイト参照し、下記コードにて当方質問のエラーは解消されました。
    ​ "http_proxy=http://your_proxy:your_port",
    "https_proxy=http://your_proxy:your_port"
    ただし、別のエラーが発生しており、下記メッセージが表示されます。
    引き続き申し訳ありませんが、アドバイスご教示いただけませんでしょうか。

    以下、エラーメッセージ全文となります。
    ---------------------------------------------------------------------------
    AttributeError Traceback (most recent call last)
    <ipython-input-20-7a6dec61d5c5> in <module>()
    11 }
    12
    ---> 13 req = requests.get("http://www.google.co.jp/", proxies=proxy_dict)
    14
    15 columns = ['rank','title','url','affiliate_url']

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\api.py in get(url, params, **kwargs)
    70
    71 kwargs.setdefault('allow_redirects', True)
    ---> 72 return request('get', url, params=params, **kwargs)
    73
    74

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\api.py in request(method, url, **kwargs)
    56 # cases, and look like a memory leak in others.
    57 with sessions.Session() as session:
    ---> 58 return session.request(method=method, url=url, **kwargs)
    59
    60

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\sessions.py in request(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)
    497
    498 settings = self.merge_environment_settings(
    --> 499 prep.url, proxies, stream, verify, cert
    500 )
    501

    ~\AppData\Local\Continuum\anaconda3\lib\site-packages\requests\sessions.py in merge_environment_settings(self, url, proxies, stream, verify, cert)
    669 if self.trust_env:
    670 # Set environment's proxies.
    --> 671 no_proxy = proxies.get('no_proxy') if proxies is not None else None
    672 env_proxies = get_environ_proxies(url, no_proxy=no_proxy)
    673 for (k, v) in env_proxies.items():

    AttributeError: 'set' object has no attribute 'get'

    キャンセル

  • 2019/01/29 17:58

    Proxy設定で解決したようでようございました。

    進めど進めど問題が出るのは致し方ありませんし、そのたび人に訊くわけにもいきません。
    何十分か自力で取り組んでいただいて、それでも解決しなければ別の質問を立てて頂ければ幸いです。
    (後代に参照されて役立つノウハウを蓄積するためにも、teratailは一問一答が原則です)

    キャンセル

  • 2019/01/29 18:05

    承知しました。
    仰る通りです。失礼しました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 87.61%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る