Xサーバー+CRON+pythonの実行環境でスクレイピングを考えています。
スクレイピング自体は成功していますが、秘匿のためプロキシを経由させたいのですが、
pythonのコードにプロキシを追加しただけでは動きませんでした。
ローカルPC上からプロキシ経由させた場合は成功しています。
Xサーバー上で実行した場合にプロキシ経由だとエラーになります。
どなたか原因がわかりましたらご教授ください。
コードですが、問題点がわかりやすいようにジコログさんが作成されたサンプルで記載します。
python
1 2import requests 3from bs4 import BeautifulSoup 4 5URL = "https://www.cman.jp/network/support/go_access.cgi" 6USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36" 7 8proxies = { 9 'http':'https://140.227.65.129:58888', 10 'https':'https://140.227.65.129:58888' 11} 12 13headers = {"User-Agent": USER_AGENT} 14 15resp = requests.get(URL, proxies=proxies, headers=headers, timeout=10) 16resp.encoding = 'utf8' 17soup = BeautifulSoup(resp.text, "html.parser") 18 19ip = soup.find(class_="outIp").text 20 21print(ip) 22

回答1件
あなたの回答
tips
プレビュー