###実現したいこと
xserverからcurlを用いてhttps://krsw.5ch.net/robots.txtからコード200のレスポンスを受け取りたい。
###発生している問題・エラーメッセージ
現在、curlでリクエストしても、403が返ってくる
* Trying 104.18.233.150:80... * Connected to krsw.5ch.net (104.18.233.150) port 80 (#0) > GET /robots.txt HTTP/1.1 > Host: krsw.5ch.net > User-Agent: curl/7.70.0 > Accept: */* > * Mark bundle as not supporting multiuse < HTTP/1.1 403 Forbidden < Date: Thu, 07 May 2020 12:04:51 GMT < Content-Type: text/html < Transfer-Encoding: chunked < Connection: keep-alive < Set-Cookie: __cfduid=dcfcbf84c85e034bfe0787d5c767d46941588853091; expires=Sat, 06-Jun-20 12:04:51 GMT; path=/; domain=.5ch.net; HttpOnly; SameSite=Lax < CF-Cache-Status: DYNAMIC < Server: cloudflare < CF-RAY: 58face4b7ac3db2c-KIX < cf-request-id: 02909f432a0000db2c1a004200000001 <
###前提・試したこと
<1>
xserverにはcurlがインストールされており、他のサイト(例えばgoogleや5ch.netなど)にはcurlでコード200でレスポンスが返ってきます。
【curlバージョン】
curl 7.70.0 (x86_64-pc-linux-gnu) libcurl/7.70.0 OpenSSL/1.1.1g zlib/1.2.11 Release-Date: 2020-04-29 Protocols: dict file ftp ftps gopher http https imap imaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp Features: AsynchDNS HTTPS-proxy Largefile libz NTLM NTLM_WB SSL TLS-SRP UnixSockets
【サーバOS】
CentOS Linux release 7.7.1908
<2>
自分のPC(MAC)からhttps://krsw.5ch.net/robots.txtにcurlでリクエストすると200でレスポンスが返ってきて、robots.txtの内容が確認できます。
【robots】
User-agent: * Disallow: *.dat User-agent: Googlebot User-agent: Twitterbot User-agent: bingbot User-agent: "Yahoo! Slurp" User-agent: YahooCacheSystem User-agent: "Y!J-ASR/0.1 crawler" Disallow: bbs.cgi
【curlのバージョん】
curl 7.54.0 (x86_64-apple-darwin18.0) libcurl/7.54.0 LibreSSL/2.6.5 zlib/1.2.11 nghttp2/1.24.1 Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp Features: AsynchDNS IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz HTTP2 UnixSockets HTTPS-proxy
<3>
他のサーバ(dockerで立てたcentOS)からも、問題なくcurlでrobots.txtの内容を取得できます。
<4>
wgetで試しても、xserverからでは同様に403で返ってきます。(wgetではuser-agentも変更して試してみました)
krsw.5ch.net (krsw.5ch.net) をDNSに問いあわせています... 104.18.232.150, 104.18.234.150, 104.18.235.150, ... krsw.5ch.net (krsw.5ch.net)|104.18.232.150|:80 に接続しています... 接続しました。 HTTP による接続要求を送信しました、応答を待っています... 403 Forbidden 2020-05-07 21:34:57 エラー 403: Forbidden。
以上になります。
何か原因として考えられることはあるでしょうか??
よろしくお願いしますmm
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。