質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
CentOS

CentOSは、主にRed Hat Enterprise Linux(RHEL)をベースにした、フリーのソフトウェアオペレーティングシステムです。

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

サーバ

サーバは、 クライアントサーバモデルにおいてクライアントからの要求に対し 何らかのサービスを提供するプログラムを指す言葉です。 また、サーバーソフトウェアを稼動させているコンピュータ機器そのもののことも、 サーバーと呼ぶ場合もあります。

Q&A

解決済

1回答

4014閲覧

curlレスポンスで403が返ってくる

kutakaya

総合スコア0

CentOS

CentOSは、主にRed Hat Enterprise Linux(RHEL)をベースにした、フリーのソフトウェアオペレーティングシステムです。

cURL

cURLはHTTP, FTPやTelnetなど複数のプロトコルを用いてデータを転送するライブラリとコマンドラインツールを提供します。

サーバ

サーバは、 クライアントサーバモデルにおいてクライアントからの要求に対し 何らかのサービスを提供するプログラムを指す言葉です。 また、サーバーソフトウェアを稼動させているコンピュータ機器そのもののことも、 サーバーと呼ぶ場合もあります。

0グッド

0クリップ

投稿2020/05/07 14:10

編集2020/05/07 14:22

###実現したいこと
xserverからcurlを用いてhttps://krsw.5ch.net/robots.txtからコード200のレスポンスを受け取りたい。

###発生している問題・エラーメッセージ
現在、curlでリクエストしても、403が返ってくる

* Trying 104.18.233.150:80... * Connected to krsw.5ch.net (104.18.233.150) port 80 (#0) > GET /robots.txt HTTP/1.1 > Host: krsw.5ch.net > User-Agent: curl/7.70.0 > Accept: */* > * Mark bundle as not supporting multiuse < HTTP/1.1 403 Forbidden < Date: Thu, 07 May 2020 12:04:51 GMT < Content-Type: text/html < Transfer-Encoding: chunked < Connection: keep-alive < Set-Cookie: __cfduid=dcfcbf84c85e034bfe0787d5c767d46941588853091; expires=Sat, 06-Jun-20 12:04:51 GMT; path=/; domain=.5ch.net; HttpOnly; SameSite=Lax < CF-Cache-Status: DYNAMIC < Server: cloudflare < CF-RAY: 58face4b7ac3db2c-KIX < cf-request-id: 02909f432a0000db2c1a004200000001 <

###前提・試したこと
<1>
xserverにはcurlがインストールされており、他のサイト(例えばgoogleや5ch.netなど)にはcurlでコード200でレスポンスが返ってきます。
【curlバージョン】

curl 7.70.0 (x86_64-pc-linux-gnu) libcurl/7.70.0 OpenSSL/1.1.1g zlib/1.2.11 Release-Date: 2020-04-29 Protocols: dict file ftp ftps gopher http https imap imaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp Features: AsynchDNS HTTPS-proxy Largefile libz NTLM NTLM_WB SSL TLS-SRP UnixSockets

【サーバOS】

CentOS Linux release 7.7.1908

<2>
自分のPC(MAC)からhttps://krsw.5ch.net/robots.txtにcurlでリクエストすると200でレスポンスが返ってきて、robots.txtの内容が確認できます。
【robots】

User-agent: * Disallow: *.dat User-agent: Googlebot User-agent: Twitterbot User-agent: bingbot User-agent: "Yahoo! Slurp" User-agent: YahooCacheSystem User-agent: "Y!J-ASR/0.1 crawler" Disallow: bbs.cgi

【curlのバージョん】

curl 7.54.0 (x86_64-apple-darwin18.0) libcurl/7.54.0 LibreSSL/2.6.5 zlib/1.2.11 nghttp2/1.24.1 Protocols: dict file ftp ftps gopher http https imap imaps ldap ldaps pop3 pop3s rtsp smb smbs smtp smtps telnet tftp Features: AsynchDNS IPv6 Largefile GSS-API Kerberos SPNEGO NTLM NTLM_WB SSL libz HTTP2 UnixSockets HTTPS-proxy

<3>
他のサーバ(dockerで立てたcentOS)からも、問題なくcurlでrobots.txtの内容を取得できます。

<4>
wgetで試しても、xserverからでは同様に403で返ってきます。(wgetではuser-agentも変更して試してみました)

krsw.5ch.net (krsw.5ch.net) をDNSに問いあわせています... 104.18.232.150, 104.18.234.150, 104.18.235.150, ... krsw.5ch.net (krsw.5ch.net)|104.18.232.150|:80 に接続しています... 接続しました。 HTTP による接続要求を送信しました、応答を待っています... 403 Forbidden 2020-05-07 21:34:57 エラー 403: Forbidden。

以上になります。
何か原因として考えられることはあるでしょうか??
よろしくお願いしますmm

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

自己解決

herokuに移行しました。

投稿2020/05/12 14:37

kutakaya

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問