Q&A
前提・実現したいこと
海外の経済指標を自動で取得したく、
https://jp.investing.com/ というサイトからまずはcurl出来ないか確認しているのですが、ブラウザで開けるもののcurlだと403が返ってきてしまいます。
原因として思い当たりそうなところはありますでしょうか？
発生している問題・エラーメッセージ
$ curl https://jp.investing.com <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> <html><head> <title>403 Forbidden</title> </head><body> <h1>Forbidden</h1> <p>You don't have permission to access /.noindex.html on this server.</p> <hr> <address>Apache/2.4.6 (CentOS) Server at jp.investing.com Port 80</address> </body></html>
試したこと
クライアント(こちらのターミナル、curlコマンド)に問題があるかどうかの切り分けとして、google等他のwebサイトでは正常にGETできることを確認済み。
回答1件
0
ベストアンサー
https://jp.investing.com/robots.txtを見ると分かるように、
/index.phpすなわちホーム画面はクロールが禁止されているようです。
投稿2019/12/21 15:50
総合スコア356
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/12/22 03:07