スクレイピング初歩で躓いています。。。

Question

入門ページを見てやってみたのですが、早速つまずいてしましました。

import pandas as pd
url = 'https://finance.yahoo.com/quote/AAPL/history?p=AAPL&.tsrc=fin-srch'
data = pd.read_html(url, header = 0)

と打っても

Traceback (most recent call last):
File "<pyshell#7>", line 1, in <module>
data = pd.read_html(url, header = 0)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\util_decorators.py", line 299, in wrapper
return func(*args, **kwargs)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\io\html.py", line 1085, in read_html
return _parse(
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\io\html.py", line 893, in _parse
tables = p.parse_tables()
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\io\html.py", line 213, in parse_tables
tables = self._parse_tables(self._build_doc(), self.match, self.attrs)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\io\html.py", line 732, in _build_doc
raise e
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\io\html.py", line 713, in _build_doc
with urlopen(self.io) as f:
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\site-packages\pandas\io\common.py", line 195, in urlopen
return urllib.request.urlopen(*args, **kwargs)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 222, in urlopen
return opener.open(url, data, timeout)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 531, in open
response = meth(req, response)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 640, in http_response
response = self.parent.error(
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 569, in error
return self._call_chain(*args)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 502, in _call_chain
result = func(*args)
File "C:\Users\■■■■\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 649, in http_error_default
raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found

となってしまいます。

pandas
lxml
html5lib
bs4

はインストールしています。

初歩の初歩で一回目でつまずいて情けない限りですが、エラーを検索しても404じゃないかとのことですが、
https://finance.yahoo.com/quote/AAPL/history?p=AAPL&.tsrc=fin-srch は存在しています。
何がいけないのでしょうか…

Comments

[meg_]

>入門ページ
書籍でしょうか？

Answer 1

Yahoo Terms of Serviceには

You must not misuse or interfere with the Services or try to access them using a method other than the interface and the instructions that we provide.

とありますのでスクレイピングは禁止されているのではないでしょうか？
サイト側で拒否されているのかもしれません。

Comments

[eqeqe]

ありがとうございます…入門ページは個人が書いてる入門サイトのようです。
そうなんですか…昔の記事でもう今はできなくなってしまったとかですかね。

[eqeqe]

他のページだと出来たのでやはりおっしゃる感じのようです、改めてありがとうございました！

[meg_]

スクレイピングを禁止しているサイトではAPIが用意されている場合があります。情報が必要であればAPIが利用できないか調べるのが良いかと思います。
スクレイピングされる際には利用規約を読まれることをお勧めします。