BeautifulSoupを使ったスクレイピングについて

Question

pythonでBeautifulSoupを使ってスクレイピングの練習をしています。

今月のビットコインの価格を取得したくて
https://coinmarketcap.com/currencies/bitcoin/historical-data/?start=20200101&end=20200203

こちらのサイトのHistorical data for BitcoinのDate,Open*,High,Low,Close**,Volume,Market Capのデータを取得したいと思っています。

途中まではスクレイピングできるのですが途中でエラーがでてしまいます。

import requests
from bs4 import BeautifulSoup

url = 'https://coinmarketcap.com/currencies/bitcoin/historical-data/?start=20200101&end=20200203'
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")

elems = soup.find_all("table")

date_td = soup.find_all('td', class_='cmc-table__cell cmc-table__cell--sticky cmc-table__cell--left')
date_div = date_td.find_all('div', class_='')

最初にtableを探してtableの中のtd(cmc-table__cell cmc-table__cell--sticky cmc-table__cell--left)を抽出、divの中が空なのでclass_=''と書いたのですがエラーがでてしまいます。

なぜエラーが出るのか分かりません。
何卒よろしくお願い致します。

Comments

[sunglass]

エラー内容も追記した方が良いです。
そもそもインデントはどうしていますでしょうか。
Pythonはインデントに沿った処理が実行されます。
https://qiita.com/yuto-naga/items/622d564bd0417812ca84
参考までに。

Answer 1

こんなことがしたいですか？

> date_td[0].string

'Feb 02, 2020'


> for dt in date_td:
>    print(dt.string)

Feb 02, 2020
Feb 01, 2020
Jan 31, 2020
Jan 30, 2020
Jan 29, 2020
Jan 28, 2020
Jan 27, 2020
Jan 26, 2020
Jan 25, 2020

Comments

[Kaikoko]

ありがとうございます。やりたい事はDate毎にCSVに入れたいと思っています。
ですので取得したいデータは以下のようなイメージです。

Date Open* High Low Close** Volume Market Cap
Feb 02, 2020　9,389.82　9,468.80　9,217.82　9,344.37　30,835,736,946　170,034,976,662
Feb 01, 2020　9,346.36　9,439.32　9,313.24　9,392.88　25,922,656,496　170,900,662,180
Jan 31, 2020...

[technocore]

私の回答を参考にして金額も取り出して、日付と合わせてcsvファイルに出力すればいいです。
pythonでcsvを扱うにはCSVモジュールがおすすめです。
使い方はググってみてください。

$ pip search csv
csv (1.0) Fast CSV Parser for Python

[Kaikoko]

ありがとうございます！　挑戦してみます！！

Answer 2

tableの行(row)を全て読み込んで
1行ずつ、そのなかのtdを取り出す二重ループにしてみました。
もっとスマートな方法があるかもしれませんが、参考にしてください。

rows = soup.find_all(class_="cmc-table-row")

for row in rows:
    for td in row:
        print(td.string, " ", end="")
    print('')
------------------------
Feb 02, 2020  9,389.82  9,468.80  9,217.82  9,344.37  30,835,736,946  170,034,976,662  
Feb 01, 2020  9,346.36  9,439.32  9,313.24  9,392.88  25,922,656,496  170,900,662,180  
Jan 31, 2020  9,508.31  9,521.71  9,230.78  9,350.53  29,432,489,719  170,112,778,161  
Jan 30, 2020  9,316.02  9,553.13  9,230.90  9,508.99  32,378,792,851  172,978,577,931  
Jan 29, 2020  9,357.47  9,406.43  9,269.47  9,316.63  30,682,598,115  169,460,984,603  

Comments

[Kaikoko]

ありがとうございます！　書いていただいた内容にこちらを追加したらCSVに追加できるようになりました！
感謝です。

for row in rows:
csvRow = []
for cell in row.findAll(['td', 'th']):
csvRow.append(cell.get_text())
writer.writerow(csvRow)

Answer 3

最初にtableを探してtableの中のtd(cmc-tablecell cmc-tablecell--sticky cmc-table__cell--left)を抽出、divの中が空なのでclass_=''と書いたのですがエラーがでてしまいます。

エラー内容を記載した方がいいと思います。

以下のエラー内容かと思いますが、

ResultSet object has no attribute 'find_all'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

恐らくdate_tdの型が、「<class 'bs4.element.ResultSet'>」で配列なので、エラーになったかと。