webスクレイピングをする際のfor文の書き方について

Question

###やりたいこと
1日文のデータをスクレイピングしたいと考えてます。
例えば
https://www.AAA/1/
というサイトがあり、末尾の数字が1~12まで変化しこれを全て読み込ませたいと考えております。

書いたコード

import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup

#URLの指定
Round = range(1.12)
for i in Round:
url = 'https://www.AAA/'+str(i)+'/'
html = urlopen(url)
bsObj = BeautifulSoup(html, "html.parser")

#テーブルを指定
table = bsObj.findAll("table")[1]
rows = table.findAll("tr")

csvFile = open("ebooks.csv", 'wt', newline = '', encoding = 'utf-8')
writer = csv.writer(csvFile)

try:
    for row in rows:
        csvRow = []
        for cell in row.findAll(['td', 'th']):
            csvRow.append(cell.get_text())
        writer.writerow(csvRow)
finally:
    csvFile.close()

上記のように書いて
実行させたところ,csvファイルには最後の
https://www.AAA/12/
の読み込み結果しかcsvファイルに書き込まれていないという状況です。

解決したいこと

1.サイトの１〜１２まで全てをcsvファイルに書き込みたい
2.次の日にデータについては上書きせずそのまま更新されるようにしたいと思っております。

Comments

[hayataka2049]

インデントが崩れてるっぽいので、修正してください

[hayataka2049]

for i in Round:以下のところ。このままコピペして実行すると、エラー出ると思いますが・・・

Answer 1

実行させたところ,csvファイルには最後の
https://www.AAA/12/
の読み込み結果しかcsvファイルに書き込まれていないという状況です。

こういう場合、最後のというより内容が上書きされていると判断して、ソースコードを確認したほうがいいです。

csvFile = open("ebooks.csv", 'wt', newline = '', encoding = 'utf-8')

↓

csvFile = open("ebooks.csv", 'at', newline = '', encoding = 'utf-8')

動作確認してませんが、こんな感じです。

import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup

#URLの指定
for i in range(1, 12):
    url = 'https://www.AAA/'+str(i)+'/'
    html = urlopen(url)
    bsObj = BeautifulSoup(html, "html.parser")

#テーブルを指定
    table = bsObj.findAll("table")[1]
    rows = table.findAll("tr")
    with open("ebooks.csv", 'at', newline = '', encoding = 'utf-8') as csvFile:
        writer = csv.writer(csvFile)
        for row in rows:
            csvRow = []
            for cell in row.findAll(['td', 'th']):
                csvRow.append(cell.get_text())
            writer.writerow(csvRow)

Comments

[shunsuke1937]

ご回答ありがとうございました。
結果を抽出することができました。
また、一つ一つの要素を理解します。