Pythonスクレイピング：csvファイルの書き込みについて

Question

前提・実現したいこと

Pythonを使ったスクレイピングを行っています。
スプレッドシートへの連携を主にしておりますが、100秒の読み込みルールに引っかかるサイトを
csvを使って抽出しようとしています。

発生している問題・エラーメッセージ

for文が期待通りに回らない

該当のソースコード

import requests
from bs4 import BeautifulSoup
import csv
import datetime
import time

for page in range(91614, 91615):
    url = "https://xxx.jp/review_list.aspx?pid={}".format(page)
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'lxml')
    time.sleep(2.0)

    post_time = soup.select('.review_info')

    # 現在の時刻を年、月、日、時、分、秒で取得
    time_ = datetime.datetime.today().strftime("%Y%m%d")

    csv_file_name = "sample" + time_ + ".csv"
    f = open(csv_file_name, 'w',encoding='cp932', errors='ignore')

    #ファイルへの書き込み
    writer = csv.writer(f, lineterminator='\n')

    #headerの指定
    csv_header = ["投稿日"]
    writer.writerow(csv_header)

    csvlist = []
      for e in post_time:
          csvlist.append(e.get_text())
          writer.writerow(csvlist)
          print(csvlist)

    f.close()

現在の抽出結果

１行目：(A列)2020年8月13日
２行目：(A列)2020年8月13日 (B列)2020年8月12日
３行目：(A列)2020年8月13日 (B列)2020年8月12日 (C列)2020年8月11日
４行目：(A列)2020年8月13日 (B列)2020年8月12日 (C列)2020年8月11日 (D列)2020年8月10日
５行目：(A列)2020年8月13日 (B列)2020年8月12日 (C列)2020年8月11日 (D列)2020年8月10日 (E列)2020年8月09日

実現したい抽出結果

１行目：(A列)2020年8月13日
２行目：(A列)2020年8月12日
３行目：(A列)2020年8月11日
４行目：(A列)2020年8月10日
５行目：(A列)2020年8月09日

for文の使い方が良くないのでしょうか...
お手数おかけしますが、よろしくお願いいたします。

Answer 1

配列をprintしていることが問題かと。
出力に配列を使ってしまっているために、i行目に、i-1行目に書かれていることに新しい情報を付け加えたようになってしまっています。

つまり、

[0,1,2,3,4]

という配列があったとき、

[0]
#1を追加
[0,1]
#2を追加
[0,1,2]
#3を追加
[0,1,2,3]
#4を追加
[0,1,2,3,4]

この様な配列が順に生成され、そのままファイルに出力されている、ということです。

Comments

[gomasan]

ありがとうございます!! 配列の置き場所とprintの関係性も良くなかったようですね。。ご丁寧にありがとうございます。結果もいただき中身を理解することができました。本当にありがとうございます。

Answer 2

csvlist = []はfor e in post_time:ループの中にいれましょう。
あるいは単純にwriter.writerow([e.get_text()])でもよいでしょう。

Comments

[gomasan]

ありがとうございます...! csvlist = []をfor e in post_time:ループの中に入れたら理想の結果になりました。。。そしてfor文の動きも理解できました。ありがとうございます！