python スクレイピング ループごとに新規ファイルを作成する

Question

実現したいこと

以下のコードがあり既存CSVにURLがあり
そのURLからリンク先にデータ（リンクデータ）を取りに行ってます。
既存CSVから1つめのリンク先に遷移してデータを取りCSV（01.CSV）を作成して書き出しを行う、
次に既存CSVから2つめのリンク先に遷移してデータを取りCSV（02.CSV）を作成して書き出しを行う

・ループ実行ごとに新規CSVファイルが作成されそこにデータが書き出される
・2回ループが実行されれば２つのファイルが作成される
・ファイルに名はナンバーが記載される

上記のことを実現したいです。

該当のソースコード

import pandas as pd
import os
import time
import datetime
import csv
import glob

from bs4 import BeautifulSoup
import requests

df = pd.read_csv('C:\\Users\\thumb\\s1_dmm.csv', encoding="utf-8")

with open('C:\\Users\\thumb\\s2_dmm.csv','a', encoding='utf-8',newline='') as f:
    writer = csv.writer(f)    
    writer.writerow(header1)

    for i in range(len(df)):
    
        # CSVデータのi行0列目のデータを取得
        url = df.iloc[i, 4]
        list_head = df.iloc[i, 0:5]               
        response = requests.get(url=url, headers=headers, cookies=cookie)
        html = response.content
        res = requests.get(url)
        res.raise_for_status()
        soup = BeautifulSoup(html, "html.parser")

        writer.writerow(list_head)
                 
        for link in soup. find_all('img',class_='mg-b6'):
            print(link.get("src"))                

            row = [link.get("src")]
            writer.writerow(row)
            print(df)            

試したこと

ファイルにナンバーを振るなどの動作はできますが、
for文でループするごとにフ新規ァイルを書き出す方法がわからず試せていません。

やりたいことを実現できる情報などいただければと思います。
よろしくお願いいたします。

Answer 1

ループ毎にファイルを作成したいのであれば、ループ内にファイルの作成ロジックを組み込めばいいと思います。
この場合、for i in range(len(df)): の下に、with open ~ のブロックを入れればいいのではないでしょうか。

Comments

[c-man]

以下のようにループ内にファイルの作成ロジックを組み込んだのですが、
ファイルがdmn04.csvしか作成できませんでした。
既存CSV に記載されている最後のデータからしかとれていないようです。
上書きされているのでしょうか。

df = pd.read_csv('C:\\Users\\thumb\\s0_thumb.csv', encoding="utf-8")

files = glob.glob("*.csv")
new_name = "dmn{0:03d}.csv".format(i + 1)

for i in range(len(df)):

with open(new_name,'w', encoding='utf-8',newline='') as f:
writer = csv.writer(f)
writer.writerow(header1)

# CSVデータのi行0列目のデータを取得
url = df.iloc[i, 4]
list_head = df.iloc[i, 0:5]
response = requests.get(url=url, headers=headers, cookies=cookie)
html = response.content
res = requests.get(url)
res.raise_for_status()
soup = BeautifulSoup(html, "html.parser")

writer.writerow(list_head)

for link in soup. find_all('img',class_='mg-b6'):
print(link.get("src"))

row = [link.get("src")]
writer.writerow(row)
print(df)

f.close()

[Demerara]

with open("dmn{0:03d}.csv".format(i + 1) ,'w', encoding='utf-8' ,newline='') as f:

とするか、
new_name = "dmn{0:03d}.csv"
for i in range(len(df)):
with open(new_name.format(i +1) ,'w', encoding='utf-8',newline='') as f:

とすべきではないでしょうか

Answer 2

コードや現状の詳細動作は把握していませんが
with open('C:\\Users\\thumb\\s2_dmm.csv','a',～において
a（既存ファイルがあれば追記）ではなくw（既存ファイルがあっても新規作成）とするとよいでしょう。

Answer 3

open(ファイル名) でファイルが作成されるので、ループごとにこのファイル名を変えながらopenすればよろしい

＃んで、openしたファイルはcloseしよう

Comments

[c-man]

以下のようにループ内にファイルの作成ロジックを組み込んだのですが、
ファイルがdmn04.csvしか作成できませんでした。
既存CSV に記載されている最後のデータからしかとれていないようです。
上書きされているのでしょうか。

df = pd.read_csv('C:\\Users\\thumb\\s0_thumb.csv', encoding="utf-8")

files = glob.glob("*.csv")
new_name = "dmn{0:03d}.csv".format(i + 1)

for i in range(len(df)):

with open(new_name,'w', encoding='utf-8',newline='') as f:
writer = csv.writer(f)
writer.writerow(header1)

# CSVデータのi行0列目のデータを取得
url = df.iloc[i, 4]
list_head = df.iloc[i, 0:5]
response = requests.get(url=url, headers=headers, cookies=cookie)
html = response.content
res = requests.get(url)
res.raise_for_status()
soup = BeautifulSoup(html, "html.parser")

writer.writerow(list_head)

for link in soup. find_all('img',class_='mg-b6'):
print(link.get("src"))

row = [link.get("src")]
writer.writerow(row)
print(df)

f.close()

[y_waiwai]

ファイル名を変えないと同じファイルを繰り返し作成するってことになります。
openのところで、どういう名前のファイルを作ってるのかprintするなどして確認してみては。

Answer 4

path = 'C:\Users\thumb\'
files = glob.glob(path+'*')

上記を加え以下で回すことで毎回違う名前でファイルを作成することで実現しました。

for i, f in enumerate(files):
    fname = 'dmn_' + str(i) + '.csv'

たくさんのアドバイスありがとうございました。