for文を使用したファイル名の記入方法

Question

スクレイピングをする際に、urlを下記のように1~12まで変更して次々と読み込ませます。

from bs4 import BeautifulSoup
import requests
import pandas as pd
from pandas import Series,DataFrame
import time
import numpy as np

list=range(1,13)
A=pd.DataFrame()
for i in list:
    url = 'www.aaa'+str(i)
    result = requests.get(url)
    c = result.content
    soup = BeautifulSoup(c,'lxml')
    summary = soup.find('div',{'class':'contentsFrame1'})
    table = summary.find_all('table')
#省略
・
・
・
    A.to_csv('user/'f'{i}_.csv')　　#スクレイピングした結果をcsvファイルに書き出します。
#ファイル 1_.csv,2_.csv,・・・,12_.csv 

そこでこのファイル名をurlを読み込ませる際には
www.aaa1~www.aaa-12の１２個のサイトのurlを読み込ませております。
www.aaa1とした時には読み込んだサイトを上記では1_.csv
という風になります。
後々のファイル等の操作する関係で桁数が異なると困りますので、1~9を読み込ませる際には先頭に0をつけて
01_.csvにしたいと思っています。

関数を定義して記入できないかと考えましたが、なかなかいい方法が思い浮かびません。
ご教示のほどよろしくお願いいたします。

Comments

[oasis701]

importの記述が不完全なので、記述をお願いします。
それから
＞そこでこのファイル名をurlを読み込ませる際には1~12で読み込ませているのですが、
ファイル名を読み込ませたいのですか？urlを読み込ませたいのですか？それとも両方ですか？
正しく記載しないと戸惑ってしまいます。明確に記述して下さい。
よろしくお願いします。

Answer 1

後々のファイル等の操作する関係で桁数が異なると困りますので、1~9を読み込ませる際には先頭に0をつけて

01_.csvにしたいと思っています。

フォーマットを工夫すれば対応可能です。

A.to_csv(f'user/{i:02}_.csv')

Comments

[oasis701]

LouiS0616さん
{i:02}というフォーマットの定義を説明した文書はあるでしょうか？
ご回答よろしくお願いします。

[hayataka2049]

https://docs.python.jp/3/reference/lexical_analysis.html#f-strings

[LouiS0616]

0 ← 0埋め
2 ← 2ケタ ですね。

[oasis701]

ありがとうございます????

[shunsuke1937]

そういうことですか！理解できました。ご回答いただきましてありがとうございました。

Answer 2

a.py

from pathlib import Path

out_dir = "user"
for i in range(1, 13):
    print(Path(out_dir, f'{i:02}_.csv'))

実行例

参考情報

• Python3 文字列中に変数展開したい

https://chaika.hatenablog.com/entry/2018/08/16/090000

• オブジェクト指向のファイルシステムパス

https://docs.python.org/ja/3/library/pathlib.html#concrete-paths

Comments

[shunsuke1937]

参考文献までご教示いただきましてありがとうございました。
理科することができました。
ありがとうございました。

Answer 3

LouiS0616さんが紹介して頂いたフォーマット（初めて知りました）で下記のコードを書いたところ、
作成出来ました。

from bs4 import BeautifulSoup
import requests
import pandas as pd
from pandas import Series,DataFrame
import time
import numpy as np

list=range(1,13)
#A=pd.DataFrame()
for i in list:
    #url = 'www.aaa'+str(i)
    url = "https://quality-start.in/company/"
    result = requests.get(url)
    c = result.content
    #soup = BeautifulSoup(c,'lxml')
    soup = BeautifulSoup(c, 'html.parser')
    #summary = soup.find('div',{'class':'contentsFrame1'})
    summary = soup.find("div", class_="list-group")
    table = summary.find_all('a')
    df = pd.DataFrame(table)
    df.to_csv(f'user/{i:02}_.csv')　←　なぜこの文で上手く作成できるのか理解できていませんが？

Comments

[shunsuke1937]

上記の方法で結果を得ることができました、全く理解ができなかったです。

Answer 4

数が数十前後で良いのであれば、泥臭く、elif文を使って作成してみました。
貴殿のサイト名では、値を取得出来ないので、こちらで取得できる、サイトとコードで対応してみました。

from bs4 import BeautifulSoup
import requests
import pandas as pd
from pandas import Series,DataFrame
import time
import numpy as np

list=range(1,13)
A = pd.DataFrame()
for i in list:
　　#url = 'http://www.aaa' + str(i) ←貴殿のサイト名では、具体的なデータを取得出来ないのでコメントアウト
    url = "https://quality-start.in/company/"  ←　貴殿のurlは不明なため、当方で用意しました。
　　このurlのなかに、ご希望の+(i)を含む、webサイトをご指定下さい。
    result = requests.get(url)
    c = result.content
    soup = BeautifulSoup(c,'html.parser')
    #summary = soup.find('div',{'class':'contentsFrame1'})←取得するデータが無いためコメントアウト
    summary = soup.find("div", class_="list-group")
    #table = summary.find_all('table') ←取得するデータに'tabel'の文字が無いためコメントアウト
    table = summary.find_all('a')
    #table = summary.findAll('a')  ←このメソッドでも動きます。
#省略
    df = pd.DataFrame(table)
    if i == 1 :
        j = '01_'
    elif i == 2:
        j = '02_'
    elif i == 3:
        j = '03_'
    elif i == 4:
        j = '04_'
    elif i == 5:
        j = '05_'
    elif i == 6:
        j = '06_'
    elif i == 7:
        j = '07_'
    elif i == 8:
        j = '08_'
    elif i == 9:
        j = '09_'
    elif i == 10:
        j = '10_'
    elif i == 11:
        j = '11_'
    elif i == 12:
        j = '12_'
    else:
        print('error')
    df.to_csv('user/'f'{j}.csv')
    #スクレイピングした結果をcsvファイルに書き出します。
#ファイル 1_.csv,2_.csv,・・・,12_.csv

その結果、

user/01_.csv
user/02_.csv
省略
user/11_.csv
user/12.csv

と,usr下に三桁の、csvファイルを作成出来ました。
数がもっと必要なら、for文で、数字に対する文字列のマトリックスを作って、それを参照して、csvを作成できれば良いのではないかと考えます。
いかがでしょうか？

Comments

[shunsuke1937]

ご回答ありがとうございます。
上記の方法で結果を得ることができました。
一番理解しやすく基本的な方法で、if分を理解することができました。
ありがとうございました。

[oasis701]

どういたしまして。
ご質問して頂き、私、勉強になりました。
今後もよろしくお願いします。