pandasの処理時間短縮

Question

前提・実現したいこと

pandasの処理時間を短縮したいです。

発生している問題・エラーメッセージ

for文を使わずにmap関数を使う事で短縮できるとネットで見かけましたが、実装方法がわからず悩んでおります。又、map関数以外でも良い方法がありましたらアドバイスを頂けないでしょうか。よろしくお願い致します。

該当のソースコード

↓sample.csvから必要項目を取得し、一つのデータフレームにまとめている。

import csv
import pandas as pd
import re
import traceback

# sample.csvは実際は数千個あります
csv_list = [ "sample.csv", "sample.csv", "sample.csv"]

columns = ['date', 'code', 'market', 'industry', 'name', 'start', "end", "low", "high", "volume"]
df = pd.DataFrame(columns=columns)

array = []
count = 1

for i in csv_list:
    csv = pd.read_csv(i, encoding='cp932',index_col=None)
    for i in range(len(csv)-1):
        try:
            title = csv.columns[0]
            # date
            date = csv.index[count]
            # code
            code = title[:4]
            # market
            market = ""
            if "東証1部" in title:
                market = "東証1部"
            elif "東証2部" in title:
                market = "東証2部"
            elif "マザーズ" in title:
                market = "マザーズ"
            elif "JQ" in title:
                market = "ジャスダック"
            elif "東証ETF" in title:
                market = "東証ETF"
            # industry
            industry_pattern = r"\（.*"
            industry_text = str(title)
            industry_matchobj = re.search(industry_pattern, industry_text)
            industry = industry_matchobj.group()[1:-1]
            # name
            name_pattern = r"(.*\（"
            name_text = str(title)
            name_matchobj = re.search(name_pattern, name_text)
            if name_matchobj is None:
                name = title.split(" ")[2]
            else:
                name = name_matchobj.group()[:-1]
            # start
            start = csv.iloc[count, 0]
            # end
            end = csv.iloc[count, 1]
            # low
            low = csv.iloc[count, 2]
            # high
            high = csv.iloc[count, 3]
            # volume
            volume = csv.iloc[count, 4]
            # df
            array.extend([date, code, market, industry, name, start, end, low, high, volume])
            series = pd.Series(array, index=df.columns)
            df = df.append(series, ignore_index=True)
            count += 1
            array = []
        except Exception as e:
            print(traceback.format_exc())
            break
    # count初期化
    count = 1

↓sample.csv
(書式は全ファイル同様で行数、セルの値のみが各々のファイルで異なっております)
sample.csv 例1

sample.csv 例2

sample.csv 例3

処理後のデータフレーム
](ad95200e5a6b5d1d2e90777b5db6d9c8.png)

補足情報（FW/ツールのバージョンなど）

python3
pandas

Comments

[hayataka2049]

csvファイルはエクセルのスクショではなくテキストフォーマットに差し替えておいてください。数千個とはいいませんが、2つか3つ示してください。

[meg_]

処理後のデータフレームも見せてください。

[stsyco]

追記致しました。不備がありましたらご指摘ください。
よろしくお願い致します。

Answer 1

このような方法もあります。
※sample.csv 例1で試してみましたので、実際のデータでは不具合が発生するかもしれません。
※列名の順番は適当です。必要であればそちらで並べ替えてください。

import pandas as pd
import re

df_title = pd.read_csv('test79.csv', header=None, nrows=1)

s = df_title[0].values.tolist()[0].split(' ')
code = s[0]

if "東証1部" in s[1]:
    market = "東証1部"
elif "東証2部" in s[1]:
    market = "東証2部"
elif "マザーズ" in s[1]:
    market = "マザーズ"
elif "JQ" in s[1]:
    market = "ジャスダック"
elif "東証ETF" in s[1]:
    market = "東証ETF"

industry_pattern = r"\（.*"
industry_text = str(s[2])
industry_matchobj = re.search(industry_pattern, industry_text)
industry = industry_matchobj.group()[1:-1]

df = pd.read_csv('test79.csv', skiprows=1)
df['code'] = code
df['market'] = market
df['industry'] = industry
df['name'] = s[2]

df = df.rename(columns={'日付':'date','始値':'start','高値':'high','安値':'low','終値':'end','出来高':'volume'})
df = df.drop('終値調整値', axis=1)

forループを使用する場合でも、「code、market、industry、name」は1回の処理でOKですので無駄にループ処理しないようにしましょう。

Comments

[stsyco]

アドバイス頂き誠に有り難う御座います。
csvの書式に合わせ2回に分け読み込む点、不用意にforループしない点大変参考になりました。