pythonにおいて、テキストファイルからリストを作成する時間を短縮したい

Question

やりたいこと

ファイルからテキストを読んで各1行を複数要素に分割しリストを作成しているが
処理時間の短縮を図りたい。

　　
Textファイルの内容 (実際の1行はもっと長く数万行ある）
1000000000 11111 2222233333
2000000000 22222 3333344444

求めたいリスト
[[[1000000000],[11111],[22222],[33333]],[[2000000000],[22222],[33333],[44444]]]

該当のソースコード

    with open(fname) as f:
        data = f.readlines()
    data_list =[]
    for str in data:
        d = [str[1:11].strip(),str[11:19].strip(),str[19:29].strip(),str[29:34].strip()]
        data_list += d

Comments

[meg_]

作成したリストをその後どう使われるのか分かりませんが、pandasの使用を検討されてはいかがでしょうか？

Answer 1

Pandasで加工する例です。数万行程度なら時間はほぼかからないと思います。

コメントをうけて

固定長フォーマットであればpandas.read_fwfを使うと一発で読めます。

import pandas as pd

# テストデータ
from io import StringIO
s = """1000000000111112222233333
2000000000222223333344444"""
df = pd.read_fwf( StringIO(s), header=None, widths=[10,5,5,5])
data_list = df.values.tolist()
print(data_list)
# [[1000000000, 11111, 22222, 33333], [2000000000, 22222, 33333, 44444]]

以前の回答

import pandas as pd

# テストデータ
from io import StringIO
s = """1000000000\t11111\t2222233333
2000000000\t22222\t3333344444"""
df = pd.read_csv( StringIO(s), header=None, delimiter='\t', dtype=str)

df[3] = df[2].str[5:]
df[2] = df[2].str[:5]
data_list = df.values.astype(int).tolist()
print(data_list)
# [[1000000000, 11111, 22222, 33333], [2000000000, 22222, 33333, 44444]]

Comments

[f-ym]

回答ありがとうございます。
質問が分かりにくかったようで申し訳ありません。
与えるTEXTファイルは、
'1000000000 11111 2222233333\n’
’2000000000 22222 3333344444\n’
　　　　　　・
　　　　　　・
各行10桁,8桁,10桁,5桁の長さでデータが入っており、
区切り文字は入っていません。

[8524ba23]

提示例と説明に相違があるように思えます。
各行は「1000000000111112222233333」で「10桁5桁10桁」ではないでしょうか？
ようは固定長区切りフォーマットということでしょうか？

[f-ym]

再度の回答ありがとうございます。
ご指摘の通り固定長区切りフォーマットですね。
pandas.read_fwfを使用して大幅な処理時間の短縮が図れました。
ありがとうございました。
提示例は, スペースも数えて10桁,8桁,10桁,5桁で掲載したはずなのですが, 表示はスペースが1個しかないですね。すいませんでした。

Answer 2

from io import StringIO

fp = StringIO('''\
1000000000   11111     2222233333 
2000000000   22222     3333344444
''')

data_list = [*map(lambda l: [[s] for s in l.split()], fp)]
print(data_list)

Answer 3

回答例中の入力の準備はYouheiSakuraiさんと共通にさせて頂きました。

from io import StringIO

fp = StringIO('''\
1000000000   11111     2222233333 
2000000000   22222     3333344444
''')

def convert(string):
    tmp = string.split()
    return tmp[:2] + [tmp[2][:5],tmp[2][5:]]

ans = [convert(s) for s in fp]
print(ans)
# [['1000000000', '11111', '22222', '33333'], ['2000000000', '22222', '33333', '44444']]

Comments

[f-ym]

回答ありがとうございます。
質問が分かりにくかったようで申し訳ありません。
与えるTEXTファイルは、
'1000000000 11111 2222233333\n’
’2000000000 22222 3333344444\n’
　　　　　　・
　　　　　　・
各行10桁,8桁,10桁,5桁の長さでデータが入っており、
区切り文字は入っていません。