Pythonで複数のファイルを読み込んで足し合わせたいです。

Question

前提・実現したいこと

以前にも同じような質問をしたのですが、物理学の研究で、時間に対する電圧の変化をデータで測定しました。その電圧の平均的な時間変化を求めたいです。
前回の質問の際は自分で練習用にcsvを作りましたが、今回は実験で取ったデータを解析したところエラーがでました。

～やりたいこと～
Python3でpandasを用いて複数のファイルを読み込んで、その右側の配列を結合します。そして列ごとの合計で列ごとの各要素を割ることで電圧を正規化し、それを同じ時間で足すことにより平均的な時間変化を求めています。その結果を新しいファイルに書き込みたいです。
下は適当に３つのCSVファイルを作り、実行した際の過程です。

３つのファイルの電圧変化を結合させた
      0   1   2
0
0.1  17  10  16
0.2  18  10  15
0.3  10  10  14
0.4  22  10  13
0.5  26  10  12

列ごとの合計を出す
0    93
1    50
2    70
dtype: int64

合計で要素を割る
            0    1         2
0
0.1  0.182796  0.2  0.228571
0.2  0.193548  0.2  0.214286
0.3  0.107527  0.2  0.200000
0.4  0.236559  0.2  0.185714
0.5  0.279570  0.2  0.171429

足し合わせる
0
0.1    0.611367
0.2    0.607834
0.3    0.507527
0.4    0.622273
0.5    0.650998

発生している問題・エラーメッセージ

panda5.py:13: ParserWarning: Falling back to the 'python' engine because the 'c' engine does not support skipfooter; you can avoid this warning by specifying engine='python'.
  df = pd.read_csv(filename, skiprows=[0,249], skipfooter=249, names = col_names, delimiter=" ", index_col=0)
Traceback (most recent call last):
  File "panda5.py", line 21, in <module>
    df_pr = df.apply(lambda li:li/sum(li))
  File "/home/usr/.local/lib/python3.6/site-packages/pandas/core/frame.py", line 6878, in apply
    return op.get_result()
  File "/home/usr/.local/lib/python3.6/site-packages/pandas/core/apply.py", line 186, in get_result
    return self.apply_standard()
  File "/home/usr/.local/lib/python3.6/site-packages/pandas/core/apply.py", line 296, in apply_standard
    values, self.f, axis=self.axis, dummy=dummy, labels=labels
  File "pandas/_libs/reduction.pyx", line 620, in pandas._libs.reduction.compute_reduction
  File "pandas/_libs/reduction.pyx", line 128, in pandas._libs.reduction.Reducer.get_result
  File "panda5.py", line 21, in <lambda>
    df_pr = df.apply(lambda li:li/sum(li))
TypeError: unsupported operand type(s) for +: 'int' and 'str'

###読み込みたいファイル
はじめの0249行を飛ばして、2502250行を読み込み、2251~2499行を無視したいです。

Record Length,2.500000e+03,,  -0.000025000000,   0.00000,
Sample Interval,1.000000e-07,,  -0.000024900000,   0.00800,
Trigger Point,2.500000000000e+02,,  -0.000024800000,   0.00000,
,,,  -0.000024700000,   0.00000,
,,,  -0.000024600000,   0.01600,
,,,  -0.000024500000,   0.01600,
　　　　　　　　︙
,,,-00.000000200000,   0.00800,
,,,-00.000000100000,  -0.00800,
,,,-00.000000000000,  -0.00800,
,,,00.000000100000,   0.00000,
,,,00.000000200000,   0.00800,
　　　　　　　　︙
,,,00.000224700000,   0.00000,
,,,00.000224800000,   0.00800,
,,,00.000224900000,   0.01600,

該当のソースコード

panda5.pyと名前を付けてます。

import pandas as pd
import glob
import csv

adf = glob.glob("TEK*.CSV")
li = []
for filename in adf:
    col_names = ["c{0:02d}".format(i) for i in range(10)]
    df = pd.read_csv(filename, skiprows=[0,249], skipfooter=249, names = col_names, delimiter=" ", index_col=0)
    li.append(df)

df = pd.concat(li, axis=1, ignore_index=True)
#print(df)

#print(df.sum())
df_pr = df.apply(lambda li:li/sum(li))
#print(df_pr)

result = df_pr.sum(axis=1)
#print(result)
result.to_csv("demo_result.csv")

試したこと

5行程度のCSVファイルを自分で作って、下のソースコードを実行したときは問題なくできました。

import pandas as pd
import glob
import csv

adf = glob.glob("demo*.dat") 
li = []
for filename in adf:
    df = pd.read_csv(filename, skiprows=[0,1], skipfooter=1, header=None, delimiter=" ", index_col=0)

df = pd.concat(li, axis=1, ignore_index=True)
df_pr = df.apply(lambda li:li/sum(li))

result = df_pr.sum(axis=1)
result.to_csv("demo_result.csv")

補足情報（FW/ツールのバージョンなど）

ubuntu：18.04
Python：3.6.9
pandas：1.0.3

Answer 1

下記エラーは文字列と数値を計算しようとして出ているエラーです。
TypeError: unsupported operand type(s) for +: 'int' and 'str'

【OKの例】

df2 = pd.DataFrame({'A':[1,2,3,4,5],'B':[6,7,8,9,10]})
#   A   B
#0  1   6
#1  2   7
#2  3   8
#3  4   9
#4  5  10

df2.apply(lambda x:x/sum(x))
#          A      B
#0  0.066667  0.150
#1  0.133333  0.175
#2  0.200000  0.200
#3  0.266667  0.225
#4  0.333333  0.250

【NGの例】
df = pd.DataFrame({'A':[1,2,3,4,5],'B':[6,7,8,9,'a']})
#   A  B
#0  1  6
#1  2  7
#2  3  8
#3  4  9
#4  5  a

df.apply(lambda x:x/sum(x))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ("unsupported operand type(s) for +: 'int' and 'str'", 'occurred at index B')

データのどこかに数値以外のデータがないか確認してください。

---

【追記】

print(df)
#   0.1   43.2  Unnamed: 2
#0  0.2   41.1         NaN
#1  0.3   38.7         NaN
#2  0.4   34.4         NaN
#3  0.5   29.9         NaN

print(df.apply(lambda x:x/sum(x)))
#        0.1      43.2  Unnamed: 2
#0  0.142857  0.285219         NaN
#1  0.214286  0.268563         NaN
#2  0.285714  0.238723         NaN
#3  0.357143  0.207495         NaN

Comments

[happy_boy]

回答ありがとうございます。
自作のCSVファイルで確認してみたところ2つ目の数字の後ろにあるカンマが邪魔ものらしいです。
1つ目の数値の前にあるコンマ３つは問題なさそうでした。
これを取り除く方法はありますか？

[meg_]

データの先頭部分にある文字列（Record Length等）がエラーの原因ではないでしょうか？
「Record Length,2.500000e+03,, -0.000025000000, 0.00000,
Sample Interval,1.000000e-07,, -0.000024900000, 0.00800,
Trigger Point,2.500000000000e+02,, -0.000024800000, 0.00000,」

「1,,2」などのデータをpandas.DataFrameで読み込むと「1,Nan,2」となるので問題ないはずです。
但し、Nanデータがあるとdf.apply(lambda x:x/sum(x))の計算結果もNanになってしまうので、Nanに対する処理は別途必要かと思います。

[happy_boy]

先頭の文字列のせいで、以降の数値が文字列として認識しているということですか？

言葉足らずですみません。
先ほど試してみたところ、
,,,0.1, 43.2
,,,0.2, 41.1
,,,0.3, 38.7
,,,0.4, 34.4
,,,0.5, 29.9
というファイルに対しては、ソースコードは実行できたのですが
0.1, 43.2,
0.2, 41.1,
0.3, 38.7,
0.4, 34.4,
0.5, 29.9,
というファイルに対しては、質問と同じように
TypeError: unsupported operand type(s) for +: 'int' and 'str'
というエラーが出てきました。したがって、エラーの一因として 43.2, のカンマ部分が数字と一緒に読み取られてしまい、文字列として認識しているのではないかと推測しました。
そこで、どうにか一番最後のカンマを消す方法がないかなと思っています。

[meg_]

上記データで試してみました。回答に追記しましたので見てください。（3列目のデータが「Nan」になっています）

※念のためpandasのバージョンも教えてください

[happy_boy]

pd.read_csvの
delimiter=" "
部分を
delimiter=" ,"
にしたら読み込むようにはなったのですが、まだ同じエラーメッセージが出ました。

pandasは1.0.3です。

[meg_]

delimiter=" "の指定をしていたのですね。そこ、見ていませんでした。
元々その区切りで読み込んでいたということは、最後の「,」の後ろにも" "がいるのでしょうか？？

df.dtypesでどんな情報が表示されますか？

[happy_boy]

dtype: float64
となります。
ファイルの保存形式が
,,, 数値, 数値,
となっているせいでindexがNaN基準になっているので色々変な値になってしまっています。

[meg_]

最初の3列はデータがないようなので、この3列はdropすれば良いでしょう。
「250~2250行」のみ使いたいとのことなので、dfからloc関数などで抽出すれば良いです。

dtypeについてですが「dtype: float64」というのは、dfの全ての列の型が「float64」ですか？データの頭には文字列があったはずですが削除したんでしょうか？文字列が含まれていればobject型と表示されるはずなのですが。

確認したいので、print(df.head())とprint(df.dtypes)の結果を質問に追記してもらえませんか？
※本当にdfの型が「dtype: float64」であればそもそもTypeError出ないんですよね。

[happy_boy]

質問の意図をくみ取れなくて申し訳ないです。
実行結果をそのまま貼り付けます。

<bound method NDFrame.head of 1 2 3 4 5
0
Record Length 2.500000e+03 NaN -0.000025 0.000 NaN
Sample Interval 1.000000e-07 NaN -0.000025 0.008 NaN
Trigger Point 2.500000000000e+02 NaN -0.000025 0.000 NaN
NaN NaN NaN -0.000025 0.000 NaN
NaN NaN NaN -0.000025 0.016 NaN
... ... .. ... ... ..
NaN NaN NaN 0.000225 0.008 NaN
NaN NaN NaN 0.000225 0.000 NaN
NaN NaN NaN 0.000225 0.000 NaN
NaN NaN NaN 0.000225 0.008 NaN
NaN NaN NaN 0.000225 0.016 NaN

[2500 rows x 5 columns]>
1 object
2 float64
3 float64
4 float64
5 float64
dtype: object

[happy_boy]

自分なりに考えた結果、エラーコード出さずに実行できたので載せておきます。
迅速で丁寧な対応、心から感謝いたします。
何かご指摘等あればいただけると幸いです。

Answer 2

以下のように修正してみてはどうでしょう。

df = pd.read_csv(filename, skiprows=list(range(0,250)), skipfooter=249, names = col_names, delimiter=" ", index_col=0, engine='python')

とりあえずの修正箇所は、skiprows に list(range(0,250)) を与えることで [0,1,...,249] にしています。

【追記】
とりあえず、エラーを避けるため、engine='python'を追加しました。

Comments

[happy_boy]

お早い回答ありがとうございます。
修正致しましたが、エラーメッセージが出ました。

```
panda5.py:13: ParserWarning: Falling back to the 'python' engine because the 'c' engine does not support skipfooter; you can avoid this warning by specifying engine='python'.
df = pd.read_csv(filename, skiprows=list(range(0,250)), skipfooter=249, names = col_names, delimiter=" ", index_col=0)
Traceback (most recent call last):
File "panda5.py", line 21, in <module>
df_pr = df.apply(lambda li:li/sum(li))
File "/home/mshibata/.local/lib/python3.6/site-packages/pandas/core/frame.py", line 6878, in apply
return op.get_result()
File "/home/mshibata/.local/lib/python3.6/site-packages/pandas/core/apply.py", line 186, in get_result
return self.apply_standard()
File "/home/mshibata/.local/lib/python3.6/site-packages/pandas/core/apply.py", line 313, in apply_standard
results, res_index = self.apply_series_generator()
File "/home/mshibata/.local/lib/python3.6/site-packages/pandas/core/apply.py", line 341, in apply_series_generator
results[i] = self.f(v)
File "panda5.py", line 21, in <lambda>
df_pr = df.apply(lambda li:li/sum(li))
TypeError: unsupported operand type(s) for +: 'int' and 'str'
```
int型とstr型が混ざっていてエラーが発生しているよということなんですかね？

[Yasumichi]

skipfooter がまずそうですね。

[Yasumichi]

pandasでcsv/tsvファイル読み込み（read_csv, read_table） | note.nkmk.me
https://note.nkmk.me/python-pandas-read-csv-tsv/

の「引数skipfooter」において、以下の記述があります。

> 環境によっては以下のようなWarningが出るので、引数engine='python'を指定する。

[happy_boy]

回答ありがとうございます。
自作のCSVファイルで確認してみたところ2つ目の数字の後ろにあるカンマが邪魔ものらしいです。
1つ目の数値の前にあるコンマ３つは問題なさそうでした。
これを取り除く方法はありますか？

[Yasumichi]

意図をつかめてないかもしれませんが。

pandasで要素、行、列に関数を適用するmap, applymap, apply | note.nkmk.me
https://note.nkmk.me/python-pandas-map-applymap-apply/

において、「DataFrameの特定の行・列の要素に適用」のところで以下のような説明があります。

> DataFrameの特定の行・列の要素にのみ関数を適用するメソッドはないので、
>
> 行・列を選択し、Seriesとしてmap()またはapply()で関数を適用
> 元の行・列に代入して上書き
>
> という処理を行う。

[happy_boy]

自分なりに考えた結果、エラーコード出さずに実行できたので載せておきます。
迅速で丁寧な対応、心から感謝いたします。
何かご指摘等あればいただけると幸いです。

Answer 3

お二方とも、ご質問に丁寧に、素早くお答えいただきありがとうございます。
自分なりに頑張ってみたところ、結果があっているかはわかりませんが、エラーが出ずに処理できたのでそのソースコードを載せておきます。

import pandas as pd
import glob
import csv

adf = glob.glob("TEK*.CSV")  
li = []
for filename in adf:
    df = pd.read_csv(filename, names=("0","1","2","3","4","5"))
    df3 = df.set_index("3")
    df2 = df3.iloc[250:2250]
    #df1 = df2.dropna(how="all", axis=1)
    df1 = df2.drop(df.columns[[0,1,2,5]], axis=1)
    li.append(df1)

df1 = pd.concat(li, axis=1, ignore_index=True)
df_pr = df1.apply(lambda li:li/sum(abs(li)))

result = df_pr.sum(axis=1)
result.to_csv("result2.dat", header=None, sep=" ")

読み込みたい全てのファイルにおいて、6列あり、4列目をindexとして5列目を足し合わせたかったです。
そのため、column名を勝手に割り振り、4列目をindexにしました。
次に、250~2250行で十分でしたので、教えていただいたようにilocで使いたい行を指定しました。
また、その他の列がご指摘の通りobjectだったりNaNしかなかったりと不要なものばかりでしたので無視させました。

そのほかの点は大幅な変更はありませんが、ファイルの書き込みをdatにしました。
for文の中はもう少し簡素に描くことができるのではないかと思っておりますが、私の力では今のところこれが精いっぱいです。

しばらくの間は解決済みにしないので、何かご指摘等あればいただけると幸いです。