python csvファイルの集計

Question

前提・実現したいこと

お世話になります。
プログラミングの学習を始めて2週間の初心者です。
何をお伝えすればよいかまだ分からないため、必要な情報が不足していたら申し訳ありません。

pythonにてCSVファイルのデータを集計するプログラムを作成しております。

1.対象のCSVファイルの対象の列から全行の数値(正、負、0)を読み取り、
2.その数値を絶対値にして
3.閾値(30)以上のデータだけを抽出し
4.平均化して
5.1~4を繰り返して列を結合させ、
6.1つのCSVファイルに複数の列の平均値を出力するというプログラムを作成しています。

大変見苦しいプログラムかと思いますが、お力添えいただけると幸いです。

発生している問題・エラーメッセージ

平均化したデータの一部が-2147483648となります。
本来ならば1000にも満たない数字です。
うまく平均化することができる列もありますが、
いくつかのデータは-214783648となります。

該当のソースコード

import pandas as pd
import glob
from datetime import datetime as dt
from datetime import timedelta

c_list = ['列名1','列名2','列名3','列名4','列名5','列名6']

df_0 = pd.DataFrame()
for i in range(0,6):
    target = c_list[i]
    df = pd.read_csv('入力するファイル.csv',encoding= 'shift-jis')
    df = df[target].abs()
    df = df.fillna(0)
    df = df[df>=30]
    df = df.describe()['mean'].round(0)
    df = df.astype('int')
    print(target + '平均' + str(df))
    df_1 = pd.DataFrame([[int(df)]],columns=[target],index=[date])
    df_0 = pd.concat([df_0,df_1],axis=1)
    i += 1
df_0.to_csv('出力するファイル.csv'.,encoding= 'shift-jis')

試したこと

df = df[df>=30]
の行を抜くと-2147483648は出なくなりましたが、
閾値未満の数字は無視する必要があります。

よろしくお願いいたします。

補足情報（FW/ツールのバージョンなど）

python 3.9.1

Comments

[cleaner]

閾値以上かどうかは普通はif文を使うのではないでしょうか？
パイソンはそういう書き方でもいいのでしょうか？

[rererenji]

お世話になります。
ご回答いただきありがとうございます。
私がpython以外のコンピュータ言語を知らないため他との比較ができないのですが、
ifは一つのデータを比較するようなイメージでした。
回答者様がおっしゃるようにifを用いて閾値以上のデータ抽出も可能かと思いますが、
私にはその術がまだ具体的に思い浮かびませんでした。

[cleaner]

分かりました。
既に回答がついているのを見ると文法的には正しそうですね。
おそらく問題なのは閾値の処理をしたときに、閾値未満の値がどんな数値になっているかだと思います。
ppaulさんの回答はそれを解消しているようです。

[rererenji]

ご回答いただきありがとうございます。
おっしゃる通り、閾値未満のデータの処理ができていないかったようです。

Answer 1

バグを修正しました。

行のすべてのデータが30未満であれば、nanを整数にして、-214783648になります。
テストはしていませんが、だいたいこんな感じです。

import pandas as pd
import numpy as np

c_list = ['列名1','列名2','列名3','列名4','列名5','列名6']
df_all = pd.read_csv('入力するファイル.csv',encoding= 'shift-jis')

df_0 = pd.DataFrame()
for i in range(0,6):
    target = c_list[i]
    df = df_all[target].abs()
    df = df.fillna(0)
    df = df[df>=30]
    if df.shape[0] == 0:
        df = pd.Series([0], name=target, dtype='int64')
    df = df.describe()['mean'].round(0)
    df = df.astype('int')
    print(target + '平均' + str(df))
    df_1 = pd.DataFrame([[int(df)]],columns=[target])
    df_0 = pd.concat([df_0,df_1],axis=1)
df_0.to_csv('出力するファイル.csv'.,encoding= 'shift-jis')

i += 1は不要なので消してあります。
ファイルの読み込みは一回で良いのでループの外に出しました。

実行テストは以下です。

>>> import pandas as pd
>>> import io
>>>
>>> indata = '''列名1 列名2 列名3 列名4 列名5 列名6
... 10 60 30 100 300 54
... 20 70 20 200 40 50'''
>>>
>>> with io.StringIO(indata) as f:
...     df_all = pd.read_csv(f, sep=' +', engine='python')
...
>>> print(df_all)
   列名1  列名2  列名3  列名4  列名5  列名6
0   10   60   30  100  300   54
1   20   70   20  200   40   50
>>>
>>> c_list = ['列名1','列名2','列名3','列名4','列名5','列名6']
>>> #df_all = pd.read_csv('入力するファイル.csv',encoding= 'shift-jis')
>>>
>>> df_0 = pd.DataFrame()
>>> for i in range(0,6):
...     target = c_list[i]
...     df = df_all[target].abs()
...     df = df.fillna(0)
...     df = df[df>=30]
...     if df.shape[0] == 0:
...         df = pd.Series([0], name=target, dtype='int64')
...     df = df.describe()['mean'].round(0)
...     df = df.astype('int')
...     print(target + '平均' + str(df))
...     df_1 = pd.DataFrame([[int(df)]],columns=[target])
...     df_0 = pd.concat([df_0,df_1],axis=1)
...
列名1平均0
列名2平均65
列名3平均30
列名4平均150
列名5平均170
列名6平均52
>>> #    i += 1
>>> #df_0.to_csv('出力するファイル.csv'.,encoding= 'shift-jis')
>>> print(df_0)
   列名1  列名2  列名3  列名4  列名5  列名6
0    0   65   30  150  170   52

c_list = ['列名1','列名2','列名3','列名4','列名5','列名6']
はdf_allのindexを使ったほうがいいですが、それはご自分でどうぞ。

Comments

[rererenji]

ご回答いただきありがとうございました。
ご訂正いただいたプログラムにて実施したところ、値がおかしくなっていた箇所が0になりました。
ご対応いただきありがとうございました。