python データ抽出 出力

Question

環境：windows10 PyCharm2021.1.3

あるフォルダ（input）にある以下のような複数のCSVファイルを読み込み
身長カラムの一定範囲の個数を取得し、
別のCSVファイルとして別フォルダ（output）へ出力したいのですがどのようにすればよろしいでしょうか？

＜元データ＞ファイル名：Aクラス
身体測定
3月1日
Aクラス
ID sex kg cm
1 男 34 134
2 男 46 121
3 男 54 110
4 男 23 126
5 女 75 164
6 女 34 131
7 女 44 121
8 女 55 151

＜出力データ＞ファイル名：Aクラス_身長
range cm
0 100-110 0
1 110-120 1
2 120-130 3
3 130-140 2

〇自分で調べたこと
・pandasのインポート
・フォルダ内のCSVのパス取得（出力時のファイル名変更に使用）→glob関数
・CSVファイルの読み込み→read.csv
・フォルダ内すべてのCSVで処理→for文
他にも条件指定による抽出、query関数やcount関数などで調べたのですが、
どのようにコードしたらよいかわからずご質問させていただきました。

何卒ご教授いただければ幸いです。
よろしくお願いいたします

◎追記

import pandas as pd

df = pd.read_csv("./A.csv",header=3)
rannge_110 = (df.query('100 <= cm < 110'))
rannge_120 = (df.query('110 <= cm < 120'))
rannge_130 = (df.query('120 <= cm < 130'))
rannge_140 = (df.query('130 <= cm < 140'))

◎追記2

import pandas as pd
import glob

file = glob.glob('input/*.csv')

df = pd.read_csv("input/A.csv", header=3)
rannge_110 = (df.query('100 <= cm < 110'))
rannge_120 = (df.query('110 <= cm < 120'))
rannge_130 = (df.query('120 <= cm < 130'))
rannge_140 = (df.query('130 <= cm < 140'))

count_110 = (len(rannge_110))
count_120 = (len(rannge_120))
count_130 = (len(rannge_130))
count_140 = (len(rannge_140))

lists = [count_110, count_120, count_130, count_140]

◎追記３（何とか一つのファイルの出力はできました）

import pandas as pd
import glob

file = glob.glob('input/*.csv')

df = pd.read_csv("input/A.csv", header=3)
rannge_110 = (df.query('100 <= cm < 110'))
rannge_120 = (df.query('110 <= cm < 120'))
rannge_130 = (df.query('120 <= cm < 130'))
rannge_140 = (df.query('130 <= cm < 140'))

count_110 = (len(rannge_110))
count_120 = (len(rannge_120))
count_130 = (len(rannge_130))
count_140 = (len(rannge_140))

cm = [count_110, count_120, count_130, count_140]
range = ["110","120","130","140"]
dict = {'range': range,'cm': cm}
df2 = pd.DataFrame(dict)
df2.to_csv('A_output.csv')

Comments

[ppaul]

何が分からないのですか？

[y_waiwai]

まずはご自分が組まれたコードを提示しましょう

[meg_]

> どのようにコードしたらよいかわからずご質問させていただきました。

コードは1行も書けていないのでしょうか？

[icepenguin]

ppaul様、
y_waiwai様
meg_様
曖昧な質問になってしまい大変申し訳ございません。
追加で今の自分ができる限りのコードを記載しました。
まずお伝えし忘れたのですが、
Pythonを始めたばかりの初心者です。
今は一つのCSVファイルを読み込んで中身を確認程度くらいしかできない状態です。

[icepenguin]

◎できないこと
・処理（queryで一定範囲を抽出し、それの個数をカウント）
・あるフォルダから複数のCSVを読み込み同じ処理をする
・処理したものを別のCSVファイルに別々に出力

[icepenguin]

至らない点が多々あり申し訳ございません。
今も検索しながら試行錯誤しているところでございます。
何卒ご教授の程宜しくお願い致します。

[icepenguin]

また、追加したコードですが
＜元データ＞の
ファイル名：Aクラス→A
カラム：身長→ｃｍ
に変更してあります。（ここら辺の読み込み設定も勉強不足で…）

[meg_]

> range count
100-110 0
110-120 1
120-130 2
130-140 2

カウント合ってますか？

[p19ljk]

とにかく自力で作ることを目的とするのであれば、dfをループして一つずつ見てカウントしていくという方法もありますが、そうではなく、そういう事はできていてもっとスマートにやりたいということでしょうかね？
練習の意味合いでしたらスマートさは捨てて、とにかく想定した結果が得られるコードを汚くてもいいので作るのがいいと思いますが。

[icepenguin]

meg_様
大変失礼いたしました。
冒頭のデータですが先ほど（修正前）のは例のデータで、自分の打ち込んだもので間違いがございました。
実際にコードで読み込んだデータ、出力できたデータに修正いたしました。

[icepenguin]

p19ljk様
今回質問に使用させていただいたデータは身体測定のデータを使用していますが、
目的といたしましては、実際に業務で機器から出力された大量のCSVファイルのデータ処理や抽出を目指しております。
今回のようにCSVファイル単体の操作は調べながらなんとかできる状態なんですが、
どうしても
・ループ処理（for）
・出力ファイル名に元のファイル名＋α(glob？)
について調べても理解が難しく躓いてしまっている状態です。
今回の最終的な目標は、
・書かせていただいたコードを
　inputフォルダ内にあるCSVファイル全てに行うこと
・出力するCSVのファイル名を元データ＋α（例：Aクラス.csv→Aクラス_処理.csv）
にすることです。

Answer 1

・csvファイルからの読み込み部分は省力しています。
⇒　カレントディレクトリのcsvファイルから読み込む処理を追記しました。
・処理結果のcsv出力部分は省力しています。

# df1
#	ID	性別	体重	身長
#0	1	男	34	134
#1	2	女	44	145
#2	3	女	46	121
#3	4	女	54	111

# df2
#	ID	性別	体重	身長
#0	5	女	23	126
#1	6	男	75	164
#2	7	男	34	131
#3	8	男	44	121
#4	9	男	55	151

df_list = [df, df2]
count = {}
for i in range(100, 140, 10):
    count[i] = 0

for d in df_list:
    for i in range(100, 140, 10):
        count[i] = count[i] + len(d.query('@i <= 身長 < @i+10'))

df3 = pd.DataFrame.from_dict(count, orient='index')
df3 = df3.reset_index()
df3.columns = ['range', 'count']
df3['range'] = df3['range'].astype(str)
df3['range'] = df3['range'].apply(lambda x: x + '-' + str(int(x)+10))
print(df3)
#	range	count
#0	100-110	0
#1	110-120	1
#2	120-130	3
#3	130-140	2

上記コードは一例です。
分からない箇所は公式ドキュメント等を参照してください。

---

【追記】

import pandas as pd
import glob

count = {}
for i in range(100, 140, 10):
    count[i] = 0

for file in glob.glob('./*.csv'):
    df = pd.read_csv(file)
    for i in range(100, 140, 10):
        count[i] = count[i] + len(df.query('@i <= 身長 < @i+10'))

Comments

[icepenguin]

ご返事遅れてしまい申し訳ございません。
globやfor分の理解度が上がりました。
また、データ抽出についても、こんなに違う形でも出せることに驚きました。
まだまだ勉強不足のようです。
わからないところを改めて一つ一つ調べてみようと思います。
この度はありがとうございました。

Answer 2

データ処理の部分は以下です。

>>> print(df)
   ID sex  kg  cm
0  1   男   34  134
1  2   男   46  121
2  3   男   54  110
3  4   男   23  126
4  5   女   75  164
5  6   女   34  131
6  7   女   44  121
7  8   女   55  151
>>> print(pd.cut(df['cm'], list(range(100,180,10)), right=False).value_counts(sort=False))
[100, 110)    0
[110, 120)    1
[120, 130)    3
[130, 140)    2
[140, 150)    0
[150, 160)    1
[160, 170)    1
Name: cm, dtype: int64

globの使い方は分かっていますか？

Comments

[icepenguin]

ご返事遅れてしまい申し訳ございません。
こんなに短いコードでも同じような結果だ出せるのですね。
まだまだ勉強不足のようです。
globやfor文の使い方はまだ理解が足りていないようです。
改めて勉強し直し、それでもわからない場合、
こちらのデータ抽出とは別でご質問させていただこうかと思います。
ベストアンサーは、いち早く回答をいただいたmeg_様にさせていただいたのですが、
ppaul様も本当にありがとうございました。
私の質問内容が悪く多くの方にご迷惑をおかけいたしました。
質問方法についても改善していこう思います。
今後ともご縁がございましたら何卒よろしくお願いいたします。