ファイルを結合し、重複を削除し、指定列の条件を満たすデータ数を数えたい。

Question

前提

ディレクトリの中に同じフォーマットのtsvファイルがあります。1行目にヘッダーがあり、2行目からデータが続いていくような一般的なフォーマットです。Pythonで処理を行っています。

実現したいこと

Pythonで、

ディレクトリにある同じ名前のファイルを取り出す。
↓
同じ名前のファイルを縦方向に結合させる。（1行目のヘッダーは残し、2行目以降は結合元のヘッダーは入れない）
↓
結合したファイルを参照し、ある指定列で重複しているデータがあれば余分な行を削除し一行のみにする
↓
重複がなくなったデータを参照し、別のある指定列において特定の条件を満たすデータ数を数える。

を行いたいです。

発生している問題・エラーメッセージ

現在、このエラーが出ます。

KeyError: Index(['app_num'], dtype='object')

app_numは重複を確認して削除する際に参照する行のヘッダーです。

また、

#重複を確認
ic.duplicated()

#重複を削除
sindf = ic.drop_duplicates()

ここの引数を入れずに走らせると、以下のエラーが出ました。

KeyError: 'acai_app_dt'

一番下にこのKeyErrorが出ます。これはある指定列のヘッダーの名前です。ソースコードの一番下の3行に書いてあります。どこで、そしてなぜヘッダーが消えて？しまったのでしょうか。

該当のソースコード

import os
import pandas as pd
import glob

os.chdir(r"C:\case study\after defrost") #目的ファイルのディレクトリがあるパス

# パスで指定したファイルの一覧をリスト形式で取得. 
tsv_files = glob.glob('*/JPWAP/upd_pmac_g_app_case.tsv')

#読み込むファイルのリストを表示
for a in tsv_files:
    print(a)

#csvファイルの中身を追加していくリストを用意
data_list = []

#読み込むファイルのリストを走査
for file in tsv_files:
    data_list.append(pd.read_csv(file,delimiter='\t'))

#リストを全て結合
cn = pd.concat(data_list)

cn.to_csv("connected.tsv")

hoge = pd.read_csv('connected.tsv',delimiter='\t')

# データフレーム型に格納
ic = pd.DataFrame(hoge)

#重複を確認
ic.duplicated('app_num')

#重複を削除
sindf = ic.drop_duplicates('app_num')


# CSVで保存
sindf.to_csv('upd_pmac_g_app_case.tsv', encoding='utf-8-sig')

df= pd.read_csv('upd_pmac_g_app_case.tsv',delimiter='\t') 
apdt = ((df['acai_app_dt'] >= 20200701) & (df['acai_app_dt'] <=20200731)).sum()  #任意の列において、ある範囲にある数値が何個あるか数える。
print('num_data='+str(apdt))  #各ファイルで条件を満たすものがどれだけあるかを計算

試したこと

結合や重複の際に使った関数にオプションの引数を入れたり抜いたりしましたが、変わりませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[TakaiY]

エラーメッセージは最後だけでなく、全て提示してください。発生箇所や発生理由などの重要な情報がそこに書いてありますので。

[Crimson_Tide]

duplicated
https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.duplicated.html
drop_duplicates
https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.drop_duplicates.html

リファレンス見る限り引数に('app_num')という指定の仕方はできなさそうですが、何を参考にされたのでしょうか？

Answer 1

すべてコードを追っていませんが、以下のところで一度ファイルに書き出して、読込み直してますが、書くときにはカンマ区切りになっているはずなので、読むときに「\t」を設定してしまうと、 1行になってしまうのではないかと。

cn = pd.concat(data_list)
cn.to_csv("connected.tsv")
hoge = pd.read_csv('connected.tsv',delimiter='\t')

このあたりで、 cnの 内容・hogeの内容・connected.tsvファイルの内容を確認すればわかるのではないかと。

ちなみに、なぜ読み直してるんですか？