ファイル名がバラバラのCSVファイルを1つのCSVファイルに統合して書き出したい

Question

Googleのキーワードプランナーで調べた結果のCSVファイルが約250個あり、これを1つのcsvファイルにまとめたく考えております。

条件
・各ファイル、大雑把ではあるが行数は600〜1500くらいある。
・各ファイル最初の1〜3行目は統合後のファイルに反映されなくても問題はない。
・ファイル名はバラバラ (ex.「りんご.csv」「バナナ.csv」「ガッキー.csv」など)

下記URLの内容を参考にしてみたのですが、なかなか上手くいかない状況にあります。

pythonで複数のcsvファイルを1つのcsvファイルにまとめる(ヘッダーが1行だけの前提）
https://qiita.com/minamini1985/items/60047ea416cd49721cf3

import pandas as pd
import glob

# パスで指定したファイルの一覧をリスト形式で取得. （ここでは一階層下のtestファイル以下）
csv_files = glob.glob('test/*.csv')

#読み込むファイルのリストを表示
for a in csv_files:
    print(a)

#csvファイルの中身を追加していくリストを用意
data_list = []

#読み込むファイルのリストを走査
for file in csv_files:
    data_list.append(pd.read_csv(file))

#リストを全て行方向に結合
#axis=0:行方向に結合, sort
df = pd.concat(data_list, axis=0, sort=True)

df.to_csv("test/total1.csv",index=False)

念の為使用環境を記載しておきます。
・Mac OS Big Sur 11.4
・Spyder 4.1.5
・Python 3.8.1

ご教示くださいますようお願い申し上げます。

Comments

[meg_]

> 下記URLの内容を参考にしてみたのですが、なかなか上手くいかない状況にあります。
具体的にどう”上手くいかない”のでしょうか？

[hope_mucci]

上記のコードでどのような問題が発生しているのか、具体的に説明しましょう。
「なかなかうまくいかない」だけでは全く説明になっていません。
全部結合されていないのか？　処理途中でプログラムが止まってしまうのか？　発生している問題を詳細に書きましょう。説明してくれないと回答側は何も分かりません。

また、結合後のcsvファイルは入力ファイルとは別のフォルダに入れたほうがいいです。繰り返しテストした際、次回実行時にtotal1.csvも入力に含まれるので鼠算式にファイルサイズが増えてしまいます。

Answer 1

csvファイルは単なるテキストファイルですから、単にまとめたいのであれば，csvとかpandasとか複雑なことをやらずに以下で十分です。
data[-1]を見ているのは、ファイルの最後に改行文字が入っている場合と入っていない場合があるためですので、入っているかいないか分かっていれば、より簡略化できます。

import glob

csv_files = glob.glob('test/*.csv')

OUTFILE = 'total.csv'
def copy_csv(in_file, f_out):
    with open (in_file) as f_in:
        data = f_in.read()
        f_out.write(data)
        if data[-1] !=  '\n':
            f_out.write('\n')

if os.path.exists(OUTFILE):
    os.remove(OUTFILE)

with open(OUTFILE, 'a') as f_out:
    for csv_file in csv_files:
        copy_csv(csv_file, f_out)

Comments

[Azul_y_rojo_99]

教えてくださいましてありがとうございます。こちらのcodeで試してみましたが、「total.csv」というファイルがフォルダ内、出来ていたことを確認は出来ましたが、「total.csv」の中を見ると何もデータが入っていない状況にありました。自分でも原因を探ってみたのですが、分からずじまいでした。改めてご教示願えますと幸いに存じます。

[ppaul]

カレントディレクトリにtestというディレクトリがないのが原因でしょう。
import os
print(os.getcwd())
を実行して、表示されるディレクトリの下にtestをコピーするか移動するかしてください。
そのあとでもう一度プログラムを実行してみてください。

[Azul_y_rojo_99]

ご連絡ありがとうございます。

実際に教えていただいた通りに試したところ、今度は「UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte」というエラーが表記されました。

今、手元にある csvファイルがutf-16 Unicodeテキストということでしたので、utf-8に変えるまたは、utf-16のままでも結合できるようにしなくては行けないということは理解できましたが、具体的にどういうcodeをここで描いていけば良いのか、悩んでおります。

「with io.open(path, encoding='utf-16') as f:」

というcodeを入れると解決するという旨を検索して探し出してみたのですが、教えていただいたどの箇所に入れ込むべきかわからない状況にあります。大変にお手数をおかけしますが、引き続き教えてくださいますようお願い申し上げます。

[ppaul]

with io.open(in_file, encoding='utf-16') as f:
でも良いですが、
with open (in_file, encoding='utf-16') as f_in:
でも同じです。

出力側もutf-16にしたければ、
with open(OUTFILE, 'a') as f_out:
を、
with open(OUTFILE, 'a', encoding='utf-16') as f_out:
に変更してください。

[Azul_y_rojo_99]

長々とすみませんでした、ありがとうございました。こちらを参考に対応してみます。