Pythonにてcsvファイルの重複した際に、余計なインデックスが列として振られる

Question

前提

Pythonにて、複数あるcsvを連結し、重複を削除したcsvを出力しましたが、１列目に余計なインデックスが列として振られます。

※私が書いたコードでは、csvを処理するためにpandasではなくdaskというライブラリを使用しています。
理由として、実際に取り扱うcsvは容量が多く、処理が終わらないため、高速処理を行えるdaskを利用しています。
使用感は、ほとんどpandasと変わらないです。

実現したいこと

①指定したフォルダ内のcsvを一つずつ結合し、指定した列以外で重複したものがあれば削除していく
②①で重複を削除したものを新たに保存

しかし、②で作成csvファイルの１列目に余計なものが追記される。

発生している問題・エラーメッセージ

以下が、重複を削除したcsvファイルの一例です。
１列目にラベル名がないインデックスがあります。

#result_1.csv
,共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
0,1,10,111,1111111,a
1,2,20,222,2222222,b
2,3,30,333,3333333,c
3,4,40,444,4444444,d
4,9,90,999,9999999,nine
5,1994,90,999,9999999,nine
6,1995,90,999,9999999,nine

上記のように、１列目にいらない列がインデックスとして振られています。
これが出ないようにしたいです。

またフォルダの構造は、
・
└── sabun_data
│ 　　　      ├── output_data
│                    ├── result_0TEST_BASICB.csv
│ 　　　              ├── result_1.csv
│ 　　　              ├── result_2.csv
│ 　　　              └── result_3.csv│ 　　
├── 0TEST_BASICB.csv
├── 1.csv
├── 2.csv
└── 3.csv
・shitsumon.py
・header.csv

該当のソースコード

# coding: shift-jis

from email import header
import dask.dataframe as dd
import os
import glob


# テキストの内容を配列に入れる（ヘッダーを加える。）
with open('header.txt', 'r') as f:
    label_list = f.read().split("\n")
    print(label_list)
    print(len(label_list))

# ==========================================================================================

# フォルダ内）のcsvを一気に結合し、重複を削除
# 最初に、「df_concat」にヘッダーのみ記載のcsvファイルを保持しておく
df_concat = dd.read_csv("header.csv", encoding='CP932')
os.chdir('./sabun_data./')


for i in glob.glob("*.csv*"):
    
    tmp = dd.read_csv(i, encoding='CP932')
    # どのファイルを結合したかを以下のprint文にて記載
    print(str(i)+"を結合しました。")
    # ファイルを一つずつ読み取り、結合する。
    df_concat = dd.concat([df_concat, tmp])
    
    # 結合したものから重複削除
    df_concat = df_concat.drop_duplicates(subset=['共通商品コード','メーカープライベートコード','メーカーコード'], keep='last').reset_index(drop=True)
    print("結合し、重複削除したものの件数は"+str(len(df_concat))+"件です。")

    # 重複削除したものをフォルダ「output_data」に保存
    df_concat.to_csv("./output_data./result_"+str(i), single_file = True, encoding='CP932')

# ==============================================================
# 0TEST_BASICB.csv
共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
1,10,111,1111111,a

#1.csv
共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
1,10,111,1111111,a
2,20,222,2222222,b
3,30,333,3333333,c
4,40,444,4444444,d
9,90,999,9999999,nine
1994,90,999,9999999,nine
1995,90,999,9999999,nine

#2.csv
共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
1,10,111,9999999,aaaaaa
5,50,555,5555555,e
1,100,1111,1234567,x
2,20,9876,01010101,b
3,3030,333,3333333,c
3,30,333,3333333,xxxxxxxxxx
1,10,111,12121212,new_first

#3.csv
共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
1,10,111,1111111,a
3,30,333,3333333,c
4,40,444,4444444,d
9,90,999,9999999,nine
1993,90,999,9999999,nine


# ==============================================================
# result_0TEST_BASICB.csv
,共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
0,1,10,111,1111111,a

# result_1.csv
,共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
0,1,10,111,1111111,a
1,2,20,222,2222222,b
2,3,30,333,3333333,c
3,4,40,444,4444444,d
4,9,90,999,9999999,nine
5,1994,90,999,9999999,nine
6,1995,90,999,9999999,nine


# result_2.csv
,共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
0,2,20,222,2222222,b
1,4,40,444,4444444,d
2,9,90,999,9999999,nine
3,1994,90,999,9999999,nine
4,1995,90,999,9999999,nine
5,5,50,555,5555555,e
6,1,100,1111,1234567,x
7,2,20,9876,1010101,b
8,3,3030,333,3333333,c
9,3,30,333,3333333,xxxxxxxxxx
10,1,10,111,12121212,new_first

# result_3.csv
,共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字
0,2,20,222,2222222,b
1,1994,90,999,9999999,nine
2,1995,90,999,9999999,nine
3,5,50,555,5555555,e
4,1,100,1111,1234567,x
5,2,20,9876,1010101,b
6,3,3030,333,3333333,c
7,1,10,111,1111111,a
8,3,30,333,3333333,c
9,4,40,444,4444444,d
10,9,90,999,9999999,nine
11,1993,90,999,9999999,nine

#header.csv
共通商品コード,メーカープライベートコード,メーカーコード,JANコード,半角50文字

Answer 1

余計なものがインデックスのことであるなら、to_csvでindex=Falseを指定すればよいです。

Comments

[green2021]

ありがとうございます。
to_csvの初歩的な部分を見落としていました。
自分の未熟さを実感しました、、、