sqlite で複数のファイルを読込み整理する

Question

前提・実現したいこと

複数あるデータファイルを読込み込み重複している行を取り除きたいです。
また、再度実行するときテーブルに同じデータが残っている場合に同じ追加データを消去し重複箇所がないようにしたいです。

読込むデータ

#01.csv
date,text
2018-07-18,a,
2018-07-19,d,
2018-07-20,c,
2018-07-21,d,

#02.csv
date,text
2018-07-20,c,
2018-07-21,d,
2018-07-22,e,
2018-07-23,f

#03.csv
date,text
2018-07-23,f,
2018-07-24,g,
2018-07-25,h,

###行いたいこと（出力結果）

date,text
2018-07-18,a,
2018-07-19,d,
2018-07-20,c,
2018-07-21,d,
2018-07-22,e,
2018-07-23,f
2018-07-24,g,
2018-07-25,h,

該当のソースコード

import sqlite3
import glob
import pandas as pd

#file_list = []
dbname = "test_code.db"
conn = sqlite3.connect(dbname)
c = conn.cursor()

file_list = glob.glob('*.csv')
c.execute('select distinct text,date,PN from code_133222')
conn.commit()

for filename in file_list:
    df = pd.read_csv(filename) 
    df = df.to_sql("code_01", conn, if_exists="append")

    c.execute('select distinct text,date from code_01')
    conn.commit()
c.execute('SELECT * FROM code_01 ORDER BY date ASC;')
conn.commit()

select_sql = 'select * from code_01'
for row in c.execute(select_sql):
    print(row)

conn.close()

試したこと

重複データを除外して取得する
c.execute('select distinct text,date from code_01')と
時間ごとに整理する
c.execute('SELECT * FROM code_01 ORDER BY date ASC;')

が上手く扱えていないような気がするのですが、解決方法がわかりませんでした

補足情報

SQLite version 3.23.1

Answer 1

まず、このコードを複数回実行するとcode_01テーブルに行が貯まっていくのを避けるためdrop tableします。
また、途中でselect distinct～してもテーブル内容は一切変わらないので、処理をなくします。
そして、最後のselect distinct～にて重複を除いた行だけ抽出します。

import sqlite3
import glob
import pandas as pd

dbname = "test_code.db"
conn = sqlite3.connect(dbname)

# 既存テーブルは削除
c = conn.cursor()
c.execute('drop table if exists code_01;')

file_list = glob.glob('*.csv') # subに配置
for filename in file_list:
    df = pd.read_csv(filename) 
    df = df.to_sql("code_01", conn, if_exists="append") # 重複データは追加する（無視するというオプションはない…）

select_sql = 'select distinct * from code_01'
for row in c.execute(select_sql):
    print(row)
conn.close()
"""
('2018-07-18', 'a', None)
('2018-07-19', 'd', None)
('2018-07-20', 'c', None)
('2018-07-21', 'd', None)
('2018-07-22', 'e', None)
('2018-07-23', 'f', None)
('2018-07-24', 'g', None)
('2018-07-25', 'h', None)
"""

Comments

[baya]

なるほど、理解できました。
ありがとうございます