前提・実現したいこと
複数あるデータファイルを読込み込み重複している行を取り除きたいです。
また、再度実行するときテーブルに同じデータが残っている場合に同じ追加データを消去し重複箇所がないようにしたいです。
読込むデータ
#01.csv date,text 2018-07-18,a, 2018-07-19,d, 2018-07-20,c, 2018-07-21,d, #02.csv date,text 2018-07-20,c, 2018-07-21,d, 2018-07-22,e, 2018-07-23,f #03.csv date,text 2018-07-23,f, 2018-07-24,g, 2018-07-25,h,
###行いたいこと(出力結果)
date,text 2018-07-18,a, 2018-07-19,d, 2018-07-20,c, 2018-07-21,d, 2018-07-22,e, 2018-07-23,f 2018-07-24,g, 2018-07-25,h,
該当のソースコード
python3
1import sqlite3 2import glob 3import pandas as pd 4 5#file_list = [] 6dbname = "test_code.db" 7conn = sqlite3.connect(dbname) 8c = conn.cursor() 9 10file_list = glob.glob('*.csv') 11c.execute('select distinct text,date,PN from code_133222') 12conn.commit() 13 14for filename in file_list: 15 df = pd.read_csv(filename) 16 df = df.to_sql("code_01", conn, if_exists="append") 17 18 c.execute('select distinct text,date from code_01') 19 conn.commit() 20c.execute('SELECT * FROM code_01 ORDER BY date ASC;') 21conn.commit() 22 23select_sql = 'select * from code_01' 24for row in c.execute(select_sql): 25 print(row) 26 27conn.close() 28
試したこと
重複データを除外して取得する
c.execute('select distinct text,date from code_01')と
時間ごとに整理する
c.execute('SELECT * FROM code_01 ORDER BY date ASC;')
が上手く扱えていないような気がするのですが、解決方法がわかりませんでした
補足情報
SQLite version 3.23.1
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/12/01 11:46