Python 大きいデータから特定のものを抽出

Question

前提

ここに質問の内容を詳しく書いてください。
Pythonでsalesデータの処理をしています。
データの形式はcsvファイルで、11.7GBと大きいです。
また、顧客データもそこにくっつけたいです。

実現したいこと

ある年度以降のデータのみ抽出して処理したいのですが、データをまず全部読み込むことができないため苦戦しています。
理想としては、
１．ある年度以降のデータのみ抽出して新しいファイル作成
２．同じ時期以降の顧客データを１にくっつける

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

ソースコード

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[TakaiY]

質問にはコードもデータのサンプルも無いので手法についての回答が付いてますが、いきなりプログラムのエラーメッセージを出されても対応できません。

- 書いてみたコードがあるのであれば。
- 実際のデータのサンプルを提示しましょう。 実データとくっつけたい顧客データ。
- どのような出力/結果が欲しいのかの内容。
あたりを、質問に追記していただけますか。

[meg_]

> データをまず全部読み込むことができないため苦戦しています。
データが小さければ処理自体はできる（抽出するコードは書ける）ということで良いですね？

Answer 1

全部読み込まずとも、テキストファイルとして１行読み込み、それをCSVとして変換し、処理する、ってのでどうでしょう

Comments

[Cherry]

テキストファイルとして読み込んだ後に、必要なデータを抽出し、それをcsvに変換するということでしょうか？

[y_waiwai]

CSVファイルってのは基本テキストファイルなので、１行づつ、あるいは一定行数づつ読むってのはできるでしょう
そうやってファイルが尽きるまで、読み込み＞処理を繰り返せばいいかと

[Cherry]

charmap' codec can't decode byte 0x8d in position 772: character maps to <undefined>
というエラーが出てしまいました

[Cherry]

試してみたコードはこちらです。

import csv
#csvファイルを指定
Sales = "C:/Users/sakur/OneDrive/ドキュメント/卒業研究/sales_data (1).csv"

#csvファイルを読み込み
rows = []
with open(Sales) as f:
reader = csv.reader(f)
for row in reader:
rows.append(row)

[y_waiwai]

文字コードがあってないというエラーなんで、Shiftjisでも指定してみては

Answer 2

※日付が順番に並んでる場合に限ります
とりあえず方法はいくつか見つかったので提案とサイトの紹介を。
方法1：chunksizeでファイルを分割して読み込む→指定年度以降のデータだけ利用する
結合前に前処理とかもやってしまえば結合時のメモリ使用量も抑えられるかも

方法２：usecolsで日付だけ取得→skip_rowsで必要なところまで読み飛ばしてから取得
1列だけの読み込みなら耐えられる場合。日付比較でindexが取得できると思うので、その行までskip_rowsで読み込みを飛ばす作戦

そのほかもいろいろ調べたら出てくるとは思いますが、とりあえず軽く調べて目についた二つを提案してみます。

こちらのサイトが参考になると思います。
pandas でメモリに乗らない 大容量ファイルを上手に扱う
【Python】Pandasで大きなcsvファイルを読み込む

Comments

[Cherry]

提案していただいた、方法１を試したところ。50万件ずつ読み込み、中身をみてみました。
2020年以降のデータを用いたいのですが、300万から350万件目の間に2020年の最初のデータがあることがわかりました。
ここから、具体的に何番目のデータに2020年1月1日のでーたがあるのか調べられるのでしょうか。

[pig_vba]

300万件目から350万件目のデータを格納したdfにlocで日付が1/1/2020のデータを抽出してインデックスを取得すれば実現できると思います。

日付検索の方法
https://qiita.com/mSpring/items/6ec1ab28dcb261db2c73
インデックス番号の取得方法
https://www.delftstack.com/ja/howto/python-pandas/pandas-get-index-of-row/