質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.02%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

Python 大きいデータから特定のものを抽出

Cherry
Cherry

総合スコア4

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

2回答

0グッド

0クリップ

262閲覧

投稿2022/12/01 08:51

前提

ここに質問の内容を詳しく書いてください。
Pythonでsalesデータの処理をしています。
データの形式はcsvファイルで、11.7GBと大きいです。
また、顧客データもそこにくっつけたいです。

実現したいこと

ある年度以降のデータのみ抽出して処理したいのですが、データをまず全部読み込むことができないため苦戦しています。
理想としては、
1.ある年度以降のデータのみ抽出して新しいファイル作成
2.同じ時期以降の顧客データを1にくっつける

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

ソースコード

試したこと

ここに問題に対して試したことを記載してください。

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

以下のような質問にはグッドを送りましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

グッドが多くついた質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

2022/12/02 00:36

こちらの質問が他のユーザーから「やってほしいことだけを記載した丸投げの質問」という指摘を受けました。

TakaiY

2022/12/01 09:54

質問にはコードもデータのサンプルも無いので手法についての回答が付いてますが、いきなりプログラムのエラーメッセージを出されても対応できません。 - 書いてみたコードがあるのであれば。 - 実際のデータのサンプルを提示しましょう。 実データとくっつけたい顧客データ。 - どのような出力/結果が欲しいのかの内容。 あたりを、質問に追記していただけますか。
meg_

2022/12/02 00:38

> データをまず全部読み込むことができないため苦戦しています。 データが小さければ処理自体はできる(抽出するコードは書ける)ということで良いですね?

回答2

1

全部読み込まずとも、テキストファイルとして1行読み込み、それをCSVとして変換し、処理する、ってのでどうでしょう

投稿2022/12/01 09:02

y_waiwai

総合スコア86052

spoofy_dragon😄を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

Cherry

2022/12/01 09:06

テキストファイルとして読み込んだ後に、必要なデータを抽出し、それをcsvに変換するということでしょうか?
y_waiwai

2022/12/01 09:14

CSVファイルってのは基本テキストファイルなので、1行づつ、あるいは一定行数づつ読むってのはできるでしょう そうやってファイルが尽きるまで、読み込み>処理を繰り返せばいいかと
Cherry

2022/12/01 09:27

charmap' codec can't decode byte 0x8d in position 772: character maps to <undefined> というエラーが出てしまいました
Cherry

2022/12/01 10:02

試してみたコードはこちらです。 import csv #csvファイルを指定 Sales = "C:/Users/sakur/OneDrive/ドキュメント/卒業研究/sales_data (1).csv" #csvファイルを読み込み rows = [] with open(Sales) as f: reader = csv.reader(f) for row in reader: rows.append(row)
y_waiwai

2022/12/01 11:14

文字コードがあってないというエラーなんで、Shiftjisでも指定してみては

0

ベストアンサー

※日付が順番に並んでる場合に限ります
とりあえず方法はいくつか見つかったので提案とサイトの紹介を。
方法1:chunksizeでファイルを分割して読み込む→指定年度以降のデータだけ利用する
結合前に前処理とかもやってしまえば結合時のメモリ使用量も抑えられるかも

方法2:usecolsで日付だけ取得→skip_rowsで必要なところまで読み飛ばしてから取得
1列だけの読み込みなら耐えられる場合。日付比較でindexが取得できると思うので、その行までskip_rowsで読み込みを飛ばす作戦

そのほかもいろいろ調べたら出てくるとは思いますが、とりあえず軽く調べて目についた二つを提案してみます。

こちらのサイトが参考になると思います。
pandas でメモリに乗らない 大容量ファイルを上手に扱う
【Python】Pandasで大きなcsvファイルを読み込む

投稿2022/12/01 10:08

pig_vba

総合スコア666

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

Cherry

2022/12/01 10:41

提案していただいた、方法1を試したところ。50万件ずつ読み込み、中身をみてみました。 2020年以降のデータを用いたいのですが、300万から350万件目の間に2020年の最初のデータがあることがわかりました。 ここから、具体的に何番目のデータに2020年1月1日のでーたがあるのか調べられるのでしょうか。

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.02%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。