Jupyterのコードがいつまで経ってもアウトプットを表示しない

Question

前提・実現したいこと

Jupyter notebookのPandasで
ある会社の購買データを分析したく、
pandas.read_csvで読み込もうとしています。

すると以下の状態でなかなか実行が完了せず、
df.head()なども反応しません。
作業が前に進まず、
とても困っています。

試したこと

何度かJupyter を閉じて再度開き、
同じ操作で実行してみましたが、
何の反応もありません。
因みに2台持っているPC両方で
同じ現象が起きています。

###補足情報
この購買データは大きめで約1.22GBあります。

何卒よろしくお願い申し上げます。

Answer 1

それだけ重いデータだったらすぐに動作しないと思います。
少なくとも、僕のメモリ4GBの低スペックマックでは無理ですね笑
メモリの4分の１使うので、最悪フリーズして警告が出ますし、時間もかかります。

以下のようなサイトを参考にして、例えば100000行をいくつかのファイルに分割とかして見てください。
http://yutori-datascience.hatenablog.com/entry/2017/08/03/230047

Comments

[Pablito]

分割は試してみて、その時は上手く作動しました。
ただ、1時間程待っても全く動かないので、
どうしたものかと困っています。。。

[bamboo-nova]

あとは、どんな処理がしたいかですね。せっかく読み込めても、その後重い操作するなら動きませんし...。
機械学習や統計解析でも全ての次元のデータを使うことはないはずなので、必要なデータだけを取り出せばましになるような気がします。
NaNがあるデータだけでも取り除いたらデータが軽くなったとかないですか...？

Answer 2

多分読み込めないと思います。
昔のことなので、記憶があいまいですが、2GBくらいあるCSVを同じように読み込んだ時は、GCPでCPU*64くらいの化け物PCでやっと読み込めたような記憶があります。
普通のPCでは、読み込みに大きな時間がかかるか、メモリエラーになる可能性大です。
試しにJupyterからでなく、普通のPythonファイルから読み込んでみましょう。

Comments

[Pablito]

ご回答ありがとうございます。
私の先輩は問題なく読み込めているようなので、
先輩のPCの環境やスペックも含めて確認し、
Pythonでも実行してみたいと思います。