Q&A
・csvファイルのファイルサイズはいくつですか？
・マシンのメモリはいくつですか？
S3に大きなcsvファイルがあり、これをathenaで効率よく読み込むためparquet化しようと考えています
csvファイルをparquet化する方法を調べたところ、pythonに読み込む方法が見つかりましたが、csvが大きすぎでメモリに乗りません
S3にあるcsvファイルをローカルPCのメモリに乗せずにparquet化する方法はありますでしょうか。
なお、csvファイルは1ファイルですが、parquetファイルは分割したいです。
・日付列で分割してフォルダを分けたい(athenaで読み込むときのpartitionにしたい。そのようなフォルダ構成になるとベスト)
。別のタイムスタンプ列でファイル分割して、athenaからの読み込み量や管理負荷を減らしたい(複数ファイルに分割するイメージ)
どうぞよろしくお願いいたします。
回答1件
ベストアンサー
ご回答ありがとうございます。
やはりGlueですか。。。自分でも調べたところGlueで出来そうなことは分かりましたが、私の経験が浅く、Glueでどのように行えばいいのか分かりませんでした。
単純にparquet化するだけならできそうですが、フォルダをathenaで日付ごとにpartition化できるような分割方法と、それぞれのフォルダ内でparquetファイルを分割する方法が分からず。。。もしご教授頂けると大変助かります。。。
申し訳ないですが、コンソールでポチポチやってるだけではできません。
csvの構造を踏まえてそれをマッピングするようにプログラムを書く必要があります。
調べれば色々出てきますが、とりあえずこの辺を。
https://qiita.com/pioho07/items/523aec26ca5dc5bc9697
ありがとうございます。
最終的にathenaのctasを使って、parquet化できることが分かりました
助言ありがとうございました
あなたの回答
tips
プレビュー
