質問編集履歴
1
余計な記述を削除
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,5 +1,5 @@
|
|
|
1
1
|
S3に大きなcsvファイルがあり、これをathenaで効率よく読み込むためparquet化しようと考えています
|
|
2
|
-
csvファイルをparquet化する方法を調べたところ、
|
|
2
|
+
csvファイルをparquet化する方法を調べたところ、pythonに読み込む方法が見つかりましたが、csvが大きすぎでメモリに乗りません
|
|
3
3
|
|
|
4
4
|
S3にあるcsvファイルをローカルPCのメモリに乗せずにparquet化する方法はありますでしょうか。
|
|
5
5
|
なお、csvファイルは1ファイルですが、parquetファイルは分割したいです。
|