pythonで2憶行のソート

Question

実現したいこと

pythonを用いてできるだけ早く2憶行のデータをソートしたいと考えております。
注意事項として
・全データを読むとメモリ不足になるため、逐次的に処理をしていかないとと考えております。
・データは、すべて数字です。

何か良い案などがありましたら教えていただきたいです。

Answer 1

下記はどうでしょうか。

・適当な行数 (10万行とか) で分割し、個々のファイルについてソートする (別サーバで並列処理してもよい)
・結果を受け取り、sort -m でマージソートする。

Comments

[68user]

そういえば最近は BigQuery でクエリ結果を export できるようになりましたね。order by も効くはず。
https://cloud.google.com/bigquery/docs/reference/standard-sql/other-statements?hl=ja#export_data_statement

GCS に分割されて置かれたファイルの結合は自分でやらないとですが、もし抽出や集約的なことを一度でも行う可能性があるなら BigQuery がおすすめです。

なおインポートは時間がかかるので、適当な行数で分割して並列で bq load したほうがいいかもしれません。

あとは使ったことないですが Spark とかも選択肢に入るんでしょうか。

[68user]

単純なソートだけなら import・export の手間がかかる分微妙ですが、BigQuery なら 2億行とかはゴミみたいなものなので、機会があればぜひ一度使ってみてください。