Q&A
前提・実現したいこと
hiveで高速な処理をしたいです。
マップ数を多くしたいのですが、
tezを使った状態だと
mapred.tasks=1000
としてもなぜかマップ数が50くらいに
なり、希望した数にならないです。
tezを使わなくても良いので
どうにかする手はないでしょうか？
発生している問題・エラーメッセージ
エラーメッセージ
該当のソースコード
ソースコード
試したこと
ここに問題に対して試したことを記載してください。
補足情報（FW/ツールのバージョンなど）
ここにより詳細な情報を記載してください。
回答1件
0
ベストアンサー
1Mapperあたりのサイズを制限したりするとうまくいくらしいけど、実際に検証できていないからなんとも･･･
この2つは参考にならないかな、程度にのっけておく
Hadoopチューニング – mapred.map.tasksの意味
Hiveのパフォーマンスチューニングで試した７つのこと
投稿2018/08/25 11:39
総合スコア2009
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。