前提・実現したいこと
現在、HDFS上のフォルダからローカルフォルダへファイルを保管するシェルスクリプトを作成しています。
発生している問題・エラーメッセージ
HDFS上の該当フォルダには、1000以上のファイルがあるため、全ファイルを取得するのではなく、
直近2日分のファイルのみという指定を受けています。
色々調べてみたのですが、HDFSのコマンドで直近2日分のファイルを取得して保管するやり方が分かりません。
HDFS上で直近2日分のファイルを抽出してローカルへ移動させるコマンドはありますでしょうか?
全ファイル取得するコマンドは以下のような内容です。
hadoop fs -fs hdfs: -get /hdfs上のパス/[*]/保存ファイル名指定 /ローカルのパス
できればこの形を改良して、直近2日分のファイルを取得できるようなコマンドにしたいと思っていますが、
複数行になっても全く問題ありません。
どうかお知恵を拝借できれば幸いです。宜しくお願い致します。
あなたの回答
tips
プレビュー