HDFSからディレクトリを取得したい

背景

HTTP REST APIを利用して、HDFSから特定のディレクトリ配下のすべてのファイルを取得したいと考えています。
curlコマンドにてファイルを取得できることはわかりましたが、ディレクトリの取得はできないことが分かりました。
作りこみをすれば取得できるとの記事がありましたが、具体的にどのように作りこみをすればよいかイメージが湧きません。

実現したいこと

HDFSからディレクトリ配下のすべてのファイルを取得したい

質問

処理としては以下のような処理で実現できるのでしょうか。
1、curlコマンドにてディレクトリリストを取得
2　ディレクトリリストをもとに1ディレクトリ単位に配下のファイルリストを取得
3 ファイルリストをもとに1ファイル単位にcurlコマンドにてファイル取得

この場合、かなり複雑な処理なるのではないかと思っています。
別の手段があればそちらで実現したいと思っています。

前提条件

curlコマンドを実行するサーバは、HDFSとは別のLinuxサーバになります。

行動規範の内容に同意します

回答1件

自己解決

ディレクトリ単位ではできないことが分かったため、以下の手法で実現することにしました。
事前準備
ディレクトリリスト（フルパス、最下層まで）

処理概要
１．ディレクトリリストを読み込み
２．読み込んだ１ディレクトリに対して、ディレクトリ取得APIを発行
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS"
３．返ってきた値からファイル名を取得
４．ファイルを取得APIを発行
curl -i -U "http://<HOST>:<PORT>/webhdfs/v1/<PATH>/<FILENAME>?op=OPEN