wgetコマンドを使用してhdfファイルの保存

Question

wgetコマンドを使用してホームページ内のhdfファイルをすべて保存する

ここに質問の内容を詳しく書いてください。
（例）PHP(CakePHP)で●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

エラーメッセージは出てませんが、ファイルのダウンロードができていません。自分のホームディレクトリにホームページ内のhdfファイル（MOD07から始まる）をすべてダウンロードしたいです。

該当のソースコード

#!/bin/bash

wget -r -l1 -Ahdf -H https://ladsweb.modaps.eosdis.nasa.gov/search/order/4/MOD07_L2--61/2019-10-22..2019-11-05/DB/129.2,46.1,149.5,29.9/

試したこと

hdfファイルひとつの名前を指定するとそのhdfファイルだけダウンロードできました。
でも一括でダウンロードしようとするとうまくいきませんでした。

Answer 1

指定した URL を JavaScript を無効にした Web ブラウザで開いてみると hdfファイル へのリンクはありませんね。
JavaScript を有効にして開くと出てくるので、hdfファイル へのリンク部分は、Web ブラウザが、JavaScript を実行した際に生成して表示しているようですね。

wget では、このような Web ブラウザで動的に生成される部分からリンクを取得してダウンロードすることはできませんので、 Selenium 等の JavaScript を実行後の HTML に対して処理できる方法を使う必要があると思われます。

Comments

[kobayashi123]

wgetだとやっぱり難しいですか…
grepも使用してもう少し挑戦してみます

Answer 2

wgetじゃあ難しいでしょう。
seleniumならできそう。

Comments

[kobayashi123]

wgetだけじゃ難しいですよね…
わかりました！ありがとうございます。

Answer 3

wgetで指定したホストはhdf(?)の一覧が表示されるのでしょうか？
リストが得られなければそこに存在するファイルはリンクを参照して得ることはできません

Comments

[kobayashi123]

hdfの一覧は表示されています。
hdfのファイルネームを指定してwgetコマンドを使用すると保存できます。一括で保存となるとできなくなってしまいます。

[yambejp]

試しにご指定のurlを落としてみましたが、htmlページの中にリンクはありませんね

[kobayashi123]

htmlのリンクは無いと思います。
条件を指定した画像がこのページに表示されるので、htmlのリンクではなく、変数があるかと思います。