Q&A
クライアントは自分のPCとして、サーバー側ってどうなの? ある程度自由に使えたりする?
実現したいこと
160GBほどのzipファイルをダウンロードして中身を見ようとしています。
一部だけでもいいのですが、ファイルの中身を確認する必要があります。
問題
普通に wgetやダウンロードボタンからダウンロードしようとすると、残り時間9時間と表示されて、残り時間も安定せず11時間とかになったりします。
Mac PCで、メモリもPCでは8GBしかないので、大きなファイルをダウンロードできるサービスや、一部だけダウンロードは可能なのでしょうか。
機械学習などで大きなサイズのファイルを扱う方はどのようにされているでしょうか。
試したこと
Linux screenコマンドで、PCを閉じている間も処理を走らせておける可能性があることや、高速にダウンロードできるコマンドがあることはわかりました。
参考記事：curlやwgetの数倍速い 爆速ダウンローダー aria2を使う
aria2では、[ERROR]で以下のように表示され、ダウンロード失敗しました。
$ aria2c -x5 URL cause: Result too large
サーバー側は全く他人の環境なので何もできないです。
回答3件
0
ベストアンサー
wgetということなので、HTTPでのダウンロードということでしょうか。
サーバ側が対応していればHTTP範囲リクエストでダウンロードは分割して行えます。
HTTP 範囲リクエスト
https://developer.mozilla.org/ja/docs/Web/HTTP/Range_requests
これで少しづつダウンロードするしかないかと思います。
探せば対応したフリーソフトがあるかもしれませんが、
無ければ自作するしかないです。
ファイル自体は不要で中身の一部だけ必要ということであれば、
HTTP 範囲リクエストでZIPファイルのヘッダー情報だけ読み込んで、その上で選択した項目をHTTP 範囲リクエストにより個別にダウンロードすると良いかと思います。
しかし、さらに対応した対応したフリーソフトは無く、自作は大変になるかと思います。
投稿2022/01/08 11:46
総合スコア141
0
メモリがちょっと心細いようですし、ネットワークへのアクセスはもしかして無線接続だったりするのでしょうか。そうだとすると数百GBといったファイルの「安定した」ダウンロードは困難ですね。また、ダウンローダの多くはいったん一時ファイルとしてダウンロードしたデータを溜めこみ、最後にマージして目的のファイルに再構築するので、ディスク上に目的のファイルサイズの2倍ぐらいの空きがないとダウンロードが途中で終了してしまったりします。
この辺が阻害要因だとすると、ＰＣ側にどんなダウンロード用ソフトを入れても作業が大変になるのは避けられないでしょう。「大きなファイルをダウンロードするサービス」を使ったとしても、結局手元の環境の問題は解決できるわけではありません。
どうしてもその貧弱なマシンの上で作業しなければならないとすれば、私なら、ダウンロードは高速ネットに有線直結された高性能マシンにやらせ、落としたものはUSB接続のポータブルHDDを介して当該マシンに持っていくことを考えると思います。
投稿2022/01/08 09:31
総合スコア13671
0
こんばんわ。
直接の答えではないので恐縮ですが、
そもそもそのようなサイズの大きいファイルをネットワーク越しに扱わなければならない
重要な要件があるのですか？
投稿2022/01/08 09:20
総合スコア480
あなたの回答
tips
プレビュー
