質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
ファイル

ファイルとは、文字列に基づいた名前又はパスからアクセスすることができる、任意の情報のブロック又は情報を格納するためのリソースです。

Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

ダウンロード

リモートシステムからローカルシステムへとデータを受信する事、もしくはそのようなデータ転送を行う事をダウンロードと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

4回答

854閲覧

Web上のファイルを順番にダウンロードするプログラムを書きたい。

yoyoyo0205

総合スコア20

ファイル

ファイルとは、文字列に基づいた名前又はパスからアクセスすることができる、任意の情報のブロック又は情報を格納するためのリソースです。

Python 2.7

Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

ダウンロード

リモートシステムからローカルシステムへとデータを受信する事、もしくはそのようなデータ転送を行う事をダウンロードと呼びます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2017/10/25 10:25

編集2017/10/26 09:54

###実現したいこと
前提として、以下のようなzipファイルを全てダウンロードしたいと考えております。

イメージ説明

zipファイルは以下にずっと続いており、全約3,000ファイルあるので手作業で行うと非常に時間がかかりますので、コマンドプロンプトにおいて、

wget -r [url]

このコマンドを利用して一括ダウンロードを試みましたが、相手サーバーとのやり取りが続いてタイムアップしてしまいます。
(おそらく容量が莫大であることと、パソコンの並列処理が高性能でないことが考えられます。)

そこで、約3000個のzipファイルについて、
1つ目のファイルをダウンロードし終えたら、次のファイルをダウンロードする、それを終えたら次・・・というようなプログラムをpythonで作りたいと考えております。

初心者なので、どのような式を書けば良いのか検討がつかなく、もし参考になるコマンド、パッケージ、式の形など教えて頂ける方がおられましたらご教授いただけませんでしょうか。

よろしくお願い致します。

※問題は、相手サーバとのやり取りでタイムアウトしてしまうことです。
つまり、web上でクリックして、zipファイルを1つずつダウンロードすることは可能です。
これらのことから、1つダウンロードを終え、次のファイルをダウンロードするという手続きができるプログラムを作成したいです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

scsi

2017/10/25 11:31

Shellなら3行ですがダメですか?for x in $(seq -w 1 9999); do curl -O http://~${x}.zip;done
yoyoyo0205

2017/10/25 12:32 編集

コメントありがとうございます! windowsなので、UNIX系のエミュレータ等を入れたりする必要があるかもしれません。
scsi

2017/10/25 12:50

wget 使えているのでてっきり bash などが使えるのかなと思ってました!
yoyoyo0205

2017/10/25 13:04 編集

wgetだけ過去に使いたい時があって、wgetだけ落としてあるという変な状況になっています(汗)ご意見ありがとうございます! 一度cygwinを落として試してみたいと思います!
guest

回答4

0

ファイルをダウンロードするだけでしたら、
レジューム機能付きダウンロード支援ソフトを探した方が早いと思います。

pythonでダウンロードソフトを作りたい時は、
ライブラリの requestsThreadPoolExecutorを使うのがお勧めです。

投稿2017/10/26 14:09

umyu

総合スコア5846

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yoyoyo0205

2017/10/27 04:50

回答ありがとうございます! 参考にさせていただきます!
guest

0

ベストアンサー

質問文を見る限り、Python縛りの理由が無いようなので、バッチスクリプトで良いかと思います。
0000.zipから3999.zipまで対象にするなら、

DOS

1for /L %%A in (10000,1,13999) do call :GET %%A 2goto :EOF 3:GET 4set A=%1 5set A=%A:~1,4% 6wget http://example.com/path/to/%A%.zip

投稿2017/10/25 14:57

otn

総合スコア84423

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yoyoyo0205

2017/10/26 09:04

回答ありがとうございます。 試してみたのですが、 「相手サーバーに接続しています・・・失敗しました:Connection timed out」 と出てしまいます。 せっかく参考になるコードを教えていただいたのに、検討する必要がありそうです。
otn

2017/10/26 11:40

それはwgetがちゃんと動いていない⇒ネットワークがおかしいと言うことですね。 ネットワークがつながっていないのなら、どういう方法でも無理です。
yoyoyo0205

2017/10/27 04:35

otn様、回答ありがとうございました。 研究用のパソコンの作動がおかしいことが判明したため、macPCで行ったところ無事DLできています。 長きに渡り回答していただき感謝しております。 またスキルアップに努めてまいりますので、何かあれば何卒よろしくお願いいたします。
guest

0

wgetでタイムアウトが起きてしまうので解決したい、というのであれば、オプションで「-T」オプション(タイムアウト時間の指定)とか「-t」オプション(リトライ回数の指定)とか「-w」オプション(リトライまでの時間の指定)とかで解決してしまうのではないでしょうか。

wgetのオプションはたくさんあって全てを理解するのは難しいけど、とりあえず他にも「wget オプション」でググってみて調べてみるのもいいと思います。

投稿2017/10/26 14:30

katsuko

総合スコア3462

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yoyoyo0205

2017/10/27 04:51

回答ありがとうございます! タイムアウトを延長してみたのですが、問題はネットワーク接続の不具合のようだったので別のパソコンでtryすることとなりました。 アドバイスありがとうございました!
guest

0

クリックしてダウンロードが可能であれば、最終手段としてクリック操作を行わせるのも一つの手かもしれません。
サーバーにアクセスする方法に比べて時間はかかってしまいますが...

pyautoというモジュールを使えば非常に簡単にマウス操作やキーボード操作を行わせる事が出来ます。

以下参考サイト
PyAutoGUIでマウス操作などのGUI操作する方法

投稿2017/10/26 10:07

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yoyoyo0205

2017/10/27 04:38

puruko3様、回答ありがとうございます! コマンドでどうにもならない、最終手段として考えさせて頂きましたが、他の方法で解決することと致しました。ベストアンサーにできず申し訳ございません。 ただ、GUIプログラミングというのに触れたことがなったので新たな知見に触れさせて頂き、感謝しております。 ありがとうございました。 また何かあればよろしくお願いいたします。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問