質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1126閲覧

Pytonのdownload()コマンドでhttp://からダウンロードできない

donadona999s

総合スコア16

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/08/05 04:28

編集2019/08/05 08:56

Python

1import os,csv 2import shutil 3import requests 4import shutil 5import requests 6import PyPDF2 7import time 8 9with open('URL.csv') as f: 10 reader = csv.reader(f) 11 for row in reader: 12 url = str(row[0]) 13 def download(url): 14 file_name = os.path.basename(url) 15# res = requests.get(url, stream=True) 16 res = requests.get(url) 17 if res.status_code == 200: 18 with open(file_name, 'wb') as file: 19 res.raw.decode_content = True 20 shutil.copyfileobj(res.raw, file) 21 if __name__ == '__main__': 22 url = url 23 download(url) 24 25#with open('PARTS_NUM.csv') as f: 26# reader = csv.reader(f) 27# for row in reader: 28# filename = row[0] 29# pdf = PyPDF2.PdfFileReader('ADuM3223_4223.pdf') 30# print('--------------------------------------------------------') 31# for k in pdf.documentInfo.keys(): 32# print(k, ':', pdf.documentInfo[k]) 33# print('--------------------------------------------------------') 34```お世話になります。 35 36pythonをやりはじめてまだ一週間以内です。 37CSVファイルに入っているURLのリストから、ファイルを連続でダウンロードしたいのですが、 38「https:」のURLからはダウンロードできますが、「http:」のURLからはダウンロードできません。 39「http:」のURLからダウンロードしたときには、ファイルはできるのですが、0kBの空のファイルができてしまい、正常にダウンロードできていないようです。 40エラーログは時に出ていません。 41 42ダウンロードできるURL例 43https://www.analog.com/media/en/technical-documentation/data-sheets/ADuM1280_1281_1285_1286.pdf 44 45ダウンロードできないURL例 46http://www.analog.com/media/en/technical-documentation/data-sheets/REF19xSeries.pdf 47 48「http:」サイトからファイルダウンロードできるようにできませんでしょうか? 49アドバイスいただけますと幸いです。 50 51使用しているプログラムを以下に記載します。 52*CSVファイルは、URLがひたすら立てに並んでいるファイルになります。 53import os,csv 54import shutil 55import requests 56import shutil 57import requests 58import PyPDF2 59import time 60 61with open('URL.csv') as f: 62 reader = csv.reader(f) 63 for row in reader: 64 url = str(row[0]) 65 def download(url): 66 file_name = os.path.basename(url) 67 res = requests.get(url, stream=True) 68 if res.status_code == 200: 69 with open(file_name, 'wb') as file: 70 res.raw.decode_content = True 71 shutil.copyfileobj(res.raw, file) 72 if __name__ == '__main__': 73 url = url 74 download(url)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

こんにちは。
元のソースコードからタブやスペースが全て削除されているため、原因箇所の特定が難しいです。
また文法上のエラーや、記述の意図が把握できない箇所の見受けられます。
(定義していない変数nameを参照している、forループごとに毎回download関数を定義しているなど)

ただ、ダウンロード処理はrequestsパッケージに任せており、設定も正しいように見受けられますので、私の方でコードを以下の通り書き換えたところ、ひとまず動作しました。

python3

1import csv 2import os 3import requests 4import shutil 5 6def download(url): 7 file_name = os.path.basename(url) 8 res = requests.get(url, stream=True) 9 if res.status_code == 200: 10 with open(file_name, 'wb') as file: 11 res.raw.decode_content = True 12 shutil.copyfileobj(res.raw, file) 13 14with open('URL.csv') as f: 15 reader = csv.reader(f) 16 for row in reader: 17 url = str(row[0]) 18 download(url)
$ cat URL.csv http://www.analog.com/media/en/technical-documentation/data-sheets/REF19xSeries.pdf(env) $

より正確な原因の究明を行うためには、タブやスペースを完全に保った形でのソースの投稿と、実行したOSやpython、パッケージのバージョン情報を投稿してください。

投稿2019/08/05 08:42

uS_aito

総合スコア145

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

donadona999s

2019/08/05 08:57 編集

お返事いただきましてありがとうございます。 情報不足で誠に申し訳ありません。 OSはwindows10、pythonのバージョンは3.7.4です。 ソースコードも追加させていただきました。 上記コードをコピペしましたが、やはりファイルは生成されるも、ファイルを展開することができず、またファイルサイズが1kBと、ほとんど空のファイルとなってしまいました。 また、勉強不足で誠に申し訳ないのですが、 ----------------------------------------------------------------------------- $ cat URL.csv http://www.analog.com/media/en/technical-documentation/data-sheets/REF19xSeries.pdf(env) $ ----------------------------------------------------------------------------- こちらは何を意味しているものでしょうか? なにか参考となるものがあれば、勉強したいと思っています。
uS_aito

2019/08/05 09:01

> OSはwindows10、pythonのバージョンは3.7.4です。 > 上記コードをコピペしましたが、やはりファイルは生成されるも、ファイルを展開することができず、またファイルサイズが1kBと、ほとんど空のファイルとなってしまいました。 うーん…ちょっと理由が想像つかなくなってきました。python本体やOS、コードの問題ではなくサーバ側が気になってきました。 もしよろしければ、試したURLを投稿いただくのと、その1kBのファイルをテキストエディタで開こうとした時どうなるか教えていただけますか? > こちらは何を意味しているものでしょうか? 上記コード内でURL.csvというファイルを読み込んでいます。私のコードの動作確認するためにはこのcsvファイルの中身も合わせてお伝えする必要があります。 そのため、catというコマンド(linuxやmacで使用できます)で、URL.csvファイルの中身を表示させました。その時の端末の出力を全てコピペしたものです。つまり、メモ帳やエディタでURL.csvを開いたのと同じようなことを、コマンドラインのみでやろうとするとこうなります。 メモ帳やエディタで開いたところを投稿しようとすると、画像を貼り付けることになりますが、catコマンドであればコマンド実行結果をコピペするだけで済むので、このような場合に多用されます。
donadona999s

2019/08/05 09:10 編集

お世話になります。 コメントいただきまして誠にありがとうございます。 試したリンクは以下のリンクです。 http://www.analog.com/media/en/technical-documentation/data-sheets/REF19xSeries.pdf ここからダウンロードしたファイルの結果は。 ファイル名は「REF19xSeries.pdf」 テキストエディタ「Atom」で展開してみましたが、中身は何もありませんでした。 プロパティ上も中身は空でした。 「https:」のURLの場合は記載の通り問題ありませんが、「http:」の場合はやはりうまくいきません・・・ 自作のスクリプト、いただいたスクリプトいずれでも結果は同じでした。
uS_aito

2019/08/05 09:24

すみません、お手上げです。 最初はサーバが300でも返しているのかと思っていたのですが、当方でそのURLに、投稿したソースを試したところ正常にDLできました。 わざわざ回答しにきておいて恐縮です。ソース自体は動作するはずなのですが…。 Pythonのバージョンは揃えて検証しましたので、残るはOS起因の何か(mac 10.14.6です)か、もっと別の環境起因の何かかと思います。
donadona999s

2019/08/05 09:28

お世話になります。 いえいえ。こちらこそご丁寧にありがとうございます。 内容理解できました。 残念ながらPCがこれしか今ないので、試すことはできませんが、ネットワーク環境でなにか悪さしている可能性もあるので、何かしら別の環境で試せないか試してみます。 誠にありがとうございました。
donadona999s

2019/08/05 11:14

お世話になります いろいろ試したところ、ネットワークセキュリティによってはじかれている可能性が見つかりました。 ポケットWIFIなどで試したところ問題なく動作しました。 ネットワーク環境を変えて試してみます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問