python ファイル実行中途中停止する

Question

python ファイル実行中途中停止する。
csvファイルに記載のURLを読み取り、それを次々にダウンロードしていくプログラムです。
先月までは調子よくダウンロードできていたのですが、先日ひさしぶりにプログラムを実行してみると、途中でエラーもなく動かなくなってしまいました。
なお、友人の作成したプログラムなので、自分にはわからないこともあります。
また、停止するタイミングはプログラム実行ごとにばらばらです。

発生している問題・エラーメッセージ

エラーメッセージなし

Traceback (most recent call last):
File "/Users/username/Downloads/image_downloader.py", line 25, in <module>
request = urllib.request.Request(
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 328, in __init__
self.full_url = url
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 354, in full_url
self._parse()
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 383, in _parse
raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: 't'

該当のソースコード

import sys
import time
import os
import pandas as pd
import cv2
import traceback

df = pd.read_csv('/Users/yonedakouki/banggood/img_ban.csv',
                 encoding='cp932', dtype=object)


headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"}
for column_name, item in df.iteritems():

    if column_name == 'url' or '_1' or '_2' or '_3' or '_4' or '_5' or '_6' or '_7' or '_8' or '_9':
        for index, row in df.iterrows():

            try:
                url_separate = os.path.splitext(row[column_name])
                url_extension = url_separate[1].replace('URL', '')
                url_extension = url_extension.replace('#Yosuke', '')

                request = urllib.request.Request(
                    row[column_name], headers=headers)
                try:
                    mem = urllib.request.urlopen(request).read()
                    # ファイルへの保存
                    # url_extension
                    x = row['code'] + column_name.replace('URL', '') + ".jpeg"
                    with open('/Users/yonedakouki/banggood/u/' + x, mode="wb") as f:
                        f.write(mem)
                    print(x)

                    if url_extension == ".gif":
                        print("!!!gif!!!")
                    else:
                        img = cv2.imread('/Users/yonedakouki/banggood/u/' + x)
                        img2 = cv2.resize(img, dsize=None, fx=0.5, fy=0.5)
                        cv2.imwrite(
                            '/Users/yonedakouki/banggood/u/' + x, img2)

                except urllib.error.HTTPError:
                    print("!!! HTTP エラー")
                    traceback.print_exc()
                except Exception as err:
                    print("!!! HTTP エラー以外のエラー")
                    traceback.print_exc()
                time.sleep(1)

            except Exception as err:
                print("!!! URL 関連のエラー")
                print(
                    "CSVに定義されている元のURL[" + row[column_name] + "]に問題があるようです。スキップします。")
                
    else:
        print()

f.close()
print("正常に終了しました。")


```ここに言語名を入力
python

### 試したこと

python update 2.7.1→3.9.0へ
pandas downgrade　0.24.2へ

エラーログ確認
!!! URL 関連のエラー
Traceback (most recent call last):
File "/Users/username/Downloads/image_downloader.py", line 25, in <module>
request = urllib.request.Request(
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 328, in __init__
self.full_url = url
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 354, in full_url
self._parse()
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 383, in _parse
raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: 't'

>>>URLが記載されているcsvファイルを確認すると、URLではなく”t”のみ記載されたセルがあった
　　→”t”を削除してもプログラムは停止する。

>>>上記エラーが出ても、すぐには停止せず、数枚画像をダウンロードをしてから停止した。
>>>上記エラーが出ずに停止する場合もある。


### 補足情報（FW/ツールのバージョンなど）
python 2.7　→　3.9.0へupdate

Answer 1

2回目＋3回目(エラー通知の変更）+ 4回目(全条件のトレース）

import sys
import time
import os
import pandas as pd
import cv2
import traceback # エラーが出た際にエラーが起きた旨の通知用に追加


df = pd.read_csv('/Users/username/banggood/img_ban.csv', encoding='cp932', dtype=object)

headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"}
for column_name, item in df.iteritems():
    print("捜査中 カラム",column_name,"アイテム",item ,"...",end="")
    if column_name == 'url' or '_1' or '_2' or '_3' or '_4' or '_5' or '_6' or '_7' or '_8' or '_9':
        for index, row in df.iterrows():

            try:
                url_separate = os.path.splitext(row[column_name])
                url_extension = url_separate[1].replace('URL', '')
                url_extension = url_extension.replace('#username', '')

                request = urllib.request.Request(
                    row[column_name], headers=headers)
                try:
                    mem = urllib.request.urlopen(request).read()

                    x = row['code'] + column_name.replace('URL', '') + ".jpeg"
                    with open('/Users/username/banggood/u/' + x, mode="wb") as f:
                        f.write(mem)
                    # print(x)

                    if url_extension == ".gif":
                        print("スキップ(GIF)")
                    else:
                        img = cv2.imread('/Users/username/banggood/u' + x)
                        # print(img.shape)
                        img2 = cv2.resize(img, dsize=None, fx=0.5, fy=0.5)
                        cv2.imwrite('/ Users/username/banggood/u' + x, img2)
                        print("保存(GIF以外) パス:",x, "shape",img.shape)

                except urllib.error.HTTPError:
                    print("スキップ(HTTPエラー)")
                    # traceback.print_exc()
                except Exception as err:
                    print("スキップ(HTTP以外のエラー)")
                    # traceback.print_exc()
                time.sleep(1)

            except Exception as err:
                print("スキップ(URLエラー) CSVに定義されている元のデータ[" + row[column_name] + ,url_extension  + "]に問題があるようです。")

    else:
        print("スキップ 対象外のカラム名です。")

print("正常に終了しました。")

# f.close() # <---with ○○ as fのため不要

初回分

try:
except:

をすべて外してください。エラーが起きたらexceptでトラップされますが、print()で何も表示されなくなるためです。表示するには、以下のようにしてください。

try:
except
    import traceback
    traceback.print_exc()

Comments

[kome6286]

ご回答ありがとうございます。
try exceptを全て消すと、プログラムが作動しなくなりました。

[退会済みユーザー]

その止まった際に表示されるエラーが「本当に解決しないといけない（恐らくkme6286さんが知りたかった）エラー」です。

今まで「勝手に落ちていた」はexceptでトラップされたときに「黙って終了」していたからなんですね。
これからやらないといけないのは「○○が理由で落ちた」を解決することです。
多分英語でどうして落ちたか表示されるので、それをこの質問の投稿の内容を修正して教えてください。

あと、Pythonはインデントが重要ですので、
```Python
# 実際のコード
```
のようにPythonのコードの表示方法を修正してください。

※windowsのユーザー名は伏せた方が安全です。今からでも良いので伏せてください。

[kome6286]

ご指摘ありがとうございます。
以下try except を消した際のエラー文です。

username@Mac ~ % /Users/username/.pyenv/versions/3.8.0/bin/python /Users/username/Downloads/image_downloader.py
/Users/username/.pyenv/versions/3.8.0/lib/python3.8/site-packages/pandas/compat/__init__.py:120: UserWarning: Could not import the lzma module. Your installed Python is incomplete. Attempting to use lzma compression will result in a RuntimeError.
warnings.warn(msg)
Traceback (most recent call last):
File "/Users/username/Downloads/image_downloader.py", line 23, in <module>
request = urllib.request.Request(
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 328, in __init__
self.full_url = url
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 354, in full_url
self._parse()
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 383, in _parse
raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '1796410-POA8222659'

また、
import traceback
traceback.print_exc()
を記入しても、エラー文は出てきませんでした。

[退会済みユーザー]

問題が2つあります。
1．lzmaが原因かわかりませんが…
古いpandasにすると直せそうです。こちらの対応の方が楽だと思います。
pip install pandas==0.24.2

もしくは、Ubuntuでしたね、
sudo apt-get install liblzma-dev
で試して下さい。（もしかしたらPythonの再インストールが必要かもしれません）

2. urllib.request.Request
のエラーで問題が起きています。こちらで試験したいのですが、個人情報につながらないようなURLであればURLを教えていたけますか？

[kome6286]

ご丁寧にありがとうございます。
1.上記tracebackのコードを試しましたが、エラーなしで停止しました。
pandasをダウングレードしましたが、停止しました。
homebrewを使用してliblzma-devをインストールしましたが、同様に停止しました。

2.URLを共有したいのですが、量が膨大ですので控えさせていただきます。
URLの内容は一般的な商品画像です。

[kome6286]

!!! URL 関連のエラー
Traceback (most recent call last):
File "/Users/username/Downloads/image_downloader.py", line 25, in <module>
request = urllib.request.Request(
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 328, in __init__
self.full_url = url
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 354, in full_url
self._parse()
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 383, in _parse
raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: 't'
!!! URL 関連のエラー
Traceback (most recent call last):
File "/Users/username/Downloads/image_downloader.py", line 25, in <module>
request = urllib.request.Request(
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 328, in __init__
self.full_url = url
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 354, in full_url
self._parse()
File "/Users/username/.pyenv/versions/3.8.0/lib/python3.8/urllib/request.py", line 383, in _parse
raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: 't'

上記のエラーが出ていました。
エラーが出たあと、少しの間はプログラムは動いたのですが、
止まりました。
止まった時にはエラーは出ていませんでした。

[退会済みユーザー]

多分ですが、エラーの原因はURLがおかしいからです。print("!!! URL 関連のエラー")のあとに以下の2行を入れてください。たぶん"t"のようなURL出ない文字列が入っていると思います。
print("ROW", row[column_name])
print("EXT", url_extension )
止まったときにエラーがないのは、恐らくdfの中の走査が終了したからと思います。もし違う様子でしtら状況を教えてください。

----
参考：
https://teratail.com/questions/162376

[kome6286]

回答ありがとうございます。
上記コードを入れてもエラーメッセージは出ませんでした。
仰るように、URL関係で問題があるように思います。
また、URLが書いてあるcsvファイルを確認したところ、「t」のみ書かれている部分がありました。
「t」を削除し、再度動かしてみましたが、やはりエラーは出ず、停止しました。

[退会済みユーザー]

URLエラーの通知方法の変更と、正常に終了した旨を出すように変更しました。
URLエラーはCSVのエラーですのでプログラム側では通知するのが精いっぱいの対応と思います。
異常停止したのか、ちゃんと終了したのか示すために、最後に正常に終了した旨を出すようにしました。

これで様子を見てください。

[kome6286]

上記コードへ編集し実行しました。
プログラムを実行し、最初に

CSVに定義されている元のURL[1571367-POA5874150]に問題があるようです。スキップします。
!!! URL 関連のエラー
CSVに定義されている元のURL[1571367-POA5874151]に問題があるようです。スキップします。

と何行も出力されたあと、しばらく動き、画像はダウンロードできたのですが、
途中停止しました。
もちろん、最後の”正常に終了しました”は出力されませんでした。

[退会済みユーザー]

f.closeが一番最後にありますが、これはwith ○○ as fでやっているので不要となりますので消しました。
あとは通知条件を変えました。
これでPythonが勝手にクラッシュしているとすれば未知のバグかもしれません。
念のため並行してタスクマネージャ的なものでCPＵ使用率、メモリ使用率、保存容量の空き具合を確認ください。