tensorflowの画像判別

Question

tensorflowの画像判別の練習を下記のサイトを参考に行ってみました。

https://aiacademy.jp/media/?p=113

実行はGoogleのcolabで行っています。

# Google Colabで実行の際に、下記のコードにて、このプログラムをTensorFlow　バージョン1系で動作させるためのコマンドです。
%tensorflow_version 1.x

# TensorFlow バージョン2系で実行したい場合は下記のColab(URL)をご確認ください。
# https://colab.research.google.com/notebooks/tensorflow_version.ipynb

# 必要なモジュールをインポート
from keras.applications.vgg16 import VGG16, decode_predictions,preprocess_input
from keras.preprocessing import image
from PIL import Image
import numpy as np
import urllib.request as urllib

# 手元の環境で実行させたい場合は下記2つも読み込んでください。
# import tensorflow
# import keras


"""
filename: 判定したい画像ファイル
size: 予測した結果を何件まで表示させたいか(初期値10件)
"""
def predict(filename, size=5):

    filename = urllib.urlopen(filename) # 入力画像をWebから取得
    img = image.load_img(filename, target_size=(224, 224)) # 画像を読み込み
    x = image.img_to_array(img) # 画像ファイルを数値に変換
    x = np.expand_dims(x, axis=0) # 次元を増やす
    pred = model.predict(preprocess_input(x)) # 一律に平均値を引いている処理
    results = decode_predictions(pred, top=size)[0] # VGG16の1000クラスはdecode_predictions()で文字列に変換
    return results

# VGG16を使用
model = VGG16(weights="imagenet")

# 犬の判定処理
filename = "https://aiacademy.jp/dataset/dog1.jpg"

results = predict(filename, 10)
for result in results:
    print(result)

実行すると下記のエラーが発生しました。
これはどのように修正すれば動くようになりますでしょうか...？

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-5-084d6a2a3e46> in <module>()
     36 filename = "https://aiacademy.jp/dataset/dog1.jpg"
     37 
---> 38 results = predict(filename, 10)
     39 for result in results:
     40     print(result)

1 frames
/usr/local/lib/python3.6/dist-packages/keras_preprocessing/image/utils.py in load_img(path, grayscale, color_mode, target_size, interpolation)
    111         raise ImportError('Could not import PIL.Image. '
    112                           'The use of `load_img` requires PIL.')
--> 113     with open(path, 'rb') as f:
    114         img = pil_image.open(io.BytesIO(f.read()))
    115         if color_mode == 'grayscale':

TypeError: expected str, bytes or os.PathLike object, not HTTPResponse

ご指摘を受け

def predict(filename, size=5):
  print(Image.__version__)
  response = urllib.urlopen(filename) # 入力画像をWebから取得
  imgPil = Image.open(response)
  print(imgPil)
  img = image.load_img(imgPil, target_size=(224, 224)) # 画像を読み込み
  x = image.img_to_array(img) # 画像ファイルを数値に変換
  x = np.expand_dims(x, axis=0) # 次元を増やす
  pred = model.predict(preprocess_input(x)) # 一律に平均値を引いている処理
  results = decode_predictions(pred, top=size)[0] # VGG16の1000クラスは 
  decode_predictions()で文字列に変換
  return results

と変更すると

7.0.0
<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=275x183 at 0x7FDF9BE6FCC0>

と表示されましたが、同様のエラー表示となり、改善できない状態です・・・

2021/01/13 11:44追記。
一応動作するコードができました。

# Google Colabで実行の際に、下記のコードにて、このプログラムをTensorFlow　バージョン1系で動作させるためのコマンドです。
%tensorflow_version 1.x

# TensorFlow バージョン2系で実行したい場合は下記のColab(URL)をご確認ください。
# https://colab.research.google.com/notebooks/tensorflow_version.ipynb

# 必要なモジュールをインポート
from keras.applications.vgg16 import VGG16, decode_predictions,preprocess_input
from keras.preprocessing import image
from PIL import Image
import numpy as np
import urllib.request as urllib

# 手元の環境で実行させたい場合は下記2つも読み込んでください。
# import tensorflow
# import keras


"""
filename: 判定したい画像ファイル
size: 予測した結果を何件まで表示させたいか(初期値10件)
"""
def predict(filename, size=5):
    print(Image.__version__)
    response = urllib.urlopen(filename) # 入力画像をWebから取得
    imgPil = Image.open(response)
    print(imgPil)
    # img = image.load_img(imgPil, target_size=(224, 224)) # 画像を読み込み
    x = image.img_to_array(imgPil) # 画像ファイルを数値に変換
    x = np.expand_dims(x, axis=0) # 次元を増やす
    pred = model.predict(preprocess_input(x)) # 一律に平均値を引いている処理
    results = decode_predictions(pred, top=size)[0] # VGG16の1000クラスはdecode_predictions()で文字列に変換
    return results

# VGG16を使用
model = VGG16(weights="imagenet")

# 224x224の画像を指定する
filename = "https://stat.ameba.jp/user_images/20141121/18/sie36ne/ab/fe/j/t02200220_0224022413135979312.jpg?caw=800"

results = predict(filename, 10)
for result in results:
    print(result)

結果

7.0.0
<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=224x224 at 0x7F48BA6DBD30>
('n02099601', 'golden_retriever', 0.9710069)
('n02099712', 'Labrador_retriever', 0.013546035)
('n02100735', 'English_setter', 0.004488475)
('n02101388', 'Brittany_spaniel', 0.0024154324)
('n02102480', 'Sussex_spaniel', 0.0020835618)
('n02102318', 'cocker_spaniel', 0.0014118954)
('n02101556', 'clumber', 0.00097313104)
('n02099267', 'flat-coated_retriever', 0.00060194463)
('n02104029', 'kuvasz', 0.00045913394)
('n02100877', 'Irish_setter', 0.0004434662)

Answer 1

urllib.urlopen して返ってくるのはファイル名ではなく HTTPResponse オブジェクトです。なので image.load_img() で直接読み込むことは出来ません。HTTPResponse オブジェクトからバイナリを取り出してそこから PIL で画像変換し keras に渡せる形式にする必要があります。ですがやり方は簡単です。

response = urllib.urlopen(filename)
img = Image.open(response)

これで PIL 用の画像が生成されるので後は keras でも使えるでしょう。
python でバイナリデータから Image オブジェクトを生成する方法 - dak ブログ

Comments

[keisuu]

ご指摘ありがとうございます。少し修正してみたのですが、
同様のエラーで改善できずでした・・・

[A_kirisaki]

エラーメッセージ変わりませんか？

[A_kirisaki]

あっ、img = image.load_img(imgPil, target_size=(224, 224)) は消してください。もう画像は出来上がってるので load_img は呼ぶ必要ないです

[keisuu]

リサイズの処理を消して色々試行錯誤していると
224x224の画像を指定する必要があるっぽいエラーがでましたので同サイズの画像を指定すると
一応動作するコードができましたので質問に追記しておきました。
何度もありがとうございます。