Pytorchの学習の際に画像が読み込まれない

Question

問題

class MyDataset(Dataset):
 ## 略
     def __getitem__(self, index):
        
        fn, label = self.data.loc[index][0], self.data.loc[index][2]
        # ここでfnは画像のPATHとなります。
        fn = IMAGE_PATH + fn
        # img = cv2.imread(fn)[:, :, ::-1]
        # img = Image.open(fn)
        img = io.imread(fn)

の際にいろいろな画像読み込みライブラリを使ってみたのですが、
cv2では
TypeError: 'NoneType' object is not subscriptable
他の二つでは
Resource temporarily unavailable: '/home/user_name/workspace/data/TRAIN/07021.jpg'

毎回画像IDは異なります。
と言われ読み込みができません。

試したこと

• 画像PATHに画像があることの確認。
• 上記のようにいくつかのライブラリを使ってみる
• 他のプログラムは動いていませんデした。

環境

PyTorch 1.4.0
ubuntu 18.04

scikit-image 0.16.2
opencv-python 4.2.0.34
Pillow 6.2.2
となっています。

回答よろしくお願いします。

Comments

[tiitoi]

print(fn) して表示してパスが間違っていないか確認してください
import os
print(os.path.exists(fn)) が False になっていれば、やはりパスが間違っているのが原因です。

[spiii]

確かにFalseとなって出てくるものがありました。
しかし、その後にls $fn($fnはos.path.exists(fn)の出力)で確認してみると存在していました．．．

[tiitoi]

絶対パスでしょうか？
print(os.path.exists(fn)) が False になったのだとしたら、それが Python を実行した際のファイルが存在するかの認識結果なので、ファイルパスに問題があるのだと思います。

[spiii]

今確認したところ、下記の解決法では計算が止まっていました...
絶対pathで指定しています。lsで確認したら存在しているですよね...

[tiitoi]

Macは持っていないので詳しいことはわからないですが、パーミッションの問題の可能性はないでしょうか

[spiii]

無理やりchmodで変更しようとしたところ
jpgファイルにリソースが一時的に利用できません
というエラーが出ました。process関連みたでした....

Answer 1

質問文の情報だけでは何とも言えないですが、Resource temporarily unavailableと出ているためメモリかプロセス空間のどちらかが足りていないと推測されます。
私なら以下の順番で確認してみます。

• 学習データを減らしてみる
• 読み込んだ画像をずっとメモリ上に貯めているなら、使ったら開放できるよう実装を工夫する
• 仮想環境であれば物理メモリ割り当てを増やしてみる
• (python側でマルチプロセスやマルチスレッドを実装しているなら)扱うスレッド、プロセス数を減らしてみる
• pythonの他に不要なプロセスが沢山走っていないか確認してみる

Comments

[spiii]

学習データを減らしてみる
-> 何も回らずにエラーで落ちているのですが関係あるのでしょうか?

読み込んだ画像をずっとメモリ上に貯めているなら、使ったら開放できるよう実装を工夫する
batch_sizeをできるだけ小さくしても動きませんでした。

(python側でマルチプロセスやマルチスレッドを実装しているなら)扱うスレッド、プロセス数を減らし
DataLoaderのnum＿workerを変えてみたのですが変わりませんでした。

pythonの他に不要なプロセスが沢山走っていないか確認してみる
動いているpython processをkillしてみましたが変わりませんでした

[spiii]

num_workerを0まで下げることで動きました...
ありがとうございます!