Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

1回答

1770閲覧

UserWarning: This DataLoader will create 8 worker processes in total.

Tyutohannpa_

総合スコア25

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2023/06/13 03:17

編集2023/06/13 03:36

前提

以下のコードを実装させようとしています。
https://github.com/zju-vipa/OSGAN/tree/main
意図して、違うバージョンで行っています。

発生している問題・エラーメッセージ

UserWarning: This DataLoader will create 8 worker processes in total. Our suggested max number of worker in current system is 6 (`cpuset` is not taken into account), which is smaller than what this DataLoader is going to create. Please be aware that excessive worker creation might get DataLoader running slow or even freeze, lower the worker number to avoid potential slowness/freeze if necessary. 訳)この DataLoader は合計 8 つのワーカー プロセスを作成します。現在のシステムで推奨されるワーカーの最大数は 6 です (「cpuset」 は考慮されていません)。これは、この DataLoader が作成するものよりも小さくなります。ワーカーを過度に作成すると、DataLoader の動作が遅くなったり、フリーズしたりする可能性があることに注意してください。必要に応じてワーカーの数を減らし、潜在的な速度低下やフリーズを回避してください。

「現在のシステムで推奨されるワーカーの最大数は 6 です」というのは、GPUを変えなければ実行できないということでしょうか
コードに問題がある場合、どういったコードを修正する必要がありますか?

試したこと

調べてみましたが、この件に関する情報があまりなく、パッケージのバージョンを変えてみて実装できるか調べているところです。
pytorchのdataloader.pyにある
num_workers: int を num_workers: 6にしてみましたが、先ほどのエラーがまたでてきだけで変わりませんでした。
こういった場合どう対処するのか、どうか知恵をお貸しください。

現環境

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
GPU  RTX3060

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

1 TorchのDataLoaderの仕様にあたる
https://pytorch.org/docs/stable/data.html#torch.utils.data.DataLoader

2 num_workers が関係していそうと見当をつける

num_workers (int, optional) – how many subprocesses to use for data loading. 0 means that the data will be loaded in the main process. (default: 0)

3 num_workersで検索する
https://github.com/search?q=repo%3Azju-vipa%2FOSGAN%20num_workers&type=code

4 いたるところでnum_workers=8と書かれているのを見つける

という調べ方になるかと。

サブプロセスの数なので関係するのはCPUのコア数/スレッド数でしょう。

pytorchのdataloader.pyにある num_workers: int を num_workers: 6にしてみましたが、先ほどのエラーがまたでてきだけで変わりませんでした。

はメチャクチャです。

投稿2023/06/13 04:10

編集2023/06/13 05:28
quickquip

総合スコア11314

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.30%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問