質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

321閲覧

TensorFlowにおいてGPUとCPU間の同期問題

leilei

総合スコア39

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1グッド

1クリップ

投稿2018/08/05 15:36

編集2018/08/05 15:37

TensorFlowの本家からの例です:
https://www.tensorflow.org/guide/using_gpu

Python

1# Creates a graph. 2c = [] 3for d in ['/device:GPU:2', '/device:GPU:3']: 4 with tf.device(d): 5 a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3]) 6 b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2]) 7 c.append(tf.matmul(a, b)) 8with tf.device('/cpu:0'): 9 sum = tf.add_n(c) 10

上の'cpu:0' でのcに関する計算は明らかに前に発行したGPUの処理に関係するので、
'cpu:0'と'GPU:0','GPU:1'との間同期を取らなければならないですね。
この同期手続きは何処で行われているのでしょうか。

当然、もしCPUに委託する計算に使われる変数が直前にGPUに委託した処理に関係なければ、GPUとCPU間の同期が不要となります(無駄に同期を取れば、処理能率が悪くなる)。

従って、GPUとCPUの間の変数依存関係をきちんと解析しなければならないと思います。
【質問として】このような仕事はTensonFlowの利用者がするのか、それともTensorFlowが自動的に『解析』してくれるのでしょうか。

oookabe👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

短い答え:
ユーザは気にする必要はありません。

設計から考えて:
利用者にバグを発生させる機会をあげることのメリットが考えられないので、tensorflow側で処理されます。

詳細は:
上記のコードはグラフを構築する部分であり、実際はtensorflowにsumを計算するという命令を送ります。

tensorflowはこれを受けて、sumを計算するためにはcが必要で、cを計算するのにaとbを計算する必要性があり、その行列積まで取る必要があることを解決します。

故にaとbを計算せずにcを計算し終えたものだと考えることはありません。

投稿2018/08/06 01:34

mkgrei

総合スコア8560

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

leilei

2018/08/06 02:43 編集

ご回答ありがとうございます。 これで『遅延評価』と言うやりかたの意義について悟ったような気がします。 後ろから前に定義した変数をコールすることで、自然に「同期を取れる」のですね!! よって同期の苦労が不要になります。 これこそ、『遅延評価』というやり方の存在意義ですよね? そして、所謂『計算グラフ』もきっと『遅延評価』を実現するための仕組みでしょうね?
leilei

2018/08/17 08:45 編集

『計算グラフ』と『遅延評価』とは全然関係ない事であるのは後ほど分かった!! 『計算グラフ』:みんなやっている―――『非計算グラフ』は何? 『遅延評価』:? 結構説明しにくいやつ!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問