tensorflowを用いたアフィン変換

Question

tensorflowでsess.run()をする前に（マップを）作る段階で
アフィン変換する関数を作りたいです

その時、変換先の座標がテンソルになっていて配列の[]←の中に入れると以下のエラーが出ます。

*** IndexError: only integers, slices (`:`), ellipsis (`...`), numpy.newaxis (`None`) and integer or boolean arrays are valid indices

エラーには配列番号にはintegerのみを入れてくださいとあるのはわかりますが
テンソルをintに変える方法もありません。

コードは以下のようになっています。

def shift_x_y(coords,H,W,B,image):
    x_shift = tf.reshape(coords[:,:,:,0],[-1,H,W,B])
    y_shift = tf.reshape(coords[:,:,:,1],[-1,H,W,B])
    mag = tf.reshape(coords[:,:,:,2],[-1,H,W,B])

    for h in range(H):
        for w in range(W):
            x_ = x_shift[:,h,w,:] #<tf.Tensor 'strided_slice_4:0' shape=(?, 5) dtype=float32>
            y_ = y_shift[:,h,w,:] #<tf.Tensor 'strided_slice_5:0' shape=(?, 5) dtype=float32>
            mag_ = mag[:,h,w,:] #<tf.Tensor 'strided_slice_6:0' shape=(?, 5) dtype=float32>

            new = np.ones((30,30))*255
            for i in range(H):
                for j in range(W):
                    new_x = mag_*i + x_ #<tf.Tensor 'add:0' shape=(?, 5) dtype=float32>
                    new_y = mag_*j + y_ #<tf.Tensor 'add_1:0' shape=(?, 5) dtype=float32>
                    #pdb.set_trace()
                    for k in range(B):
                        #new[tf.transpose(new_x)[k]][tf.transpose(new_y)[k]] = tf.cond(tf.transpose(new_x)[k]>W,lambda:)
                        """
                        if tf.transpose(new_x)[k] > W:
                            pass
                        elif tf.transpose(newy)[k] > H:
                            pass
                        else:
                            new[tf.transpose(new_x)[k]][tf.transpose(new_y)[k]] = image[h][w][k][i][j]
                        """
                        try:
                            new[tf.transpose(new_x)[k]][tf.transpose(new_y)[k]] = image[h][w][k][i][j]
                            print("success {0}".format(k))
                        except:
                            pass
                        pdb.set_trace()


    return 0

何か良い方法ないでしょうか
よろしくお願いします。

Answer 1

tf.castを使うと型変換できます。
エラーになるtensorに対し、tf.cast(変換したいtensor,変換したい型)でintegerにするといいかと思います

Comments

[jaxaman]

回答ありがとうございます。
x = tf.cast(tf.transpose(new_x)[k],tf.int32)
y = tf.cast(tf.transpose(new_y)[k],tf.int32)と変換してみましたが、
new[x][y]
*** TypeError: Only integers, slices (`:`), ellipsis (`...`), tf.newaxis (`None`) and scalar tf.int32/tf.int64 tensors are valid indices, got <tf.Tensor 'Cast:0' shape=(?,) dtype=int32>

となってしまいます。
tensorではないintにしなければならないようです。（例えばnumpyだとか）

現在、tfp.bijectors.Affineというapiを発見しました。これを用いるとaffine変換できそうですが、使い方がわからなくて困っています。

[R.Shigemori]

インデックスが不正というなので、tf.castはkに適用するべきかと思います。
なお、アフィン変換するのであれば、opencvモジュールを使ったほうが簡単かと思います。
私自身は経験がないのですが、以下に使用例などの解説を見つけたので、参考にしてはいかがでしょうか？

https://qiita.com/koshian2/items/c133e2e10c261b8646bf

[jaxaman]

コメントありがとうございます。
インデックスの不正に関しましてはnew[x][y]の段階で出てくるエラーであり、[k]に関しても私がfor k in range(B):で作っているものになりますので、問題はないかと思われます。
opencvのも試してみましたが、アフィン変換の行列をnumpyで与えなくてはならないので、あきらめました。

[R.Shigemori]

エラーの出現箇所がわかっているのであれば、該当のインデックスの型を確認すれば、対策が見えてくるはずです。問題ないと思っていても、現実に不正と認識させている以上、手間がかかってもひとつずつチェックして問題を特定するしかなさそうですね。

opencvを試して課題が見えているのであれば、対策できそうな気もします。質問によるとsess.runの前にアフィン変換するということなので、numpyのarrayで処理しておいて、runするときに引数で与えるというアプローチもありそうです。