質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

Q&A

解決済

1回答

9562閲覧

TensorFlowでの訓練データについて(自然言語処理)

hiroto0227

総合スコア14

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

0グッド

1クリップ

投稿2017/03/28 03:37

Neural networkで何か作ってみたいと思い、チュートリアルを参考にして、自分で実装しようと思いました。
チュートリアルと同じことをやっても嫌だなと思ったので固有抽出表現というラベル付けの識別を自分で実装しています。チュートリアルと変わることは、入力するデータ型とくらいです。

チュートリアルでは入力は手書き文字の28x28の画像ベクトルでした。今回はそれが各単語をword2vecにより単語をベクトル化した300次元のベクトルとしました。ラベルに関してはラベル名をid化した18この数字です。

python

1import tensorflow as tf 2import numpy as np 3 4batch_size = 100 # バッチの数 5#それぞれのtensorを作成する 6x = tf.placeholder(tf.float32, [None,len(Xvec[0])]) 7W = tf.Variable(tf.zeros([len(Xvec[0]),len(set(label))])) 8b = tf.Variable(tf.zeros([len(set(label))])) 9 10#モデルの作成 11y = tf.nn.softmax(tf.matmul(x, W) + b) 12#正解を入れるための箱を宣言 13y_ = tf.placeholder(tf.float32, [None,len(set(Y))]) 14#学習の方法を交差エントロピーの減少と設定。 15cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])) 16#学習方法を勾配降下法と設定 17train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) 18 19#sessionを起動 20sess = tf.InteractiveSession() 21tf.global_variables_initializer().run() 22 23#batchごとに学習開始 24for i in range(0, len(Xvec), batch_size): 25 x_batch = Xvec[i:i+batch_size] 26 y_batch = label[i:i+batch_size] 27→ sess.run(train_step, feed_dict={x: x_batch, y_: y_batch}) 28#ここで下エラーが出る 29#ValueError: setting an array element with a sequence.

調べたところnumpyのところでエラーが出てると書いてありました。
データ型がおかしいのかと思い、調べましたがXvecもlabelもどちらもfloat32になっていました。
他に考えられる原因はfeed.dictで与える型がfloat32ではダメなのかと思いました。
また、x_batchの中身が配列になっているのもダメなのではないかと思います。

いろいろ考えたら頭の中がぐちゃぐちゃしてしまいました。解決策がございましたらお願いいたします。

データについて参考となりそうなものを載せておきます。

python

1> Xvec.dtype 2dtype('O') 3> Xvec[0].dtype 4dtype('float32') 5>len(Xvec) 616015 7>label.dtype 8dtype('float32') 9>Xvec.shape 10(16009,) 11>Xvec[0] 12array([ -2.01150000e-01, 1.67799994e-01, -1.45109996e-01, 13 -1.99019998e-01, 2.93040007e-01, 2.08790004e-01, 14 3.25360000e-01, ... -4.27370012e-01, 15 -9.79190022e-02, 2.06489995e-01], dtype=float32) 16>label 17array([ 1., 9., 9., ..., 16., 16., 16.], dtype=float32)

長くなりましたが、よろしくお願いいたします。
他にも必要なデータがございましたら、いってください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

TensorFlowはほとんど初心者ですが、MNISTチュートリアルを確認したところ
labelshapeが気になります。(1-ホットベクトルになっていない)

つまりlabel

[ 1., 9., 9., ..., 16., 16., 16.]

ではなく、以下のような形になっていないといけないのではないでしょうか?

[[ 1. 0. 0. ..., 0. 0. 0.] # 1番目のみ1 [ 0. 0. 0. ..., 1. 0. 0.] # 9番目のみ1 [ 0. 0. 0. ..., 1. 0. 0.] ..., [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 1. 0.]]

ちなみにMNISTチュートリアルで利用されているデータ内容の確認結果は以下のようになっています。

Python

1mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) 2# 確認表示 3print("image:shape=%s)"%(repr(mnist.train.images.shape))) 4print(mnist.train.images) 5print("label:shape=%s)"%(repr(mnist.train.labels.shape))) 6print(mnist.train.labels)

上記の結果

image:shape=(55000, 784)) [[ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] ..., [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.]] label:shape=(55000, 10)) [[ 0. 0. 0. ..., 1. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] ..., [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 0. 0.] [ 0. 0. 0. ..., 0. 1. 0.]]

投稿2017/03/28 09:24

can110

総合スコア38233

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

hiroto0227

2017/03/29 02:36

まさにおっしゃる通りでした! データのshapeが正しくなかったです。 ありがとうございました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問