編集履歴

質問編集履歴

追記

2018/10/25 14:41

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,5 +1,7 @@
 下記のコードで、３万９０００件の文章データを入れているはずが、一文しか入っていないということになっています。
 > Using TensorFlow backend.
 朝霧 の 中 に 九段 の ともし 哉
@@ -14,27 +16,37 @@
 Build model...
+原因を推測される方は何卒、宜しくお願いいたします。
+追記：
+textをpoemsに変えてみました。
+すると、ValueError: Error when checking target: expected dense_7 to have shape (2, 12) but got array with shape (2, 39065)となりました。
+文章が表示される原因が、
+print('Sequences:', sentences)
+であることがわかりました。
 /home/yudai/Desktop/src/keras_AE.py:54: UserWarning: Update your `Model` call to the Keras 2 API: `Model(inputs=Tensor("in..., outputs=Tensor("de...)`
   autoencoder = Model(input=input_word, output=decoded)
-原因を推測される方は何卒、宜しくお願いいたします。
-追記：
+は、
-textをpoemsに変えてみました。
-すると、ValueError: Error when checking target: expected dense_7 to have shape (2, 12) but got array with shape (2, 39065)となりました。
-また、文章が表示される原因が、
-print('Sequences:', sentences)
+autoencoder = Model(inputs=input_word, outputs=decoded)
-であることがわかりました。
+で解消されることがわかりました。

文法訂正

2018/10/25 14:41

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -162,10 +162,6 @@
     sentences.append(text[i: i + maxlen])
-#学習する文字数を表示
-print('Sequences:', sentences)
 #ベクトル化する
 print('Vectorization...')

文法訂正

2018/10/25 14:34

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -210,7 +210,7 @@
 decoded = Dense(12, activation='relu')(encoded)
-autoencoder = Model(input=input_word, output=decoded)
+autoencoder = Model(inputs=input_word, outputs=decoded)
 # #Adamで最適化、loss関数をcategorical_crossentropy

追記

2018/10/25 14:33

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -24,6 +24,20 @@
+追記：
+textをpoemsに変えてみました。
+すると、ValueError: Error when checking target: expected dense_7 to have shape (2, 12) but got array with shape (2, 39065)となりました。
+また、文章が表示される原因が、
+print('Sequences:', sentences)
+であることがわかりました。
 poem.txt
 ```

文法訂正

2018/10/25 14:29

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -24,228 +24,214 @@
-Using TensorFlow backend.
+poem.txt
+```
 朝霧 の 中 に 九段 の ともし 哉
+あたたか な 雨 が 降る なり 枯葎
+菜の花 や は つと 明るき 町 は づれ
+秋風 や 伊予 へ 流る る 汐 の 音
+長閑 さ や 障子 の 穴 に 海 見え て
+若鮎 の 二 手 に なりて 上り けり
+行く 秋 を す つく と 鹿 の 立ち に けり
-corpus length: 20
+我 声 の 風 に なり けり 茸狩
+毎年 よ 彼岸の入り に 寒い の は
+我宿 は 女 ばかり の あつ さ 哉
-total chars: 12
+妻 より は 妾 の 多し 門 涼み
-Sequences: ['朝霧', ' の', ' 中', ' に', ' 九', '段 ', 'の ', 'とも', 'し ']
+みちのく へ 涼み に 行く や 下駄 は い て
+夕立 や 殺生石 の あたり より
+稲妻 や 生血 したたる つるし 熊
+薪 を わる いもうと 一人 冬 籠
+絶えず 人 いこ ふ 夏野 の 石 一つ
+赤蜻蛉 筑波 に 雲 もなか り けり
+何となく 奈良 なつかし や 古 暦
+春 や 昔 十 五 万 石 の 城下 哉
+六月 を 奇麗 な 風 の 吹く こと よ
+夏 瘦 の 骨 に とどまる 命 か な
+行く 我 に とどまる 汝 に 秋 二つ
+柿 く へ ば 鐘 が 鳴る なり 法隆寺
+漱石 が 来 て 虚子 が 来 て 大 三十日
-poem.txt
+枯薄 ここら よ 昔 不破の関
+元日 の 人通り と は なり に けり
+春風 に こぼれ て 赤 し 歯磨粉
+春 の 夜 や 屏風 の 陰 に 物 の 息
 ```
-朝霧 の 中 に 九段 の ともし 哉
-あたたか な 雨 が 降る なり 枯葎
-菜の花 や は つと 明るき 町 は づれ
-秋風 や 伊予 へ 流る る 汐 の 音
-長閑 さ や 障子 の 穴 に 海 見え て
-若鮎 の 二 手 に なりて 上り けり
-行く 秋 を す つく と 鹿 の 立ち に けり
-我 声 の 風 に なり けり 茸狩
-毎年 よ 彼岸の入り に 寒い の は
-我宿 は 女 ばかり の あつ さ 哉
-妻 より は 妾 の 多し 門 涼み
-みちのく へ 涼み に 行く や 下駄 は い て
-夕立 や 殺生石 の あたり より
-稲妻 や 生血 したたる つるし 熊
-薪 を わる いもうと 一人 冬 籠
-絶えず 人 いこ ふ 夏野 の 石 一つ
-赤蜻蛉 筑波 に 雲 もなか り けり
-何となく 奈良 なつかし や 古 暦
-春 や 昔 十 五 万 石 の 城下 哉
-六月 を 奇麗 な 風 の 吹く こと よ
-夏 瘦 の 骨 に とどまる 命 か な
-行く 我 に とどまる 汝 に 秋 二つ
-柿 く へ ば 鐘 が 鳴る なり 法隆寺
-漱石 が 来 て 虚子 が 来 て 大 三十日
-枯薄 ここら よ 昔 不破の関
-元日 の 人通り と は なり に けり
-春風 に こぼれ て 赤 し 歯磨粉
-春 の 夜 や 屏風 の 陰 に 物 の 息
+```python
+import numpy as np
+import codecs
+from keras.layers import Activation, Dense, Input
+from keras.models import Model
+import sys
+#データの読み込み
+with open(r'/home/hoge/Desktop/data/haiku.txt', encoding='utf-8') as f:
+    poems = f.read().splitlines()
+text = poems[0]  # 1個目のデータ
+print(text)
+# コーパスの長さ
+print('corpus length:', len(text))
+# 文字数を数えるため、textをソート
+chars = sorted(list(set(text)))
+# 全文字数の表示
+print('total chars:', len(chars))
+# 文字をID変換
+char_indices = dict((c, i) for i, c in enumerate(chars))
+# IDから文字へ変換
+indices_char = dict((i, c) for i, c in enumerate(chars))
+#テキストを17文字ずつ読み込む
+maxlen = 2
+#サンプルバッチ数
+step = 2
+sentences = []
+for i in range(0, len(text) - maxlen, step):
+    sentences.append(text[i: i + maxlen])
+#学習する文字数を表示
+print('Sequences:', sentences)
+#ベクトル化する
+print('Vectorization...')
+x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
+for i, sentence in enumerate(sentences):
+    for t, char in enumerate(sentence):
+        x[i, t, char_indices[char]] = 1
+#モデルを構築する工程に入る
+print('Build model...')
+#encoderの次元
+encoding_dim = 128
+#入力用の変数
+input_word = Input(shape=(maxlen, len(chars)))
+#入力された語がencodeされたものを格納する
+encoded = Dense(128, activation='relu')(input_word)
+encoded = Dense(64, activation='relu')(encoded)
+encoded = Dense(32, activation='relu')(encoded)
+#潜在変数（実質的な主成分分析）
+latent = Dense(8, activation='relu')(encoded)
+#encodeされたデータを再構成
+decoded = Dense(32, activation='relu')(latent)
+decoded = Dense(64, activation='relu')(decoded)
+decoded = Dense(12, activation='relu')(encoded)
+autoencoder = Model(input=input_word, output=decoded)
+# #Adamで最適化、loss関数をcategorical_crossentropy
+autoencoder.compile(optimizer='Adam', loss='categorical_crossentropy')
+#モデルの構造を見る
+autoencoder.summary()
+#アレイサイズの確認
+print(x.shape)
+#autoencoderの実行
+autoencoder.fit(x, x,
+       epochs=50,
+       batch_size=3,
+       shuffle=False)
+for i in range(17):
+    x_haiku = np.zeros((1, maxlen, len(chars)))
+    for t, char in enumerate(sentence):
+        x_haiku[0,char_indices[char]] = 1.
+        sentence = sentence[:-1]
+print(char)
 ```
-```python
-import numpy as np
-import codecs
-from keras.layers import Activation, Dense, Input
-from keras.models import Model
-import sys
-#データの読み込み
-with open(r'/home/hoge/Desktop/data/haiku.txt', encoding='utf-8') as f:
-    poems = f.read().splitlines()
-text = poems[0]  # 1個目のデータ
-print(text)
-# コーパスの長さ
-print('corpus length:', len(text))
-# 文字数を数えるため、textをソート
-chars = sorted(list(set(text)))
-# 全文字数の表示
-print('total chars:', len(chars))
-# 文字をID変換
-char_indices = dict((c, i) for i, c in enumerate(chars))
-# IDから文字へ変換
-indices_char = dict((i, c) for i, c in enumerate(chars))
-#テキストを17文字ずつ読み込む
-maxlen = 2
-#サンプルバッチ数
-step = 2
-sentences = []
-for i in range(0, len(text) - maxlen, step):
-    sentences.append(text[i: i + maxlen])
-#学習する文字数を表示
-print('Sequences:', sentences)
-#ベクトル化する
-print('Vectorization...')
-x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
-for i, sentence in enumerate(sentences):
-    for t, char in enumerate(sentence):
-        x[i, t, char_indices[char]] = 1
-#モデルを構築する工程に入る
-print('Build model...')
-#encoderの次元
-encoding_dim = 128
-#入力用の変数
-input_word = Input(shape=(maxlen, len(chars)))
-#入力された語がencodeされたものを格納する
-encoded = Dense(128, activation='relu')(input_word)
-encoded = Dense(64, activation='relu')(encoded)
-encoded = Dense(32, activation='relu')(encoded)
-#潜在変数（実質的な主成分分析）
-latent = Dense(8, activation='relu')(encoded)
-#encodeされたデータを再構成
-decoded = Dense(32, activation='relu')(latent)
-decoded = Dense(64, activation='relu')(decoded)
-decoded = Dense(12, activation='relu')(encoded)
-autoencoder = Model(input=input_word, output=decoded)
-# #Adamで最適化、loss関数をcategorical_crossentropy
-autoencoder.compile(optimizer='Adam', loss='categorical_crossentropy')
-#モデルの構造を見る
-autoencoder.summary()
-#アレイサイズの確認
-print(x.shape)
-#autoencoderの実行
-autoencoder.fit(x, x,
-       epochs=50,
-       batch_size=3,
-       shuffle=False)
-for i in range(17):
-    x_haiku = np.zeros((1, maxlen, len(chars)))
-    for t, char in enumerate(sentence):
-        x_haiku[0,char_indices[char]] = 1.
-        sentence = sentence[:-1]
-print(char)
-```

環境詳細を記述

2018/10/25 14:12

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,4 +1,22 @@
-下記のコードで、３万９０００件の文章データを入れているはずが、１２しか入っていないということになっています。
+下記のコードで、３万９０００件の文章データを入れているはずが、一文しか入っていないということになっています。
+> Using TensorFlow backend.
+朝霧 の 中 に 九段 の ともし 哉
+corpus length: 20
+total chars: 12
+Sequences: ['朝霧', ' の', ' 中', ' に', ' 九', '段 ', 'の ', 'とも', 'し ']
+Vectorization...
+Build model...
+/home/yudai/Desktop/src/keras_AE.py:54: UserWarning: Update your `Model` call to the Keras 2 API: `Model(inputs=Tensor("in..., outputs=Tensor("de...)`
+  autoencoder = Model(input=input_word, output=decoded)

タイトルの改善

2018/10/25 14:12

投稿

yep

スコア45

test CHANGED Viewed

	@@ -1 +1 @@
1	- ~~All inputs to the layer should be tensors.とは~~
1	+ 文章が読み込まれません

test CHANGED Viewed

@@ -1,48 +1,22 @@
+下記のコードで、３万９０００件の文章データを入れているはずが、１２しか入っていないということになっています。
-下記のコードで、
+原因を推測される方は何卒、宜しくお願いいたします。
-> Traceback (most recent call last):
+Using TensorFlow backend.
+朝霧 の 中 に 九段 の ともし 哉
+corpus length: 20
+total chars: 12
-  File "/home/yudai/.local/lib/python3.6/site-packages/keras/engine/base_layer.py", line 279, in assert_input_compatibility
+Sequences: ['朝霧', ' の', ' 中', ' に', ' 九', '段 ', 'の ', 'とも', 'し ']
-    K.is_keras_tensor(x)
-  File "/home/yudai/.local/lib/python3.6/site-packages/keras/backend/tensorflow_backend.py", line 474, in is_keras_tensor
-    str(type(x)) + '`. '
-ValueError: Unexpectedly found an instance of type `<class 'int'>`. Expected a symbolic tensor instance.
-> During handling of the above exception, another exception occurred:
->
-> Traceback (most recent call last):
->   File "/home/yudai/Desktop/keras_AE.py", line 94, in <module>
->     model = autoencoder(len(word2id))
->   File "/home/yudai/.local/lib/python3.6/site-packages/keras/engine/base_layer.py", line 440, in __call__
->     self.assert_input_compatibility(inputs)
->   File "/home/yudai/.local/lib/python3.6/site-packages/keras/engine/base_layer.py", line 285, in assert_input_compatibility
->     str(inputs) + '. All inputs to the layer '
-> ValueError: Layer model_1 was called with an input that isn't a symbolic tensor. Received type: <class 'int'>. Full input: [4]. All inputs to the layer should be tensors.
-と出ます。
-レイヤに実際に入力を与えていないようです。
-[GitHub](https://stackoverflow.com/questions/44852153/layer-called-with-an-input-that-isnt-a-symbolic-tensor-keras)
@@ -50,15 +24,61 @@
 ```
-朝霧 の 中 に 九段 の ともし 哉
+朝霧 の 中 に 九段 の ともし 哉
-あたたか な 雨 が 降る なり 枯葎
+あたたか な 雨 が 降る なり 枯葎
-菜の花 や は つと 明るき 町 は づれ
+菜の花 や は つと 明るき 町 は づれ
-秋風 や 伊予 へ 流る る 汐 の 音
+秋風 や 伊予 へ 流る る 汐 の 音
-長閑 さ や 障子 の 穴 に 海 見え て
+長閑 さ や 障子 の 穴 に 海 見え て
+若鮎 の 二 手 に なりて 上り けり
+行く 秋 を す つく と 鹿 の 立ち に けり
+我 声 の 風 に なり けり 茸狩
+毎年 よ 彼岸の入り に 寒い の は
+我宿 は 女 ばかり の あつ さ 哉
+妻 より は 妾 の 多し 門 涼み
+みちのく へ 涼み に 行く や 下駄 は い て
+夕立 や 殺生石 の あたり より
+稲妻 や 生血 したたる つるし 熊
+薪 を わる いもうと 一人 冬 籠
+絶えず 人 いこ ふ 夏野 の 石 一つ
+赤蜻蛉 筑波 に 雲 もなか り けり
+何となく 奈良 なつかし や 古 暦
+春 や 昔 十 五 万 石 の 城下 哉
+六月 を 奇麗 な 風 の 吹く こと よ
+夏 瘦 の 骨 に とどまる 命 か な
+行く 我 に とどまる 汝 に 秋 二つ
+柿 く へ ば 鐘 が 鳴る なり 法隆寺
+漱石 が 来 て 虚子 が 来 て 大 三十日
+枯薄 ここら よ 昔 不破の関
+元日 の 人通り と は なり に けり
+春風 に こぼれ て 赤 し 歯磨粉
+春 の 夜 や 屏風 の 陰 に 物 の 息
 ```
@@ -66,8 +86,6 @@
 ```python
-# coding:utf-8
 import numpy as np
 import codecs
@@ -76,24 +94,22 @@
 from keras.models import Model
+import sys
 #データの読み込み
-with open(r'/home/yudai/Desktop/poem.txt', encoding='utf-8') as f:
+with open(r'/home/hoge/Desktop/data/haiku.txt', encoding='utf-8') as f:
-  poems = f.readline()
+    poems = f.read().splitlines()
-  while poems:
-    print (poems)
-    poems = f.readline()
 text = poems[0]  # 1個目のデータ
 print(text)
 # コーパスの長さ
 print('corpus length:', len(text))
@@ -120,7 +136,7 @@
 #サンプルバッチ数
-step = 1
+step = 2
 sentences = []
@@ -132,8 +148,6 @@
 print('Sequences:', sentences)
-print('next_chars:', next_chars)
 #ベクトル化する
 print('Vectorization...')
@@ -184,19 +198,21 @@
 autoencoder.compile(optimizer='Adam', loss='categorical_crossentropy')
+#モデルの構造を見る
 autoencoder.summary()
+#アレイサイズの確認
 print(x.shape)
-# #autoencoderの実行
+#autoencoderの実行
 autoencoder.fit(x, x,
-       epochs=500,
+       epochs=50,
-       batch_size=12,
+       batch_size=3,
        shuffle=False)
@@ -208,12 +224,10 @@
     for t, char in enumerate(sentence):
-        x_haiku[0, t, char_indices[char]] = 1.
+        x_haiku[0,char_indices[char]] = 1.
         sentence = sentence[:-1]
 print(char)
 ```

文法訂正

2018/10/25 13:48

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -124,14 +124,10 @@
 sentences = []
-next_chars = []
 for i in range(0, len(text) - maxlen, step):
     sentences.append(text[i: i + maxlen])
-    next_chars.append(text[i + maxlen])
 #学習する文字数を表示
 print('Sequences:', sentences)
@@ -144,16 +140,12 @@
 x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
-y = np.zeros((len(sentences), len(chars)), dtype=np.bool)
 for i, sentence in enumerate(sentences):
     for t, char in enumerate(sentence):
         x[i, t, char_indices[char]] = 1
-    y[i, char_indices[next_chars[i]]] = 1
 #モデルを構築する工程に入る
 print('Build model...')
@@ -204,7 +196,7 @@
        epochs=500,
-       batch_size=256,
+       batch_size=12,
        shuffle=False)

文法訂正

2018/10/25 13:26

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -116,7 +116,7 @@
 #テキストを17文字ずつ読み込む
-maxlen = 1
+maxlen = 2
 #サンプルバッチ数
@@ -208,4 +208,20 @@
        shuffle=False)
+for i in range(17):
+    x_haiku = np.zeros((1, maxlen, len(chars)))
+    for t, char in enumerate(sentence):
+        x_haiku[0, t, char_indices[char]] = 1.
+        sentence = sentence[:-1]
+print(char)
 ```

読みやすくしました

2018/10/25 13:21

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -208,126 +208,4 @@
        shuffle=False)
-#モデルの構造を保存
-model_json = autoencoder.to_json()
-with open('keras_AE.json', 'w') as json_file:
-    json_file.write(model_json)
-#学習済みモデルの重みを保存
-autoencoder.save_weights('AE.h5')
-API_TOKEN = "xoxp-236860929750-418287614128-462130918069-71e23e344e08baad360681ed400c007e"
-import json
-from collections import OrderedDict
-import MeCab
-import codecs
-from slackbot.bot import default_reply
-from slackbot.bot import Bot
-import numpy as np
-import os
-import io, sys
-sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
-tagger = MeCab.Tagger('mecabrc')
-#モデルの構造を読む
-word2id = json.load(open("keras_AE.json", "r"))
-model = autoencoder(len(word2id))
-#モデルをロードする
-loaded_model = model_from_json(word2id)
-#重みを適用する
-loded_model.load_weights('AE.h5')
-@default_reply
-def replay_message(message):
-    parsed_sentence = []
-    try:
-        for chunk in tagger.parse(message.body["text"].encode("utf-8")).splitlines()[:-1]:
-            (surface, feature) = chunk.decode("utf-8").split('\t')
-            parsed_sentence.append(surface)
-        parsed_sentence = ["<start>"] + parsed_sentence + ["<eos>"]
-        ids = []
-        for word in parsed_sentence:
-            if word in word2id:
-                id = word2id[word]
-                ids.append(id)
-            else:
-                ids.append(0)
-        ids_question = ids
-        sentence = "".join(model.generate_sentence(ids_question, dictionary=id2word)).encode("utf-8")
-        sentence = sentence.replace("◯", "HAIJIN")
-        message.reply(sentence)
-    except Exception as e:
-        print (e)
-        message.reply("解析できなかったのでもう一度おねがいします。")
-def main():
-    bot = Bot()
-    bot.run()
-if __name__ == "__main__":
-    main()
 ```

詳細の追加

2018/10/25 13:20

投稿

yep

スコア45

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -38,9 +38,11 @@
 と出ます。
-このエラーの意味がよく分かりません。
-int型では、無いということでしょうか？
+レイヤに実際に入力を与えていないようです。
+[GitHub](https://stackoverflow.com/questions/44852153/layer-called-with-an-input-that-isnt-a-symbolic-tensor-keras)