質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

1回答

1294閲覧

TensorFlowで実装したLSTMでデータ数の違うデータを学習させたい

YanNie

総合スコア4

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

2クリップ

投稿2019/08/19 06:14

前提・実現したいこと

google colaboratory:TensorFlowを用いてLSTMを実装しているのですが詰まってしまったため質問させていただきます使用するデータは下記に示すようなデータです

数値A数値B数値C文章A文章B文章C
100200300あれはパンだあれは像だあれはペンギンだ
150300200コーヒー飲みたい
50200500映画を見に行く遊園地に行く

上表の様に文章数が一定数ではない(3個ある行もあれば1個しかない行もある)データで行ごとに学習させたいのですが可能でしょうかまた可能であればどのような方法があるでしょうか

最初は数値のみで行っていたのですが文章も利用できないかと思い質問させていただきました

現在は数値のみを正規化した後,学習させ,文章は文章だけ抜き出しdoc2vecでベクトル化しています.
数値と文章は別々のモデルになってしまっていてこのままではどの行の文章なのかわからないので困っています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

お疲れさまです。参考になるか微妙ですが、回答します。

いくつかの方法があるかと思っています。

  • 文章をすべて結合する
#文章
1あれはパンだ <EOS> あれは像だ <EOS> あれはペンギンだ
2コーヒー飲みたい <EOS> <PAD> <EOS> <PAD>
3映画を見に行く <EOS> 遊園地に行く <EOS> <PAD>

という形で、一つの文章としてまとめてしまいます。
一番簡便な方法かと思います。

  • 文章ごとにLSTMで埋め込みを作り、縮約する。

Reshapeすると、処理がかんたんになります。

#文章A文章B文章C
1あれはパンだあれは像だあれはペンギンだ
2コーヒー飲みたい<PAD><PAD>
3映画を見に行く遊園地に行く<PAD>

というようなデータに対して下記のようにreshapeすると、

#文章
1あれはパンだ
1あれは像だ
1あれはペンギンだ
2コーヒー飲みたい
2<PAD>
2<PAD>
3映画を見に行く
3遊園地に行く
3<PAD>

一度処理でLSTMの埋め込みを作れます。

#文章
1lstm(あれはパンだ)
1lstm(あれは像だ)
1lstm(あれはペンギンだ)
2lstm(コーヒー飲みたい)
2lstm(<PAD>)
2lstm(<PAD>)
3lstm(映画を見に行く)
3lstm(遊園地に行く)
3lstm(<PAD>)

あとは平均を取るなどして、縮約すれば埋め込みが作れます。

#文章
1lstm(あれはパンだ) + lstm(あれは像だ) +lstm(あれはペンギンだ)
2lstm(コーヒー飲みたい) + lstm(<PAD>) + lstm(<PAD>)
3lstm(映画を見に行く) + lstm(遊園地に行く) + lstm(<PAD>)

以上です。

投稿2019/08/21 03:21

m3yrin

総合スコア132

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問