単語のID化ができない

Question

##　単語埋め込みがしたい
機械学習のモデル(LSTMなど)にテキストデータを入力したいのでembedding layerを利用したいです。
データセットは青空文庫の小説を利用しようと思っております。
環境はGoogle Colaboratoryです。

やりたいことは以下の通りです。
0. 単語の分かち書き(ここはできた)
0. ID化
0. Word2Vecの分散表現とIDを辞書にする？
0. embedding層に埋め込む(参考サイト様)
kerasで学習済みword2vecをembedding layerに組み込む方法
0. モデルを作る
0. 文章生成のコードを書く

ソースコード

import os
import tensorflow as tf
import tensorflow_datasets as tfds
import numpy as np
import random
from google.colab import files
import re
from janome.tokenizer import Tokenizer

FILE_PATH = "./kaijin.txt"
text=""
with open(FILE_PATH, 'r',encoding="utf-8") as f:
  for line in f: 
    lines = line.split()
    text += " ".join(lines)
    text1 = re.sub("《[^》]+》", "", text) # ルビの削除
    text1 = re.sub("［[^］]+］", "", text1) # 読みの注意の削除
    text1 = re.sub("[｜ 　「」\n]", "", text1) # | と全角半角スペース、「」と改行の削除

text = text.lower()
seperator = "。"  # 。をセパレータに指定
text2 = text1.split(seperator)  # セパレーターを使って文章をリストに分割する
text2.pop() # 最後の要素は空の文字列になるので、削除
text2 = [x+seperator for x in text2]  # 文章の最後に。を追加
print(text2)

example_text = []

t = Tokenizer()  # Tokenizerの初期化。
for i in text2:
    for token in t.tokenize(i):
        example_text.append(token.surface)
print(example_text)

['その', 'ころ', '、', '東京', '中', 'の', '町', 'という', '町', '、', '家', 'という', '家', 'で', 'は', '、', 'ふたり', '以上', 'の', '人', 'が', '顔', 'を', 'あわせ', 'さえ', 'すれ', 'ば', '、', 'まるで', 'お', '天気', 'の', 'あいさつ', 'でも', 'する', 'よう', 'に', '、', '怪人', '二', '十', '面相', 'の', 'うわさ', 'を', 'し', 'て', 'い', '顔', '、', 'ちがっ', 'た', '姿', 'で', '、', '人', 'の', '前', 'に', 'あらわれる', 'の', 'です', '。']

このように分かち書きまではできました。

tokenizer = Tokenizer(wakati=True)
tokenized_text = tokenizer.tokenize(example_text)
vocabulary_list = list(set(tokenized_text))
encoder = tfds.deprecated.text.TokenTextEncoder(vocabulary_list, tokenizer=tokenizer)
encoded_example = encoder.encode(example_text)

AttributeError                            Traceback (most recent call last)
<ipython-input-27-ff6fec81ea0d> in <module>()
      4 
      5 tokenizer = Tokenizer(wakati=True)
----> 6 tokenized_text = tokenizer.tokenize(example_text)
      7 vocabulary_list = list(set(tokenized_text))
      8 encoder = tfds.deprecated.text.TokenTextEncoder(vocabulary_list, tokenizer=tokenizer)
AttributeError: 'list' object has no attribute 'strip'

TensorFlow Datasetsを使ってテキストの分かち書きとID化をする
こちらのサイト様を参考にしてID化しようとしているのですが、エラーが起きてしまい上手くID化できませんでした。

リスト型からstr型に変換すれば解決できるのでしょうか？
そして図々しいですが、この後どうすれば[単語, 単語ID, W2Vの分散表現]という配列？を作れるのでしょうか。
できればコードを書いて教えていただきたいです。

追記

tokenizer = Tokenizer(wakati=True)
tokenized_text = tokenizer.tokenize(','.join(map(str,example_text)))
vocabulary_list = list(set(tokenized_text))
encoder = tfds.deprecated.text.TokenTextEncoder(vocabulary_list, tokenizer=tokenizer)
encoded_example = encoder.encode(example_text)

<ipython-input-49-771cfc3993de> in <module>()
      7 vocabulary_list = list(set(tokenized_text))
      8 encoder = tfds.deprecated.text.TokenTextEncoder(vocabulary_list, tokenizer=tokenizer)
----> 9 encoded_example = encoder.encode(example_text)

TypeError: Expected binary or unicode string, 
got ['その', 'ころ', '、', '東京', '中', 'の', '町', 'という',…]

書き換えてみるとこうなりました。どうすればいいでしょうか…

Comments

[Daregada]

なぜ、分かち書きがおわったリスト(example_text, 名前が良くないね)を、再度tokenizeしようとしているんですか?

Answer 1

エラーの原因は、tokenizeが終わったリストをtokenizeの引数に指定していることです。複数のWebページを参考にしていて、すり合わせができていないのでは?

以下は、ファイル全体を一気に読んで、まとめてルビの削除などを行ない、文ごとに分割せずにtokenizeとID化を行なう例です。

from janome.tokenizer import Tokenizer
import tensorflow_datasets as tfds
import re

FILE_PATH = "./kaijin.txt"
example_text = ""
with open(FILE_PATH, 'r', encoding="utf-8") as f:
    example_text = f.read()

example_text = re.sub("《.+?》", "", example_text)  # ルビの削除
example_text = re.sub("［.+?］", "", example_text)  # 読みの注意の削除
example_text = re.sub("[｜ 　「」\n]", "", example_text)  # | と全角半角スペース、「」と改行の削除
example_text = example_text.lower()
print(f"example_text: {example_text}")

tokenizer = Tokenizer(wakati=True)
tokenized_text = list(tokenizer.tokenize(example_text))
print(f"tokenized_text: {tokenized_text}")

vocabulary_list = list(set(tokenized_text))
print(f"vocabulary_list: {vocabulary_list}")

encoder = tfds.deprecated.text.TokenTextEncoder(
    vocabulary_list, tokenizer=tokenizer)
encoded_example = encoder.encode(example_text)
print(f"encoded_example: {encoded_example}")

print(dict(zip(vocabulary_list, encoded_example)))

decoded_example = encoder.decode(encoded_example)
print(f"decoded_example: {decoded_example}")