自然言語処理入門書でエラーがでる件

Question

打ち消し線### 前提・実現したいこと
15stepで踏破　自然言語処理　アプリケーション開発入門で　pythonを勉強しています。
サンプルコードを実行したのですが、エラーが出てしまい、原因がわからず、
エラーの理由がわかると助かります。 宜しくお願い致します。

＊　本のページは、220～222Page目が該当します。

　　以下のエラーメッセージが発生しました。

発生している問題・エラーメッセージ

  File "dialogue_agent.py", line 31,in _tokenize
   if features[6] != '*'\  
　IndexError:list index out of range

該当のソースコード

import unicodedata
from os.path import dirname, join, normpath

import MeCab
import neologdn
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline
from keras.layers import Dense
from keras.models import Sequential
from keras.wrappers.scikit_learn import KerasClassifier




class DialogueAgent:
    def __init__(self):
        self.tagger = MeCab.Tagger()

    def _tokenize(self, text):
        text = unicodedata.normalize('NFKC', text)
        text = neologdn.normalize(text)
        text = text.lower()

        node = self.tagger.parseToNode(text)
        result = []
        while node:
            features = node.feature.split(',')

            if features[0] != 'BOS/EOS':
                if features[0] not in ['助詞', '助動詞']:
                    token = features[6] \
                            if features[6] != '*' \
                            else node.surface
                    result.append(token)

            node = node.next

        return result

    def _build_mlp(self, input_dim, hidden_units, output_dim):
        mlp = Sequential()
        mlp.add(Dense(units=hidden_units,
                      input_dim=input_dim,
                      activation='relu'))
        mlp.add(Dense(units=output_dim, activation='softmax'))
        mlp.compile(loss='categorical_crossentropy',
                    optimizer='adam')

        return mlp

    def train(self, texts, labels):  # <1>
        vectorizer = TfidfVectorizer(tokenizer=self._tokenize,
                                     ngram_range=(1, 2))
        vectorizer.fit(texts)

        feature_dim = len(vectorizer.get_feature_names())
        n_labels = max(labels) + 1

        classifier = KerasClassifier(build_fn=self._build_mlp,
                                     input_dim=feature_dim,
                                     hidden_units=32,
                                     output_dim=n_labels)

        pipeline = Pipeline([
            ('vectorizer', vectorizer),
            ('classifier', classifier),
        ])

        pipeline.fit(texts, labels, classifier__epochs=100)

        self.pipeline = pipeline

    def predict(self, texts):
        return self.pipeline.predict(texts)  # <2>


if __name__ == '__main__':
    BASE_DIR = normpath(dirname(__file__))

    training_data = pd.read_csv(join(BASE_DIR, './training_data.csv'))

    dialogue_agent = DialogueAgent()
    dialogue_agent.train(training_data['text'], training_data['label'])

    with open(join(BASE_DIR, './replies.csv')) as f:
        replies = f.read().split('\n')

    input_text = '名前を教えてよ'
    predictions = dialogue_agent.predict([input_text])
    predicted_class_id = predictions[0]

    print(replies[predicted_class_id])

補足情報（FW/ツールのバージョンなど）

環境　goorm
tensorflow 1.14.0
keras 2.1.6

Comments

[jbpb0]

pythonのコードの一番最初の行のすぐ上に
```python
だけの行を追加してください
また、pythonのコードの一番最後の行のすぐ下に
```
だけの行を追加してください

現状、コードがとても読み辛いです
質問にコードを載せる際に上記をやってくれたら、他人がコードを読みやすくなり、コードの実行による現象確認もやりやすくなるので、回答されやすくなります

[ThAoyagi]

ご指摘、ありがとうございます。修正致しました。宜しくお願い致します。

[jbpb0]

エラーは、
Traceback...
のところから、省略せずに全部書いてください
(もちろん、ユーザー名等の個人情報は伏せ字にしてかまいません)

ここに書かないで、質問を編集して追記してください

[jbpb0]

あと、書籍のどのページのコードか書いてくれたらありがたいです
探すの面倒くさいので

[jbpb0]

92ページのリスト4は実行できますか？
エラー出ないなら、リスト5, 6, 9も試してください
(リスト9は、74ページのリスト17の修正版です)

[ThAoyagi]

サポート頂きありがとうございます。
リスト4，5，6は実行できました。リスト９が以下のエラーとなりました。
　File ”dialogue_agent_with_preprocessing.py" ,line30 ,in_tokenize
if　features[6] !='*' \
IndexError:list index out of range

　となりました。　（上の￥はバックスラッシュです）
　宜しくお願い致します。

[jbpb0]

リスト9は(そしておそらく質問のコードも)
text = unicodedata.normalize('NFKC', text)
text = neologdn.normalize(text)
text = text.lower()
の3行を全部コメント化して無効にしたら、エラー出ないと思います

そこから、どの行を有効に戻したらエラーが出るか、確認してください

エラーの原因の処理が分かったら、書籍の「02.2 正規化」(83ページ〜)の、エラー原因の処理に該当する部分の解説を読みながら、そこのコードを実行して、どうなるか確認してください

おそらく、書籍に書かれてるような結果にはならないと思います

[ThAoyagi]

迅速なサポートを頂き感謝です。
３行をコメント致しましたが、同じエラーが発生しました。
リスト９と対象もおなじです。
　お手数おかけします。宜しくお願い致します。

[jbpb0]

> ３行をコメント致しましたが、同じエラーが発生しました。

それは失礼しました

エラー原因詳しく調べようと、質問のコードを動かしてみたら、エラー出ずに動いてしまいました
実行手順を回答に書いたので、確認してください

[jbpb0]

CSVファイルは、書籍のサンプルコードのZIP内のものをお使いでしょうか？
もし、独自に作成したCSVファイルを使っているなら、書籍のサンプルコードのZIP内のものを(手を加えずにそのまま)使ってみてください
もしかしたら、作成したCSVファイルに何か問題があるのかもしれませんので

Answer 1

Google Colabで質問のコードを(ほぼ)そのまま動かしたら、エラー出ずに実行できました

手順を書くので、やってみてください
・サンプルコードダウンロードサイト から、書籍のサンプルコードのZIPを、手元のPC内にダウンロードして解凍
・Google Colabでノートブックを新規作成
・書籍サンプルコードの「dialogue_agent_data」ディレクトリ内のCSVファイルを全部、Google Colabの「sample_data」ディレクトリにアップロード
・下記コードをGoogle Colabで実行

!pip uninstall -y tensorflow
!pip uninstall -y keras-nightly
!pip uninstall -y keras
!pip install tensorflow==1.15.3
!pip install keras==2.3.1

!apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab
!pip install mecab-python3
!ln -s /etc/mecabrc /usr/local/etc/mecabrc
!pip install neologdn

・下記コードをGoogle Colabで実行

import unicodedata
from os.path import dirname, join, normpath

import MeCab
import neologdn
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline
from keras.layers import Dense
from keras.models import Sequential
from keras.wrappers.scikit_learn import KerasClassifier




class DialogueAgent:
    def __init__(self):
        self.tagger = MeCab.Tagger()

    def _tokenize(self, text):
        text = unicodedata.normalize('NFKC', text)
        text = neologdn.normalize(text)
        text = text.lower()

        node = self.tagger.parseToNode(text)
        result = []
        while node:
            features = node.feature.split(',')

            if features[0] != 'BOS/EOS':
                if features[0] not in ['助詞', '助動詞']:
                    token = features[6] \
                            if features[6] != '*' \
                            else node.surface
                    result.append(token)

            node = node.next

        return result

    def _build_mlp(self, input_dim, hidden_units, output_dim):
        mlp = Sequential()
        mlp.add(Dense(units=hidden_units,
                      input_dim=input_dim,
                      activation='relu'))
        mlp.add(Dense(units=output_dim, activation='softmax'))
        mlp.compile(loss='categorical_crossentropy',
                    optimizer='adam')

        return mlp

    def train(self, texts, labels):  # <1>
        vectorizer = TfidfVectorizer(tokenizer=self._tokenize,
                                     ngram_range=(1, 2))
        vectorizer.fit(texts)

        feature_dim = len(vectorizer.get_feature_names())
        n_labels = max(labels) + 1

        classifier = KerasClassifier(build_fn=self._build_mlp,
                                     input_dim=feature_dim,
                                     hidden_units=32,
                                     output_dim=n_labels)

        pipeline = Pipeline([
            ('vectorizer', vectorizer),
            ('classifier', classifier),
        ])

        pipeline.fit(texts, labels, classifier__epochs=100)

        self.pipeline = pipeline

    def predict(self, texts):
        return self.pipeline.predict(texts)  # <2>


if __name__ == '__main__':
    #BASE_DIR = normpath(dirname(__file__))
    from pathlib import Path
    BASE_DIR = normpath(Path().resolve())

    #training_data = pd.read_csv(join(BASE_DIR, './training_data.csv'))
    training_data = pd.read_csv(join(BASE_DIR, './sample_data/training_data.csv'))


    dialogue_agent = DialogueAgent()
    dialogue_agent.train(training_data['text'], training_data['label'])

    #with open(join(BASE_DIR, './replies.csv')) as f:
    with open(join(BASE_DIR, './sample_data/replies.csv')) as f:
        replies = f.read().split('\n')

    input_text = '名前を教えてよ'
    predictions = dialogue_agent.predict([input_text])
    predicted_class_id = predictions[0]

    print(replies[predicted_class_id])

上記二つ目のPythonコードは、Google Colabで動くように、質問のコードを3ヶ所修正しただけです

Google Colabで質問のコードが(ほぼ)そのままでエラー出ずに動くことから、エラーの原因はコードではなく、質問者さんの実行環境・条件のどこかに原因がある可能性があります

Comments

[ThAoyagi]

サポートありがとうございます。
ガイドに沿って、Google colabを使い、修正をしたところ、エラーが解消いたしました。
短時間で、ヘルプして頂き感謝です。ありがとうございます。助かりました。