テキストをベクトル化して遊ぶ。

Question

前提・実現したいこと

テキスト分析。janomeで日本語を分かち書きにして、Word2Vecに読み込ませたい。

発生している問題・エラーメッセージ

File "<ipython-input-15-f1a093934710>", line 17
    if hinsi in ["動詞", "形容詞", "動詞", "記号"]：
                                         ^
SyntaxError: invalid character in identifier

該当のソースコード

# 形態素解析
t = Tokenizer()
results = []

# テキストを1行ずつ処理する
lines = txt.split("\r_n")
for line in lines:
    s = line
    s = s.replace("|", "")
    tokens = t.tokenize(s) #形態素解析
    
    #　必要な語句だけを対象とする
    r = []
    for tok in tokens:
        if tok.base_form == "*":
            w = tok.surface
        else:
            w = tok.base_form
        ps = tok.part_of_speech # 品詞情報
        hinsi = ps.split(",")[0]
        if hinsi in ["動詞", "形容詞", "動詞", "記号"]：
        　　r.append(w)
    rl = (" ".join(r)).strip()
    results.append(rl)
    print(rl) # 画面に分かち書きした行を表示

# 書き込み先テキストを開く
wakati_file = "AbeSpeech.wakati"
with open(wakati_file, "w", encoding="utf-8") as fp:
    fp.write("\n".join(results))

# Word2vecでモデルを作成
data = word2vec.LineSentence(wakati_file)
model = word2vec.Word2Vec(data, size=200, window=10, hs=1, min_count=2, sg=1)
model.save("AbeSpeech.model")
print("ok")

試したこと

ググったけどどこが構文エラーなのかよくわからない。

Comments

[stdio]

「ググったけど」ならどこをググったのか書いてください。
あと構文エラーならエラー文出てるはずですよ。

[YZYZ]

おっしゃるとおりですね。ググったのは他に似たような作業をしているコードが無いかなと思い、探してみた感じです。結局、参考にしている本のコードを書くときにエラーが有っただけでした、、、！
コメントしてくださりありがとうございました！

Answer 1

構文エラーに関しては

        if hinsi in ["動詞", "形容詞", "動詞", "記号"]：
        　　r.append(w)

でr.append(w)の前が全角の空白になっているからでは

追記です。
if hinsi in ["動詞", "形容詞", "動詞", "記号"]：の「:」も全角ですよ！

Comments

[YZYZ]

ご指摘頂いた点を直したら分かち書きできました!ありがとうございます。