【Python/part3】関数を使った自然言語処理プログラムのエラーを修正したい.

Question

読む前に

これは続きものの質問です．
その1リンク
その2リンク
その3＜ここ

前提

自然言語処理について勉強しています。
Wikipediaのdumpデータから本文を抜き出して処理をしようと思ってます。
用意したテキストファイルから段落ごとに分割しtf-idfで計算をして表示したいです．
テキストの処理時にエラーが発生しているようです．
このプログラムのエラーを修正して，最後まで動かしたいです．

実現したいことのリスト

1. テキストファイルを読みこんで格納
2. 読み込んだテキストから記号などの削除して日本語のみにする
3. Gfileは段落ごとに分割，myfileは改行四つで区切る（テキストファイルに区切りとして改行を付与しています．），その後，それぞれを段落ごとに分割した後Mecabで名詞のみ抽出
4. 処理を実行（tf-idfをアレンジしたもの)

現在の状況

コメントで今の問題の解決案を募集してます．

# -*- coding: utf-8 -*-
from gensim.models import KeyedVectors
import math
import MeCab
import sys
import re
# global

m = MeCab.Tagger()  # Ochasenで失敗したのでデフォルト


myfile = open('history_0text.txt')  # history

Gfile = open('koyamaike.txt')  # ガイド文書(koyamaike.txt)
print("\n\nhistoryテキストとGuideテキストを読み込みました\n\n")


removeW = re.compile(

    '[!"#$%&\'\\\\()*+,-./:;<=>?@[\\]^_`{|}~「」〔〕“”〈〉, ，『』【】＆＊・（）＄＃＠。、？！｀＋￥％　]')

# def


def makeG(guide):

    guide = removeW.sub('', guide)  # 記号除去
    for x in range(0, len(guide)-1):
        guide = [line.split()[0] for line in m.parse(
            guide[x]).splitlines() if "名詞" in line.split()[-1]]
    return guide


def makeH(history):
    history = removeW.sub('', history)  # 記号除去
    history = history.split('\n\n\n\n')  # 記事分割
    for y in range(0, len(history)-1):
        history = [line.split()[0] for line in m.parse(history[y]).splitlines() if "名詞" in line.split()[-1]]
    return history



def idfe(t, p):
    idf = 0
    x = 0
    for i in range(len(p)):
        if t in p:
            x += 1
    if x == 0:
        x += 0.05  # beta

    idf = len(p)/x
    idf = math.log(idf)
    return idf


def tfe(t, para):
    tf = 0
    s = 0
    for x in para:
        s += para.count(x)

    tf = para.count(t)/s

    return tf


def idfe_2(t, H):
    idf2 = 0
    x = 0
    for i in range(len(H)):
        if t in H[i]:
            x += 1
        if x == 0:
            x += 0.05  # beta

    idf2 = len(H)/x
    idf2 = math.log(idf2)
    return idf2

def Rexact(paragraf, history):
    R = 0
    for t in paragraf:
        R += (tfe(t, paragraf)*idfe(t, paragraf)*idfe_2(t, history))

    return R





# main
history = makeH(myfile)  # 段落ごとに分9割された二次元リスト（str)
G = makeG(Gfile)  # 記事ごとに分割された二次元リスト
for n in range(len(G)):

    Rdice = {}
    x = 0
    y = 0
 
    y = Rexact(G[n], history)
    Rdice.setdefault(n, y)

    print(n, "段落のtfidf:", y)
Rsort_s = sorted(Rdics.items())
Rsort_e = sorted(Rdice.items())
print(Rsort_s)
print(Rsort_e)
print("ended")

exit

次にエラーです．

python3 Jtest.py


historyテキストとGuideテキストを読み込みました


Traceback (most recent call last):
  File "/Users/****/Jtest.py", line 151, in <module>
    history = makeH(myfile)  # 段落ごとに分割された二次元リスト（str)
  File "/Users/****/Jtest.py", line 40, in makeH
    history[y]).splitlines() if "名詞" in line.split()[-1]]
IndexError: list index out of range

###実行環境
Macbook Pro(2017,OS:11.6.7)
Python3実行
一応利用するテキストファイルの一部も添付しておきます．

湖山池
{{Infobox 湖
|名称=湖山池
|画像=[[画像:湖山池.jpg|right|300px]]
|所在地={{JPN}} [[鳥取県]][[鳥取市]]
|面積=7
|周囲長=18
|最大水深=6.5
|平均水深=
|貯水量=
|標高=0
|成因=[[海跡湖]]
|淡汽=[[汽水]]
|湖沼型=[[富栄養湖]]
|透明度=0.7
}}
'''湖山池'''（こやまいけ）は、[[鳥取県]][[鳥取市]]の北部にある[[汽水湖]]。「[[池]]」と付く湖沼の中では[[日本]]最大の広さである。
== 概要 ==
湖山池は鳥取県内では、[[中海]]の次に大きい湖沼である。古代に[[日本海]]から湾入した場所が、[[砂丘]]の発達や[[堆積]]により、海と分離されてできた[[海跡湖]]である。大小多数の小[[島]]が浮かぶ。最大の島である[[青島 (鳥取県)|青島]]には、湖岸から架橋されており、桜の木が多数植えられた道路で徒歩や自転車により一周することができ、キャンプも可能である。数本の河川が流入、湖山川によって[[日本海]]と結ばれる。鳥取市郊外の行楽地の一つである。

鳥取市三津地区では、全国的にも珍しい[[石がま漁]]が冬季に行われている。石の隙間に潜む魚を棒でつついて追い込み捕獲する漁法で、県指定無形民俗文化財に指定されている。地元自治会やNPOが保存に努めている。漁期間中には[[石がま祭]]も行われる。

広大な水田を有していた長者が、日没までに田植えが終わらなかったため、扇子で夕日を招き返して田植えを終えたが、一夜明けると田は全て池に変わっていた、という「[[湖山長者]]」の伝説が知られる（似たような話が[[岐阜市]]の[[ゆうべが池]]に伝わっている）。古くから開けた地域であり、青島周辺には[[縄文時代]]から[[弥生時代]]にかけての[[遺跡]]がある。また[[戦国時代 (日本)|戦国時代]]には東側の湖畔に[[因幡国]]守護所である[[布勢天神山城]]がおかれ、西側の湖畔に突き出た半島には国人領主[[吉岡氏]]の居城である[[防己尾城]]が築かれた。


＃以下略

日本ゴルフツアー機構
{{基礎情報 非営利団体
|名称=日本ゴルフツアー機構<br />''Japan Golf Tour Organization''
|ロゴ=
|創立者=
|団体種類=[[社団法人|一般社団法人]]
|設立=[[2005年]][[7月28日]]
|所在地=
|起源=
|主要人物=会長 [[海老沢勝二]]
|活動地域={{JPN}}
|製品=
|主眼=
|活動内容=プロ[[ゴルフ]]ツアーの主催
|活動手段=
|収入=
|基本財産=
|ボランティア人数=
|従業員数=
|会員数=
|子団体=
|標語=
|ウェブサイト= http://www.jgto.org/
|解散=
|特記事項=
}}
'''一般社団法人日本ゴルフツアー機構'''（にっほんゴルフツアーきこう、JGTO;''Japan Golf Tour Organization''）とは、[[1999年]]度から[[日本]]のプロ[[ゴルフ]]ツアーの試合について主催・主管を行っている組織である。

== 概要 ==
シーズンは4月の「[[東建ホームメイトカップ]]」が新年度の最初の試合となり、12月まで25前後の試合を開催している。基本的には1大会4日間競技で開催している。なお、一部の大会では当ツアーと[[ワンアジアツアー]]が共同で主催する国外での大会があり、[[2014年]]（2試合。<ref>日本開催・[[アジアンツアー]]共催の「ダイヤモンドカップ」を含むと3試合</ref>）の実質的な当ツアーの[[開幕戦]]は「インドネシアPGA選手権」である<ref>[http://www.jgto.org/pc/OtherTopicsDetail.do?year=2014&tournaKbnCd=0&conferenceCd=000&languageKbn=0&administerNo=944 いよいよ２０１４年の初戦、インドネシアPGA選手権]（日本ゴルフツアー機構。当初は[[タイランドオープン]]が実質的な開幕戦の予定だったが、[[タイ王国]]の政治的な内紛が起こっているという事情により延期となった）</ref>。

#中略

{{デフォルトソート:にほんこるふつあきこう}}
[[Category:日本ゴルフツアー|*]]
[[Category:ゴルフに関する日本の組織|こるふつあきこう]]
[[Category:一般社団法人 (スポーツ関係)]]
[[Category:東京都港区の一般社団法人]]
[[Category:2005年設立]]



桂米朝
[[画像:Musubi-kashiwa.svg|right|thumb|結び柏は、桂[[米朝一門]]の[[定紋]]である。]]
'''桂 米朝'''（かつら べいちょう）は、[[上方落語]]の[[名跡]]。本来は、大名跡である[[桂米團治]]を継ぐ前段階の名跡。初代が入門した際、師匠の「米」と夫人の名前である「あさ」から「米朝」とつけたのが始まり。当代は3代目。

よろしくお願いします．

Comments

[melian]

File "/Users/****/Jtest.py", line 40, in makeH
history[y]).splitlines() if "名詞" in line.split()[-1]]
IndexError: list index out of range

このエラーメッセージから判ることは、line が空文字列("")である、ということです。

[studyprg]

lineが空っていうのはわからなかったです．historyの要素を突っ込んでると思いました．
どうしたらいいですか？

[melian]

何をどうしたいのかがよく分からないのですが、

if "名詞" in line.split()[-1]

この部分を、

if line.strip() and "名詞" in line.split()[-1]

とでもすれば、あるいは動作するかもしれません。全体の処理を見直す方がよいかとは思いますが。

[studyprg]

melianさんの修正案で試しましたが以下のエラーが出ました．

Traceback (most recent call last):
File "/Users/＊＊＊＊/Jtest.py", line 151, in <module>
history = makeH(myfile) # 段落ごとに分割された二次元リスト（str)
File "/Users/＊＊＊＊/Jtest.py", line 40, in makeH
history[y]).splitlines() if line.strip() and "名詞" in line.split()[-1]]
IndexError: list index out of range

質問文と同様のものでした．
＞とでもすれば、あるいは動作するかもしれません。全体の処理を見直す方がよいかとは思いますが。
ここってどうゆう意味ですかね？
教えていただけると幸いです．

[studyprg]

何をどうしたいのかがよく分からないのですが、＞
前に読んだ自然言語処理の論文に段落ごとにTf-Idfを計算して推薦度を求めるやつがありまして，それをPythonで再現したいと思ってるんです．

[melian]

今更ながらに気がついたのですが、ループの内部で history を上書きしていますね。これがエラーの原因です。

history = history.split('\n\n\n\n') # 記事分割
for y in range(0, len(history)-1):
　history = [line.split()[0] for line in m.parse(history[y]).splitlines() if "名詞" in line.split()[-1]]

なので、おそらく、以下の様にするのかと。

def makeH(history):
　　history = removeW.sub('', history)　# 記号除去
　　history = history.split('\n\n\n\n')　# 記事分割
　　hist = []
　　for y in range(0, len(history)-1):
　　　　hist += [line.split()[0] for line in m.parse(history[y]).splitlines() if "名詞" in line.split()[-1]]
　　return hist

[studyprg]

ありがとうございます。
guideも上書きされてますかね?

[melian]

はい、その通りです。

[studyprg]

動かしてみたら最後までうまいこといきました．
回答お願いします．

[melian]

はい、回答しました。

[studyprg]

guideも書き毛が必要では？

[studyprg]

書き毛が＝＞書き換え

Answer 1

※ コメントから転記

ループの内部で history を上書きしていることが原因です。

history = history.split('\n\n\n\n')  # 記事分割
for y in range(0, len(history)-1):
  history = [line.split()[0] for line in m.parse(history[y]).splitlines() if "名詞" in line.split()[-1]]

なので、以下の様にするとよいかと思います。

def makeH(history):
    history = removeW.sub('', history)  # 記号除去
    history = history.split('\n\n\n\n')  # 記事分割
    hist = []
    for y in range(0, len(history)-1):
        hist += [line.split()[0] for line in m.parse(history[y]).splitlines() if "名詞" in line.split()[-1]]
    return hist