シソーラス距離（概念距離）をwordnetを使ってpythonで実装する方法について

Question

前提・実現したいこと

以下の参考記事に沿って
シソーラス距離（概念距離）をwordnetを使ってpythonで実装しようとしています。
参考記事

発生している問題・エラーメッセージ

①参考記事ではpython2.7系で書かれていましたが、
実行環境はPython 3.6.3のため、print()以外に修正する箇所があればご指摘ただきたいです。

②参考記事に従い、以下5ファイルを同じフォルダ下に置いた上で
jwn_driver.pyを実行したところ、以下のエラーが表示されました。
どの様に修正すればいいでしょうか。

jwn_driver.py
sim.py
jwn_corpusreader.py
TagExamples.txt　 #入力ファイル1
WordExamples.txt　#入力ファイル2

エラー文

$ python jwn_driver.py
Traceback (most recent call last):
  File "jwn_driver.py", line 9, in <module>
    synLists = sim.convWords2Synsets(wordLists[0], wordLists[1]) #概念リストを作成
  File "/Users/user/Desktop/wordnet/sim.py", line 20, in convWords2Synsets
    jwn = WordNetCorpusReader('C:/LyricsWorkspace/nltk_data/corpora/wordnet', 'C:/LyricsWorkspace/WordNet/wnjpn-ok.tab') #英語WordNetと日本語WordNetを指定する
  File "/Users/username/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages/nltk/corpus/reader/wordnet.py", line 1080, in __init__
    encoding=self._ENCODING)
  File "/Users/username/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages/nltk/corpus/reader/api.py", line 84, in __init__
    root = FileSystemPathPointer(root)
  File "/Users/username/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages/nltk/compat.py", line 221, in _decorator
    return init_func(*args, **kwargs)
  File "/Users/username/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages/nltk/data.py", line 303, in __init__
    raise IOError('No such file or directory: %r' % _path)
OSError: No such file or directory: '/Users/username/Desktop/wordnet/C:/LyricsWorkspace/nltk_data/corpora/wordnet'

該当のソースコード

sim.py

# -*- coding: utf-8 -*-
#英語WordNetから類似度を算出するモジュール
import codecs

def makeWordLists(fin1,fin2):
  """ ファイル名を2つ受け取って単語リストのリストを返す """
  fins = [fin1, fin2]
  wordLists = [[ ], [ ]]
  for i in [0,1]:
    f=codecs.open(fins[i], encoding="utf-8")
    for line in f:
      wordLists[i].append(line.strip("\r\n").strip("\n"))
    f.close()
  return wordLists

def convWords2Synsets(wordList1, wordList2):
  """ 単語リストを2つ受け取って概念リストのリストを返す """
  import jwn_corpusreader
  from nltk.corpus.reader.wordnet import WordNetCorpusReader
  jwn = WordNetCorpusReader('C:/LyricsWorkspace/nltk_data/corpora/wordnet', 'C:/LyricsWorkspace/WordNet/wnjpn-ok.tab') #英語WordNetと日本語WordNetを指定する
  synLists = [[ ],[ ]]
  wordLists = [wordList1, wordList2]
  for i in [0,1]:
    for j in range(len(wordLists[i])):
      synLists[i].append(jwn.synsets(wordLists[i][j]))
  return synLists

def calcSim(synList1,synList2):
  """ 概念リストを2つ受け取って類似度の行列を返す """
  import numpy as np
  simMatrix = np.zeros( (len(synList1), len(synList2)))
  for i in range(len(synList1)):
    for j in range(len(synList2)):
      sims = [ ]
      for syn1 in synList1[i]:
        for syn2 in synList2[j]:
            sims.append(syn1.path_similarity(syn2))
      simMatrix[i,j] = max(sims)
  return simMatrix

def writeSim(wordList1, wordList2, simMatrix,fout):
  """ 単語リストを2つと類似度行列とファイル名を受け取ってファイルに出力する """
  f = codecs.open(fout,'w', encoding="utf-8")
  for i in range(len(wordList1)):
    for j in range(len(wordList2)):
      f.write(wordList1[i] + "-" + wordList2[j] +": " + str(simMatrix[i][j])+"\r\n")
  f.close()

jwn_driver.py

fin1 = 'TagExamples.txt' #入力ファイル1
fin2 = 'WordExamples.txt' #入力ファイル2

fout = 'Output.txt' #出力ファイル

import sim

wordLists = sim.makeWordLists(fin1,fin2) #単語リストを作成
synLists = sim.convWords2Synsets(wordLists[0], wordLists[1]) #概念リストを作成
simMatrix = sim.calcSim(synLists[0], synLists[1]) #類似度行列を作成
sim.writeSim(wordLists[0],wordLists[1],simMatrix,fout) #ファイルへの書き込み

jwn_corpusreader.py

# -*- coding: utf-8 -*-
"""
日本語リーダー
""" 
from nltk.corpus.reader.wordnet import WordNetCorpusReader
class JapaneseWordNetCorpusReader(WordNetCorpusReader):
    def __init__(self, root, filename):
        WordNetCorpusReader.__init__(self, root)
        import codecs
        f=codecs.open(filename, encoding="utf-8")
        self._jword2offset = {}
        for line in f:
            _cells = line.strip().split('\t')
            _offset_pos = _cells[0]
            _word = _cells[1]
            if len(_cells)>2: _tag = _cells[2]
            _offset, _pos = _offset_pos.split('-')
            try:
              self._jword2offset[_word].append({'offset': int(_offset), 'pos': _pos})
            except:
              self._jword2offset[_word]=[{'offset': int(_offset), 'pos': _pos}]
    def synsets(self, word):
        if word in self._jword2offset:
            results = [ ]
            for offset in (self._jword2offset[word]):
                results.append(WordNetCorpusReader._synset_from_pos_and_offset(
                self, offset['pos'], offset['offset']
                ))
            return results
        else:
            return None

補足情報（FW/ツールのバージョンなど）

オペレーティングシステム名(os.name):Mac OS
Python Python 3.6.3

Answer 1

とりあえずはインデントが変というエラーなので、出ている箇所のインデントを周りと同じにすれば解決するはずですね。

sim.pyのインデントとコーディングスタイルが気持ち悪いので（スペース2コ単位か・・・）、まるごと整えるもよし、妥協してそのままにするもよしです。

Comments

[退会済みユーザー]

ご回答いただきましてありがとうございます。
インデントを修正いたしましたところ、エラー文が変わりました。
今回はインデントとは異なるエラーの様ですが、再度質問し直した方が良いでしょうか。

[hayataka2049]

この質問をそのまま使って、質問文に追記すれば別に構いませんよ

[退会済みユーザー]

お返事いただきましてありがとうございます。
エラー文を最新のものに変更いたしました。
何卒よろしくお願いいたします。

[hayataka2049]

元ネタの記事が書かれて以降に、WordNetCorpusReaderにomw_readerという引数が追加されたようです。
http://docs.huihoo.com/nltk/3.0/api/nltk.corpus.reader.html#nltk.corpus.reader.wordnet.WordNetCorpusReader
これが多言語対応のための措置なので、記事が書かれた頃とは日本語wordnetの使い方もいろいろ変わっていると思います。
nltkの情報がネット上に少なくて泣けるんですが、なんかこういうことらしいです
https://books.google.co.jp/books?id=t5NDDwAAQBAJ&pg=PA183&lpg=PA183&dq=nltk+%E6%97%A5%E6%9C%AC%E8%AA%9Ewordnet&source=bl&ots=PWNqM0cLIB&sig=xJWcFGjol4IMXw_v_1MRgvfLs9Q&hl=ja&sa=X&ved=0ahUKEwjr5pyk67fbAhUCpJQKHepuA-g4ChDoAQgnMAA#v=onepage&q=nltk%20%E6%97%A5%E6%9C%AC%E8%AA%9Ewordnet&f=false

[退会済みユーザー]

ご回答いただきましてありがとうございます。
omw_readerという引数を含めてどの様にコードを修正すればいいのでしょうか。
ご紹介いただいたnltk 日本語wordnetに関する書籍のコードに沿って、質問のコードjwn_corpusreader.pyを修正する必要があるという理解で正しいでしょうか。

[hayataka2049]

悲しいことに情報がないので、正直よくわからないです。
山勘半分で書いてますが、おそらく自前でクラスを定義する必要はなくなっていて、
jwn = jwn_corpusreader.JapaneseWordNetCorpusReader('C:/LyricsWorkspace/nltk_data/corpora/wordnet', 'C:/LyricsWorkspace/WordNet/wnjpn-ok.tab') #英語WordNetと日本語WordNetを指定する
のところを
jwn = WordNetCorpusReader('C:/LyricsWorkspace/nltk_data/corpora/wordnet', 'C:/LyricsWorkspace/WordNet/wnjpn-ok.tab') #英語WordNetと日本語WordNetを指定する
でなんとかなりませんかねぇ・・・

[退会済みユーザー]

ご回答いただきましてありがとうございます。
sim.pyのjwnの部分を変更させていただきました、
以下の様にエラー文が出た様です。

Traceback (most recent call last):
File "jwn_driver.py", line 9, in <module>
synLists = sim.convWords2Synsets(wordLists[0], wordLists[1]) #概念リストを作成
File "/Users/username/Desktop/wordnet/sim.py", line 19, in convWords2Synsets
jwn = WordNetCorpusReader('C:/LyricsWorkspace/nltk_data/corpora/wordnet', 'C:/LyricsWorkspace/WordNet/wnjpn-ok.tab') #英語WordNetと日本語WordNetを指定する
NameError: name 'WordNetCorpusReader' is not defined

お手数おかけしますが、もし修正方法をご存知の場合、お返事いただけましたら幸いです。

[hayataka2049]

そっちのスクリプトではWordNetCorpusReaderをimportしていないと思うので、importしてあげてくださいな

[退会済みユーザー]

お返事いただきましてありがとうございます。質問を修正し、エラー文と修正したコードを掲載しました。こちらのコメント欄に入力すると長くなりそうだlったため、お手数ですが上の質問欄をご確認いただけますようお願いします。

[hayataka2049]

それはファイルの場所を指定するので、元記事のコピーそのままだと動きません。wordnetのファイルの場所を適切に指定してくださいな

[退会済みユーザー]

Traceback (most recent call last):
File "jwn_driver.py", line 10, in <module>
simMatrix = sim.calcSim(synLists[0], synLists[1]) #類似度行列を作成
File "/Users/username/Desktop/sim.py", line 38, in calcSim
simMatrix[i,j] = max(sims)
ValueError: max() arg is an empty sequence

正しい場所に配置したところ、このようなエラーに変わりました。
参考記事に「入力用のfin1とfin2に取り込むファイルは、\n区切りの単語の羅列だが、取り込むファイルはterapadでutf-8nで書き出す（重要）。」とあったことも影響しているのでしょうか。

[hayataka2049]

とりあえずsimsが空ということはわかるので、ということは
for syn1 in synList1[i]:
for syn2 in synList2[j]:
sims.append(syn1.path_similarity(syn2))
の三行のループがまったく回っていないことも確実なので、あとはその線で入力データの形が正しいのかどうかチェックですねー

[退会済みユーザー]

WindowsだとTerapadで変換できるようですが、Macはutf-8nでtxtファイルを書き出すにはどの様にすればいいのでしょうか。

[hayataka2049]

私もmacは詳しくないので・・・すみません・・・