質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.81%

  • Python

    5987questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    4505questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

python word2vec使用時のlogging errorについて

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 73

---stax---

score 53

pythonでword2vecの学習を行っています。
テキストファイルを読み込み、分かち書きを行い、そのデータに対してword2vecを使うという流れで進めています
その際、word2vecを用いて学習させる箇所のエラーについてどこが原因かわからず行き詰っております

環境はWindows上でAnacondaを使用してjupyter notebookでコードを書いています
分かち書きに使用しているのはjanome、word2vecにはgensimのモジュールを使用しています
テキストファイルはwebから適当なダミーを落として使用しています

以下コードです
(#一部確認)とコメントを入れている箇所まではエラーなく動作しております
(#word2vec)学習開始コメント以下の部分でlogging errorが表示されます

site-packages以下にgensimは配置されていました
自分で確認する箇所はそこしか見当がつかず苦戦しています
どこが原因と考えられるかアドバイスお願い致します
知識が浅く見づらいコードで申し訳ありません

from janome.tokenizer import Tokenizer
from gensim.models import word2vec
import logging
import sys
import re


# textファイル読み込み
textfile = open('C:\\Users\\Desktop\\test_merosu.txt')
line = textfile.read()
textfile.close()

##ファイル整形
#|の除去
line = line.replace('|','')
#ルビの除去
line = re.sub('《.+?》', '', line)
#入力注の除去
line = re.sub('[#.+?]', '', line)


##整形結果確認
#先頭100文字出力
print(line[:100])

#分かち書き
t = Tokenizer()

def extract_words(text):
    tokens = t.tokenize(text)
    return [token.base_form for token in tokens 
        if token.part_of_speech.split(',')[0] in['名詞', '動詞']]


#。区切りにする
sentences = line.split('。')
wordlist = [extract_words(sentence) for sentence in sentences]

#一部確認
for word in wordlist[0]:
    print(word)

#word2vec学習開始
model = word2vec.Word2Vec(wordlist, size=200, min_count=5, window=5, iter=100)


print(model.__dict__['wv']['王'])
ret = model.wv.most_similar(positive=['王']) 
for item in ret:
    print(item[0], item[1])    

以下エラー内容です
内容量がとてつもないので一つ目の--- Logging error ---から2つ目の--- Logging error ---までを抜粋しています

--- Logging error ---
Traceback (most recent call last):
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\logging\__init__.py", line 992, in emit
    msg = self.format(record)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\logging\__init__.py", line 838, in format
    return fmt.format(record)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\logging\__init__.py", line 578, in format
    s = self.formatMessage(record)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\logging\__init__.py", line 547, in formatMessage
    return self._style.format(record)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\logging\__init__.py", line 391, in format
    return self._fmt % record.__dict__
ValueError: incomplete format
Call stack:
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\ipykernel_launcher.py", line 16, in <module>
    app.launch_new_instance()
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\traitlets\config\application.py", line 658, in launch_instance
    app.start()
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\ipykernel\kernelapp.py", line 478, in start
    self.io_loop.start()
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\zmq\eventloop\ioloop.py", line 177, in start
    super(ZMQIOLoop, self).start()
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\tornado\ioloop.py", line 888, in start
    handler_func(fd_obj, events)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\tornado\stack_context.py", line 277, in null_wrapper
    return fn(*args, **kwargs)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\zmq\eventloop\zmqstream.py", line 440, in _handle_events
    self._handle_recv()
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\zmq\eventloop\zmqstream.py", line 472, in _handle_recv
    self._run_callback(callback, msg)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\zmq\eventloop\zmqstream.py", line 414, in _run_callback
    callback(*args, **kwargs)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\tornado\stack_context.py", line 277, in null_wrapper
    return fn(*args, **kwargs)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\ipykernel\kernelbase.py", line 283, in dispatcher
    return self.dispatch_shell(stream, msg)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\ipykernel\kernelbase.py", line 233, in dispatch_shell
    handler(stream, idents, msg)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\ipykernel\kernelbase.py", line 399, in execute_request
    user_expressions, allow_stdin)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\ipykernel\ipkernel.py", line 208, in do_execute
    res = shell.run_cell(code, store_history=store_history, silent=silent)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\ipykernel\zmqshell.py", line 537, in run_cell
    return super(ZMQInteractiveShell, self).run_cell(*args, **kwargs)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2728, in run_cell
    interactivity=interactivity, compiler=compiler, result=result)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2850, in run_ast_nodes
    if self.run_code(code, result):
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2910, in run_code
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-89-4ea24fd4611c>", line 50, in <module>
    model = word2vec.Word2Vec(wordlist, size=200, min_count=5, window=5, iter=100)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\gensim\models\word2vec.py", line 527, in __init__
    fast_version=FAST_VERSION)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\gensim\models\base_any2vec.py", line 335, in __init__
    self.build_vocab(sentences, trim_rule=trim_rule)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\gensim\models\base_any2vec.py", line 480, in build_vocab
    sentences, progress_per=progress_per, trim_rule=trim_rule)
  File "C:\Users\AppData\Local\Continuum\anaconda3\lib\site-packages\gensim\models\word2vec.py", line 1145, in scan_vocab
    logger.info("collecting all words and their counts")
Message: 'collecting all words and their counts'
Arguments: ()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

とりあえずloggingモジュールのimportを外したら動いたりしません・・・?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/04/26 11:01

    回答ありがとうございます
    返答遅くなり申し訳ございません
    ご指摘いただいた箇所を修正してみたのですが結果は変わりませんでした・・・

    キャンセル

  • 2018/04/26 16:27

    動作いたしました
    jupyter notebookのコードを書く場所の横にIn[]と書いてある場所があるのですが(すいません正式な名称がわかりません)通常はIn[1]というように数字が入っているのですが、In[*]となっており、調べるとこの状態だと動作しないという記事がありました
    対応としてはrestert the kernelというコマンドがあるのでそちらを実行するとエラーが出なくなりました

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.81%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python

    5987questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    4505questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。