jupyter notebookのprint。データが大きすぎて出力できません。configをいじっても更新されず。

Question

##初めに
現在、形態素解析を行おうと、対象のデータを持ってきて、jupyternotebookで試しにやってみようと実行しました。

##環境
windows10
jupyter notebook python3

##現状
csvファイルに格納してある、1000件以上の文章を、形態素解析しようとしています。
最後のprintで結果を見ようと思ったら、エラーがでました。

##コード

import sys
import MeCab
csv_file = open("combination.csv", "r", encoding="ms932", errors="", newline="" )
f = csv.reader(csv_file, delimiter=",", doublequote=True, lineterminator="\r\n", quotechar='"', skipinitialspace=True)
list=[]
header = next(f)
list.append(header)
for row in f:
    list.append(row)
text = ' '.join(map(str,list))
m = MeCab.Tagger("-Ochasen")
print(m.parse(text))

##コードの解説
csvファイルを読み込み、リスト型で返却される文字列を、全て1つの文字列に変換しています。
そして、printしようとしたところ、エラーがでました。

##エラー内容

IOPub data rate exceeded.
The notebook server will temporarily stop sending output
to the client in order to avoid crashing it.
To change this limit, set the config variable
--NotebookApp.iopub_data_rate_limit.

Current values:
NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec)
NotebookApp.rate_limit_window=3.0 (secs)

##エラー内容について
調べてみたところ、出力の量が多すぎて、出力できないという内容でした。
configをいじると治るという、teratailの質問を見たのですが、解決できません。
NotebookApp.iopub_data_rate_limit=1000000.0の部分を、プロンプトで100000000に変更して、またnotebookを開いても、このエラーがでてしまいます。

##検討している内容
①理想は、結果を全て見たいので、どうしたら全て出力することができるか。
②妥協として、出力できる範囲で、全体の一部分(例えば、上位10件)を出力したい。

##最後に
どうすればできるでしょうか。
今後は、形態素解析から、tfidf値を求めようとしているため、この段階をできるようになっておきたいです。
よろしくお願いします。

Comments

[tiitoi]

テキストファイルに出力してエディタで確認するのではダメなのでしょうか？
その警告がでるような量のデータを Notebook 上で仮に出力できたとしてもブラウザが重くなってまともに使えなくなるので、Notebook 上での出力はおすすめできません。

[unity3dbigginer]

形態素解析を実行した結果だけなら、その結果をテキストファイルに出力する手もあるんですが、
今後、tfidf値を算出したり、出力結果を使って何かをしたいと考えているので、、、
ですが、その方法でも今は構わないので、
できれば教えて頂けないでしょうか。

[nandymak]

＞リスト型で返却される文字列を、全て1つの文字列に変換しています。
＞②妥協として、出力できる範囲で、全体の一部分(例えば、上位10件)を出力したい。

文字列に変換する前のリスト型の状態で、先頭の要素をインデックス指定で取り出すはできませんか？

[tiitoi]

すみませんが、Mecab は詳しくないのですが、m.parse(text) の返り値の型はどうなっているのでしょうか？ str ですか？

[unity3dbigginer]

nandymakさん
list[0]のような形で、文字列を取り出すことはできます。
ただ、その方法でlist[0]からlist[9]まで取り出して、形態素解析して出力するのではなく、形態素解析自体は、全部の文章で行いたいと考えています。

[unity3dbigginer]

tiitoiさん
strで問題ないと思います。
javaみたいに何も最初に宣言しなくてもできるのですが、あってると思います。

[tiitoi]

str であれば、スライスで一部だけ表示することはできると思いますがいかがでしょうか。
s = m.parse(text)
print(s[:100]) # 最初の100文字を表示

[unity3dbigginer]

tiitoiさん
なるほど、試してみます。
現在色々考えた結果、全ての文章を形態素解析した結果を、txtファイルに保存するようにしたいと思います。
この場合、現在のコードは、出力自体はできないけど、解析自体はできるため、
result=m.parse(text)
と変数に代入し、
これをtxtファイルに書くこむ用コード書けばいいのでしょうか

[tiitoi]

はい、それでいいと思います
やり方は「文字列 ファイル出力 Python」等で調べればでてくると思います
https://yukun.info/python-file-write-writelines/

Answer 1

コメント記載のとおりで解決です。