ある関数をfor文の中に組み込んで求める形式で出力したい

Question

①
word2id = collections.defaultdict(lambda: len(word2id) )
sentence = rl

def convert_word(sentence):
    return [word2id[word.lower()] for word in sentence.split()]

print(sentence)
print(*convert_word(sentence) )
print(dict(word2id) )

を

②
bindata = open("test.txt").read()
text = bindata

t = Tokenizer(mmap=True)
results = []

lines = text.split("\r\n")
for line in tqdm(lines):
	s = line
	s = s.replace("|", "")
	s = re.sub(r"《#.+?》", "", s)
	s = re.sub(r"[#.+?]", "", s)
	tokens = t.tokenize(s)
	# 必要な語句だけを対象とする - 5
	r = []
	for tok in tqdm(tokens):
		if tok.base_form == "*":
			w = tok.surface
		else:
			w = tok.base_form
		ps = tok.part_of_speech
		hinsi = ps.split(",")[0]
		if hinsi in ["名詞", "形容詞", "副詞", "動詞", "記号"]:
			r.append(w)
	rl = (" ".join(r)).strip()
	results.append(rl)
	print(rl)

の中に組み込んで

[アンパンマン 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ]
[0, 1, 2, 3, 4, 5, 6, 7, 8]
[ドナルド・トランプ 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ]
[9, 1, 2, 3, 4, 5, 6, 7, 8]

{'アンパンマン': 0, '、': 1, '側近': 2, 'バノン': 3, '氏': 4, '解任': 5, '政権': 6, '屋台骨': 7, '揺らぐ': 8, 'ドナルド・トランプ': 9}

のように、

１文
１ベクトル
１文
１ベクトル
ラベルの説明

で出力したいのですが、別々で実行するとどうしても

アンパンマン 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ 
 ドナルド・トランプ 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ
0 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8
{'アンパンマン': 0, '、': 1, '側近': 2, 'バノン': 3, '氏': 4, '解任': 5, '政権': 6, '屋台骨': 7, '揺らぐ': 8, 'ドナルド・トランプ': 9}

のように１文の後にベクトルが来ず、さらにベクトルが１行に連なって出力されてしまいます。

求める出力

[アンパンマン 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ]
[0, 1, 2, 3, 4, 5, 6, 7, 8]
[ドナルド・トランプ 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ]
[9, 1, 2, 3, 4, 5, 6, 7, 8]

{'アンパンマン': 0, '、': 1, '側近': 2, 'バノン': 3, '氏': 4, '解任': 5, '政権': 6, '屋台骨': 7, '揺らぐ': 8, 'ドナルド・トランプ': 9}

にするにはどのように②の中に①の何をどのようにを挿入すれば良いのでしょうか...、どなたかご教授お願い致します。

こちらが読み込むテキストになります

Comments

[LouiS0616]

①②の順で並べても、②①の順で並べても上手く動作しないようですが、どのように『別々に実行した』のでしょうか。

[James1201]

申し訳ありません。②の中の print(*convert_word(sentence) )が余計でした。これでうまく作動するかと思います。ちなみに自分は②、①の順に動かしています。

Answer 1

自然言語処理は門外漢なのですが、とりあえずご所望の処理は次のように書けそうです。

for s in sentence.split('\n'):
    print(s)
    print(*convert_word(s))

print(dict(word2id))

実行結果

アンパン マン 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ
0 1 2 3 4 5 6 7 8 9
 トランプ 大統領 、 側近 バノン 氏 解任   政権 屋台骨 揺らぐ
10 11 2 3 4 5 6 7 8 9
{'アンパン': 0, 'マン': 1, '、': 2, '側近': 3, 'バノン': 4, '氏': 5, '解任': 6, '政権': 7, '屋台骨': 8, '揺らぐ': 9, 'トランプ': 10, '大統領': 11}

なお

ファイルを読み込む際に、前以て行毎のリストになるようにすれば、後々楽かと思います。

text = [line.strip() for line in open('test.txt').readlines()]

コメントを受けて

標準出力をテキストファイルに持っていく方法は、主に二つあります。

• リダイレクトを利用する方法

コマンドラインから呼び出している場合に有効。> 出力先.txtで流し込める。

$python モジュール名.py > result.txt

• 標準出力を切り替える方法

モジュールの冒頭で、標準出力をファイルストリームに切り替える方法。
なお、元に戻したい場合はsys.stdout = sys.__stdout__でok。

import sys
sys.stdout = open('result.txt', 'w')

Comments

[James1201]

お返事遅くなってすみません、有難うございます！
ちなみに、この出力をcsvに書き出すにはどうしたら良いでしょうか...！
一通り調べてみたのですが、いまいち見当たらなかったのでお尋ねしたいです...！

[LouiS0616]

文字列の行でしょうか？数値化した行でしょうか？最後の辞書でしょうか？

[James1201]

とりあえず、出力通りに、

文字列の行
数値化した行
文字列の行
数値化した行

最後の辞書

のように書き出したいです!

[LouiS0616]

csvじゃなくてtxtファイルだったらものすごく楽なんですけど、アリでしょうか？

[James1201]

でしたら、とりあえずtxtで大丈夫です！

[James1201]

有難うございます！
勉強にもなり、本当に助かりました！