python テキスト前処理で元形状を保持したまま/元形状に戻す方法がわかりません。

Question

悩んでいること：

テキスト解析の前処理で5000行の文章を単語に区分し処理したとき、処理前のデータ形状が失われて1行になってしまいます。処理前のデータ形状を保持したままで処理できるor処理後に元のデータ形状に戻す方法で悩んでいます。

##データおよび形状：
daftaframeです。形状は（5000,2）になります。

ID　　　word
0　　　元旦には、みんな私の所に来なさい
1　　　ピョンと飛び降りて一番最初に神さまの前に行きました
2　　　怒ったネコは、それからずっと、ネズミを見ると追いかける様になりました

##狙い：
5000行のテキストを必要品詞(parts)と不要ワード(stop_words)で処理し、5000行別の単語に分けたいです。

##試行コード：

import pandas as pd
import MeCab

df = pd.read_csv(./...)
mecab = MeCab.Tagger()
mecab.parse('')

all_words=[]

stop_words = [
    '数','％','%','g','ｇ','*','?','？','.','.','ー',
    '*****','/','／','ml','(','（',')','）', '-','一']

parts = ['名詞','形容詞','動詞','副詞']

for word in  df['word']:
    node = mecab.parse(word).splitlines()
        
    for i in node:
        if i == 'EOS' or i == '': continue
        word_tmp = i.split()[0]
        part = i.split()[1].split(',')[0] #品詞
        if not (part in parts) or (word_tmp in stop_words): continue
   　   all_words.append(word_tmp)

2重ループになるので1次元になるは理解できるのですが解決策がわかりません。
ご教示のほどよろしくお願いします。

Answer 1

二重ループの外側と内側のループそれぞれでリストを作り、二重リストにするのが常套手段です。

擬似コードですが、こんな感じですね。

result = []
for 何かループする:
    tmp = []
    for 何かループする:
        何かする
        tmp.append(何か)
    result.append(tmp)

Comments

[hidemomo]

ありがとうございます。大変参考になりました。無事正常挙動も確認できました。