指定している文字列と前方一致しており、なおかつ単語が一つ追加されている別の文字列を取得したい

Question

前提

　指定した文字列と前方一致しており、なおかつ単語が一つ足されている要素を取得したいです。

　「A,B,C」という文字列があるとして、「A,B,C,D」という一つ単語が付け足された文字列を取得したいです(「A,B,C,D,E」以降は不要)。
下記のコードの通り、それ自体は実現できているのですが、大きいデータを扱うとなると二重ループがあまりにも大きくなってしまいます。
そのためできれば二重ループを使用せずに、リストから直接ほしい文字列を取得できる方法を探しているのですが、良い改善方法はありますでしょうか？　ご助言をしていただければ幸いです。

　
  sentence=["私,は", "私,は,学生", "私,は,学生,です",
 "私,は","私,は,私", "私,は,私,に","私,は,私,に,ご褒美","私,は,私,に,ご褒美,を","私,は,私,に,ご褒美,を,あげ","私,は,私,に,ご褒美,を,あげ,ま","私,は,私,に,ご褒美,を,あげ,ま,した"]
#要素内の単語同士は「,」で結合されています。
#実際に扱っているsentenceは50万要素以上あります

#文字列alphaが前方一致しており、単語が一つ足されているものをbetaとする
#betaを最大で3つまで取得したら、次のalphaに移行する
#完全一致の文字列は除外

  for word_alpha in sentence:

    beta_candidate=[] #beta候補取得

    alpha_length=len(word_alpha.split(","))
    
    #文字列alphaに対応するbetaを取得。3回取得

    for word_beta in sentence:
      if len(beta_candidate)<3: #betaを3回取得できるまでループ
        beta_length=len(word_beta.split(",")) #単語列の長さを取得
　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　#前方一致&文字列alphaよりちょうど単語一個分多かったらTrue
        if word_beta.startswith(word_alpha) and (beta_length==alpha_length+1): 
          beta_candidate.append(word_beta)
    
          if word_alpha in beta_candidate: #alphaとbetaが完全一致のものは除外
            beta_candidate.remove(word_beta)

    　print(word_alpha,beta_candidate)

補足情報（FW/ツールのバージョンなど）

Goggle の Colabを利用しています。

Answer 1

指定した文字列と前方一致しており、なおかつ単語が一つ足されている要素

をいいかえると「指定した文字列」(src)と「末尾の単語をひとつ除いたもの」(key)が完全一致した要素がbetaの候補となるかと思います。
よってsrcとkeyを左結合するとbetaの候補が見つかり、それらからsrc毎に先頭3個のみ抽出すればよいでしょう。
これらをpandasで実装したコードは以下のようになります。

import pandas as pd
pd.set_option('display.unicode.east_asian_width', True)

sentence=["私,は", "私,は,学生", "私,は,学生,です",
    "私,は","私,は,私", "私,は,私,に","私,は,私,に,ご褒美","私,は,私,に,ご褒美,を","私,は,私,に,ご褒美,を,あげ","私,は,私,に,ご褒美,を,あげ,ま","私,は,私,に,ご褒美,を,あげ,ま,した"]

# 処理用のデータフレーム
data = [[tuple(s.split(',')), i] for i,s in enumerate(sentence)]
df = pd.DataFrame(data, columns=['src','idx']) # 分割済み単語のタプルと元配列位置
df['key'] = df['src'].apply(lambda e:e[:-1])   # 検索用のキー＝末尾の単語を除いたもの

# 結合用の列値をタプルからID（数値）に最適化
dic = {e:i for i,e in enumerate(set(df['src']) | set(df['key']))}
df['src'] = df['src'].apply(dic.get)
df['key'] = df['key'].apply(dic.get)

# 左結合
dfm = df.merge(df, left_on='src', right_on='key', how='left')

# 結合分から元文字列でグループ化して、検索結果の先頭３行のみを残す
dfm = dfm.dropna()[['idx_x', 'idx_y']] # 見つからなかったものは除く
dfm = dfm.sort_values(['idx_x', 'idx_y'])
dfm = dfm.groupby('idx_x').head(3).reset_index(drop=True)
dfm['idx_y'] = dfm['idx_y'].astype(int)
print(dfm)
"""
    idx_x  idx_y
0       0      1
1       0      4
2       1      2
3       3      1
4       3      4
5       4      5
6       5      6
7       6      7
8       7      8
9       8      9
10      9     10
"""

# 配列位置→文字列に戻す
dfm['src'] = dfm['idx_x'].apply(lambda e:sentence[e])
dfm['dst'] = dfm['idx_y'].apply(lambda e:sentence[e])
print(dfm)
"""
    idx_x  idx_y                            src                                 dst
0       0      1                          私,は                          私,は,学生
1       0      4                          私,は                            私,は,私
2       1      2                     私,は,学生                     私,は,学生,です
3       3      1                          私,は                          私,は,学生
4       3      4                          私,は                            私,は,私
5       4      5                       私,は,私                         私,は,私,に
6       5      6                    私,は,私,に                  私,は,私,に,ご褒美
7       6      7             私,は,私,に,ご褒美               私,は,私,に,ご褒美,を
8       7      8          私,は,私,に,ご褒美,を          私,は,私,に,ご褒美,を,あげ
9       8      9     私,は,私,に,ご褒美,を,あげ       私,は,私,に,ご褒美,を,あげ,ま
10      9     10  私,は,私,に,ご褒美,を,あげ,ま  私,は,私,に,ご褒美,を,あげ,ま,した
"""

Comments

[P_036]

回答ありがどうございます！　なるほど、pandasで処理を行う方法もあったんですね……
他の部分で活用してみようと思います！　ありがとうございました！！

Answer 2

sentence=[
  "私,は", "私,は,学生", "私,は,学生,です",
  "私,は","私,は,私", "私,は,私,に","私,は,私,に,ご褒美",
  "私,は,私,に,ご褒美,を","私,は,私,に,ご褒美,を,あげ",
  "私,は,私,に,ご褒美,を,あげ,ま","私,は,私,に,ご褒美,を,あげ,ま,した"]

for word_alpha in sentence:
  l = len(word_alpha.split(',')) + 1
  beta_candidate = [*filter(lambda x: x.startswith(word_alpha) and len(x.split(',')) == l, sentence)]
  print(word_alpha, beta_candidate)

# 私,は ['私,は,学生', '私,は,私']
# 私,は,学生 ['私,は,学生,です']
# 私,は,学生,です []
# 私,は ['私,は,学生', '私,は,私']
# 私,は,私 ['私,は,私,に']
# 私,は,私,に ['私,は,私,に,ご褒美']
# 私,は,私,に,ご褒美 ['私,は,私,に,ご褒美,を']
# 私,は,私,に,ご褒美,を ['私,は,私,に,ご褒美,を,あげ']
# 私,は,私,に,ご褒美,を,あげ ['私,は,私,に,ご褒美,を,あげ,ま']
# 私,は,私,に,ご褒美,を,あげ,ま ['私,は,私,に,ご褒美,を,あげ,ま,した']
# 私,は,私,に,ご褒美,を,あげ,ま,した []

Comments

[P_036]

回答していただきありがとうございます！　無事処理のスピードを上げることができました！
まさにフィルターのようなものを欲していたのですが、自力ではたどり着くことができず……本当にありがとうございました！