MeCabを用いた文章生成プログラムを解説してください

Question

https://shimi-dai.com/python-markov/から拝借した以下のプログラムですが，
テーブル作成時のプログラムがどのように動いて，どのようなテーブルが作成されているのかご教授お願いします。
以下のような認識であっているでしょうか？

wordlistが["A","B","C","D","E","F"]ならば，
[(A, B):C, (B, C):D, (C, D):E, (D, E):F]
のように連続する3要素を関連性の深い組み合わせとして，
tmp = random.choice(markov[(w1, w2)])で
(A, B):Cならば，AとBのいずれかとCをペアとしてsentenceに加える。

# -*- coding: utf-8 -*-
import random
import MeCab
 
# MeCab使用してテキストデータを単語に分割する
def wakati(text):
    t = MeCab.Tagger("-Owakati")
    m = t.parse(text)
    result = m.rstrip(" \n").split(" ")
    return result
 
if __name__ == "__main__":
    filename = "test.txt"
    src = open(filename, "r").read()
    wordlist = wakati(src)
 
    # マルコフ連鎖用のテーブルを作成する
    markov = {}
    w1 = ""
    w2 = ""
    for word in wordlist:
        if w1 and w2:
            if (w1, w2) not in markov:
                markov[(w1, w2)] = []
                #print('w1 not in markov ', w1)
                #print('w2 not in markov ', w2)
            markov[(w1, w2)].append(word)
            #print('w1 append:', w1)
            #print('w2 append:', w2)
        w1, w2 = w2, word
        #print('w1:', w1)
        #print('w2:', w2)
 
    # 文章の自動作成
    count = 0
    sentence = ""
    w1, w2  = random.choice(list(markov.keys()))
    while count < len(wordlist):
        tmp = random.choice(markov[(w1, w2)])
        sentence += tmp
        w1, w2 = w2, tmp
        count += 1
 
    print(sentence)

Answer 1

wordlistが["A","B","C","D","E","F"]ならば，

[(A, B):C, (B, C):D, (C, D):E, (D, E):F]
のように連続する3要素を関連性の深い組み合わせとして，

ここまでの理解は正しいです。
しかし以下は少し違います。

tmp = random.choice(markov[(w1, w2)])で

(A, B):Cならば，AとBのいずれかとCをペアとしてsentenceに加える。

たとえば～ 今日 は 晴 ～ 今日 は 雨 ～という文章があった場合
('今日','は'):['晴','雨'] という要素が登録されます。つまり(A,B)に対応する値は複数ありえます。

よって文章生成時tmp = random.choice(markov[(w1, w2)])では
('今日','は') から晴または雨のいずれかがランダムで返され、それが採用されます。
あとはw1,w2をw2,tmpにずらして次の単語を探していきます。

Comments

[bunks]

回答ありがとうございます。
つまり，類似する表現が多い方が，かえって多様な文章が生まれるプログラムといことでしょうか？（サンプルテキストの表現に全くの重複がないと，対応するペアが一意に決まるため）
また，「今日 は 晴 〜今日 は 雨 」という文章の場合，(w1, w2)=("は","雨")となれば対応する値が存在しないためkeyErrorを裂けるようなコードを書く必要がありますよね…。

[can110]

> つまり，類似する表現が多い方が，かえって多様な文章が生まれるプログラムといことでしょうか？（サンプルテキストの表現に全くの重複がないと，対応するペアが一意に決まるため）

はい。そのとおりだと思います。

>また，「今日 は 晴 〜今日 は 雨 」という文章の場合，(w1, w2)=("は","雨")となれば対応する値が存在しないためkeyErrorを裂けるようなコードを書く必要がありますよね…。

「今日 の 天気 は 晴 です」の場合(’晴’,'です')に対応する値はありませんので、そのとおりです。
ただし文章の最後に単語「EOS(End Of Stream」を追加し、文章生成時に「EOS」が現れたら生成終了するようにするとKeyError発生しないようにできます。

[bunks]

詳細な説明ありがとうございます！
KeyErrorに関しては，実行時間とか見つつ調整しようと思います。