メールのやり取りを抜き出すには

Question

前提・実現したいこと

https://teratail.com/questions/283666の続きになります。
メールのやり取りを抜き出し、エクセルに書き出したいのです。
メールはReplyが多く含んでるもので、ソースは以下のようになっています。

【メール】
（１）差出人：
日付：
宛先：
内容：

RE（２）差出人：
日付：
宛先：
内容：

RE（３）差出人：
日付：
宛先：
内容：

【ソース】

<div>（１）差出人： 日付： 宛先： 内容： <div>（２）差出人： 日付： 宛先： 内容： <div>（３）差出人： 日付： 宛先： 内容：

抜き出し方法は先頭にある<div>～次の<div>までの塊で抜こうとしましたが、うまくいかず悩んでいます。
アドバイス、コメントをお願いいたします。

text.txt

#(1)のメール
<div name="messageReplySection">-------転送メール--------<br/>
<b>差出人:</b>RRRRRRRR<br/>
<b>日付:</b>RRRRRRRR<br/>
<b>宛先:</b>RRRRRRRR<br/>
<b>件名:</b>RRRRRRRR<br/>
<p class="MsoNormal">RRRRRRRRRR</span></p>
<p class="MsoNormal">RRRRRRRRRR</span></p>
<p class="MsoNormal">RRRRRRRRRR</span></p>
#(2)のメール
<div>
<b>差出人:</b>RRRRRRRR<br/>
<b>日付:</b>RRRRRRRR<br/>
<b>宛先:</b>RRRRRRRR<br/>
<b>件名:</b>RRRRRRRR<br/>
<p class="MsoNormal">RRRRRRRRRR</span></p>
<p class="MsoNormal">RRRRRRRRRR</span></p>
<p class="MsoNormal">RRRRRRRRRR</span></p>
#(3)のメール
<div name="messageReplySection">-------転送メール--------<br/>
<b>差出人:</b>RRRRRRRR<br/>
<b>日付:</b>RRRRRRRR<br/>
<b>宛先:</b>RRRRRRRR<br/>
<b>件名:</b>RRRRRRRR<br/>
<p class="MsoNormal">RRRRRRRRRR</span></p>
<p class="MsoNormal">RRRRRRRRRR</span></p>
<p class="MsoNormal">RRRRRRRRRR</span></p>
#(4）のメール
<div>
・・・・・・

発生している問題・エラーメッセージ

 File "C:/Users/XXXXXX/.spyder-py3/YYYYY.py", line 11, in <module>
    txt=data.read()

  File "C:\ProgramData\Anaconda3\lib\codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 32: invalid start byte
（2020/08/10追記）

該当のソースコード

data=open('C:/Users/XXXXXX/Desktop/text.txt',"r",encoding='utf-8')

txt=data.read()
data.close()

with open('C:/Users/XXXXXX/Desktop/text.txt',"w") as f:
    txt = txt.replace('<div name="messageReplySection">','<div>')
    f.write(txt)

mojie=[]
cur_pos=0
while True :
   target_tag = '<div>'
   closing_tag = '<div>'
   start_pos = txt[cur_pos:].find(target_tag)
   end_pos = txt[cur_pos:].find(closing_tag)
   if (start_pos == -1) or (end_pos == -1):
      break
   mojie.append(txt[cur_pos + start_pos + len(target_tag) : cur_pos + end_pos])

   cur_pos = cur_pos + end_pos + len(closing_tag)


import xlsxwriter 
wb = xlsxwriter.Workbook('C:/Users/XXXXXX/Desktop/out.xlsx')
ws1 = wb.add_worksheet('sheet')

i=0
for a in filter(lambda x:x != "",mojie):
    i=i+1
    ws1.write(i, 0, a)

試したこと

メールの塊の文末に</div>をつけようとしたが他のソースも変換してしまい、うまくいきませんでした。

補足情報（FW/ツールのバージョンなど）

https://teratail.com/questions/283666の追加質問です。

Comments

[8524ba23]

「text.txt」ファイルのエンコーディングを記載ください。
分からない場合はWindows10のメモ帳で開いてください。画面右下に表示されます。

[meg_]

エラー発生場所はどこですか？

[Kirari]

ご指摘ありがとうございます。追記いたしました。

[meg_]

他の方の指摘にありますように、ファイルの文字コードに問題があるかと思います。'utf-8'で読み込みたいならファイルの文字コードを'utf-8'にしてください。そうでないならファイルの文字コードにencodingを合わせましょう。

[Kirari]

ご指摘ありがとうございます。すみません。アドバイスいただいた、Windows10メモ帳で開いたところ、”=E9=AA=81＝”の英数字が出てきました、ということは、メールからの取り出しはこの英数字から考えていかないといけないんですね？
2つの英数字の塊→文字に変換→取り出しという流れでしょうか？

[8524ba23]

質問本文には「text.txt」ファイルの内容が提示されていますが、これはどのようなエディタで開いて貼り付けたものでしょうか？

[Kirari]

ありがとうございます。
使用しているメールソフトで該当メールを表示、
設定画面内にあるページのソース表示を選択、
表示された画面をコピペしたものです。

[8524ba23]

この質問の閲覧者はメールから「text.txt」への変換手順（規則）が分からないので
メールのことは忘れて「text.txt」だけを考えてください。
「text.txt」をメモ帳で開くと「=E9=AA=81＝～」と表示されるということでしょうか？

[Kirari]

すみません、ありがとうございます。
＞「text.txt」をメモ帳で開くと「=E9=AA=81＝～」と表示されるということでしょうか？
はい、そうです。

[8524ba23]

質問本文には「text.txt」ファイルの内容として「<div name="messageReplySection">-------転送メール--------<br/>」といった表示がされたものが記載されていますが、これはどのようなソフトで「text.txt」を開いて表示させたものですか？

[Kirari]

すみません。ありがとうございます。
質問本文にあるのは、メールソフト「サンダーバード」でソース表示したものをコピペしたものです。

[8524ba23]

繰り返しになりますが、回答に必要な情報はメールをソース表示したものではなく
ソースコードで読み込んでいる「text.txt」の内容です。その内容が分からないと回答は難しいです。

そもそもなのですが「text.txt」はどのような手順で作成したものでしょうか？
あるいは「text.txt」をgithubなどでそのままの状態でアップされると適切な回答が得られやすくなると思われます。

[Kirari]

ありがとうございます。
整理して再度質問させていただきます。
その際にはよろしくお願いいたします。

ひとつ教えていただきたいのですが、
”=E6=T2=E9=AA=81＝”の英数字が表示されたものをpythonで日本語に表示させるには、どうしたらいいのでしょうか。

[8524ba23]

「”=E6=T2=E9=AA=81＝”の英数字が表示されたもの」がどのような文字コードで表現されたものかが分からないので分かりません。
次に質問を立てる場合は
- 元のメール本文？からどのようにして「text.txt」を作成したのか？
- 「text.txt」の文字コードは何か？
を記載するとよいかと思います。

Answer 1

以下の方法で解決しました。
まず、差出人、日付、宛先、件名を変更します。

data=open('C:/Users/XXXXXXXXX/Desktop/text.txt',"r")
txt=data.read()

with open('C:/Users/XXXXXXXXX/Desktop/text.txt',"w") as f:
    txt = txt.replace('差出人','From').replace('日付','Sent').replace('宛先','To').replace('件名','Subject')
    f.write(txt)

data.close()

メールの本文を取り出すための作業をします。

data=open('C:/Users/XXXXXXXXX/Desktop/text.txt',"r")
txt=data.read()

with open('C:/Users/XXXXXXXXX/Desktop/text.txt',"w") as f:
    txt = txt.replace('From','</div>\nFrom').replace('Subject','Subject\n<div>')
    f.write(txt)

data.close()

data=open('C:/Users/XXXXXXXXXX/Desktop/text.txt',"r")
txt=data.read()

with open('C:/Users/XXXXXXXXXX/Desktop/text.txt',"w") as f:
    txt  += '</div>'
    f.write(txt)

data.close()

メールの本文部分を取り出します。

import xlsxwriter
data = open('C:/Users/XXXXXXXXXX/Desktop/text.txt', "r")

res=data.read()

mojie=[]
cur_pos=0
while True :
   target_tag = '<div>'
   closing_tag = '</div>'
   start_pos = res[cur_pos:].find(target_tag)
   end_pos = res[cur_pos:].find(closing_tag)
   if (start_pos == -1) or (end_pos == -1):
      break
   mojie.append(res[cur_pos + start_pos + len(target_tag) : cur_pos + end_pos])

   cur_pos = cur_pos + end_pos + len(closing_tag)

wb = xlsxwriter.Workbook('C:/Users/XXXXXXXXXX/Desktop/out1.xlsx')
ws1 = wb.add_worksheet('sheet')

i=0
for a in filter(lambda x:x != "",mojie):
    i=i+1
    ws1.write(i, 0, a)

wb.close()

メールのヘッダー部分を取り出します。

import xlsxwriter
data = open('C:/Users/XXXXXXXXXXXX/Desktop/text.txt', "r")

wb = xlsxwriter.Workbook('C:/Users/XXXXXXXXXXXXXX/Desktop/out.xlsx')
ws1 = wb.add_worksheet('sheet')

row_index = 0

for i in data.readlines():
    if i.startswith("From: "):
        From = i[len("From: "):-1]
        ws1.write(row_index, 0, From)

    if i.startswith("Sent: "):
        Sent = i[len("Sent: "):-1]
        ws1.write(row_index, 1, Sent)

    if i.startswith("To: "):
        To = i[len("To: "):-1]
        ws1.write(row_index, 2, To)

    if i.startswith("Cc: "):
        Cc = i[len("Cc: "):-1]
        ws1.write(row_index, 3, Cc)

    if i.startswith("Subject: "):
        Subject = i[len("Subject: "):-1]
        ws1.write(row_index, 4, Subject)

   
        row_index = row_index + 1

wb.close()
data.close()

参考
https://teratail.com/questions/284286