PythonでGmailを取得し、件名や受信日をPandasを用いてExcelに書き込む方法

Question

###前提

Pythonの勉強を独学でやっているものです。
勉強を始めて日が浅いので、訳の分からないことを言っているかもしれませんが、温かい目で見てください・・・

実現したいこと

google APIにてGmailの情報をPandasを使って、Excelに書き込みしたいです

具体的には
・メールの送信者
・受信日
・件名
・本文

上記の要素を受信ボックスのすべてのメール分取得したいと思っています。
Gmailの取得と要素の取得についてはできているのですが、どうやってPndasでデータを格納するのかをご教授いただければと思います。

抽象的な質問で申し訳ありませんが
また可能であれば、皆様がPandsについての理解を深めた際に用いたサイトなどがあれば教えていただきたいです。

下記に現在書いているコードを載せておきます。
（ほぼサイトのコピペですが・・・）

from google.oauth2.credentials import Credentials
from googleapiclient.discovery import build
import json
import base64
import pandas as pd


def get_header(headers, name):
    for h in headers:
        if h['name'].lower() == name:
            return h['value']


def base64_decode(data):
    return base64.urlsafe_b64decode(data).decode()


def base64_decode_file(data):
    return base64.urlsafe_b64decode(data.encode('UTF-8'))


def get_body(body):
    if body['size'] > 0:
        return base64_decode(body['data'])


def get_parts_body(body):
    if (body['size'] > 0
            and 'data' in body.keys()
            and 'mimeType' in body.keys()
            and body['mimeType'] == 'text/plain'):
        return base64_decode(body['data'])


def get_parts(parts):
    for part in parts:
        if part['mimeType'] == 'text/plain':
            b = base64_decode(part['body']['data'])
            if b is not None:
                return b
        if 'body' in part.keys():
            b = get_parts_body(part['body'])
            if b is not None:
                return b
        if 'parts' in part.keys():
            b = get_parts(part['parts'])
            if b is not None:
                return b


def get_attachment_id(parts):
    for part in parts:
        if part['mimeType'] == 'image/png':
            return part['body']['attachmentId'], 'png'
    return None, None

def excel_output(output):
    df = pd.DataFrame(output)
    writer = pd.ExcelWriter('sample.xlsx',options={'strings_to_urls': False})
    df.to_excel(writer, sheet_name="Sheet1")#Writerを通して書き込み
    writer.close()
    df

def main():
    scopes = ['https://mail.google.com/']
    creds = Credentials.from_authorized_user_file('token.json', scopes)
    service = build('gmail', 'v1', credentials=creds)
    output = []

    messages = service.users().messages().list(
        userId='me',
        ).execute().get('messages')

    for message in messages:
        print('=' * 10)
        m_data = service.users().messages().get(
            userId='me',
            id=message['id']
        ).execute()

        # ヘッダー情報
        headers = m_data['payload']['headers']

        # 日付
        message_date = get_header(headers, 'date')
        print(f'日付: {message_date}')

        # 差出人
        from_date = get_header(headers, 'from')
        print(f'差出人: {from_date}')

        # 宛先
        to_date = get_header(headers, 'to')
        print(f'宛先: {to_date}')

        # 件名
        sub_date = get_header(headers, 'subject')
        print(f'件名: {sub_date}')

        body = m_data['payload']['body']
        body_data = get_body(body)

        parts_data = None
        if 'parts' in m_data['payload'].keys():
            parts = m_data['payload']['parts']
            parts_data = get_parts(parts)
            # 添付ファイル
            attachment_id, extension = get_attachment_id(parts)
            if attachment_id is not None:
                res = service.users().messages().attachments().get(
                    userId='me',
                    messageId=message['id'],
                    id=attachment_id
                ).execute()
                f_data = base64_decode_file(res['data'])

                with open(f'download.{extension}', 'wb') as f:
                    f.write(f_data)

        body_result = body_data if body_data is not None else parts_data
        print(f'本文: {body_result}')

        output = [from_date,sub_date,parts_data,message_date] #「Output」の配列に格納
        print(output)
        
if __name__ == '__main__':
   main()

Answer 1

メールの要素を格納するために、2箇所の修正が必要です。

1 outputへの格納
output = [from_date,sub_date,parts_data,message_date] #「Output」の配列に格納
の行の修正が必要です。
このままだと、単なる代入なので、outputの中身がメールごとに入れ替わってしまいます。
リストのappendを使って、
output.append([from_date,sub_date,parts_data,message_date])
とすることで、outputリストに順に格納していくことができます。

2 エクセルへの書き込み
全メールをoutputに格納したタイミングで、作成済みのexcel_output関数を呼び出す必要があります。
forでの繰り返しの終了後、main関数の最後で、
excel_output(output)
という1行を追加してください。

他の修正箇所について
Gmailのトークンなどが必要であり、ソースコードを実行して挙動を細かく確認できなかったので、
目につく上記2つの修正点以外にも修正すべき箇所があるかもしれません。
その時はまたご質問ください。

pandasの学習サイトについて
基礎的な部分はYoutubeでpandas入門動画を調べて見るのが、分かりやすいだろうと思います。
各機能の具体的な使い方を調べる場合には、note.nkmk.meさんが頼りになります。
pandasだけでなくpython全般でも、上記2つが参考になります。

Comments

[catwalk]

ありがとうございました！
無事に格納とExcelに書き込みができました！

トークンについては取得していたので問題なかったです。
学習サイトについても今後参考にさせていただきます。

[T_F]

無事動いたようで良かったです！