Python PandasのDataframeをスプレッドシートに一気に貼り付けたい。

Question

現在のコード

# coding: utf-8
# !/usr/bin/env python3
from selenium import webdriver
from selenium.webdriver.support.ui import Select
from time import sleep
import sys
import os
import pandas as pd
import ssl
import math
from selenium.webdriver.common.action_chains import ActionChains
from dateutil.relativedelta import relativedelta
from datetime import datetime, date, timedelta
import datetime
from selenium.webdriver.common.keys import Keys
import gspread
import oauth2client.client
import json
import glob
import shutil
from oauth2client.service_account import ServiceAccountCredentials


df_concat #予め貼り付けたい形に修正しておいたもの

#セル列の最大値を求める。
COLMAX=len(df_concat.columns)
#セル行の最大値を求める。※１行目はタイトルなので、+1してあげる。
ROWMAX = len(df_concat.index)+1

update_sheet = wb.worksheet(write_sheet_name)
#カラム名を取得する。
c_list=list(df_concat.columns.values)
#列を移動するためのリスト　※必要な分だけ作成
col =('A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z')
cc = 0
# 更新範囲指定。A2:A100 のような文字列をつくる
for cc in range(COLMAX):
    data_range = col[0+cc] + "2:" + col[0+cc] + str(ROWMAX)
    print(data_range)
    cell_list = update_sheet.range(data_range)
    for (i,cell) in enumerate(cell_list):
        cell.value = str(df_concat[c_list[0+cc]][i])
    update_sheet.update_cells(cell_list)
    cc=cc+1
update_sheet.update_cells(cell_list)
sleep(3)

課題
上記コードの場合

１）1列目を変数に代入
２）1列目をスプレッドの指定の列に貼付け
３）反映(※update_sheet.update_cells(cell_list))
以下繰り返し

という処理のため、1列ずつ貼り付けて更新という形になっており時間を要してしまっています。

これをなんとかして一括で貼り付けられるようにしたいのですが、GoogleAPIの情報がまだ出揃っていないせいか
方法が見つからず壁にぶつかってしまいました。。。
ループ処理後にupdate_cellsの処理をした場合、最終列のみ貼り付けられて終わります。

皆様のお知恵をお貸しいただいたら嬉しいです。
よろしくお願いいたします。

Comments

[umyu]

GoogleAPIということはGoogle Sheetsでしょうか？質問文のコードにimport文を追加していただくと助かります。

[chachamaru000]

umyuさま　申し訳ありません！追記させていただきました！

Answer 1

以下の方法で解決しました。
gspread_dataframeというモジュールを使うことで解決しました。
日本語の解説記事が一切無いので見つけるのに苦労しました。

from gspread_dataframe import get_as_dataframe, set_with_dataframe

df_concat = #予め貼り付けたい形に整形したDataFrame#

update_sheet = wb.worksheet(write_sheet_name)

# 作ったDataFrameを貼り付ける。
set_with_dataframe(update_sheet, df_concat,resize=True, 
include_index=True)

Comments

[umyu]

@chachamaru000さんへ
解決してよかったですー。

Answer 2

worksheet.update_cellsは内部でGoogleAPIを呼んでいるので、
原因は列単位でupdate_cellsを呼んでいるためではないでしょうか。

worksheet.rangeで更新範囲を一括指定をして、最後にworksheet.update_cellsを呼ぶ形にすればよいのでは。

# -*- coding: utf-8 -*-
import gspread
import pandas as pd
from oauth2client.service_account import ServiceAccountCredentials
import string
# 質問文の変数:colです。
ALPHABET = tuple(string.ascii_uppercase)


def get_client():
    scope = ['https://spreadsheets.google.com/feeds',
             'https://www.googleapis.com/auth/drive']
    credentials = ServiceAccountCredentials.from_json_keyfile_name('Project1-0e6f63e29600.json', scope)
    return gspread.authorize(credentials)


def main():
    client = get_client()
    URL = ''
    spreadsheet = client.open_by_url(URL)
    worksheet = spreadsheet.sheet1
    d = [['a', 'b', 'c'],
         [1, 2, 3],
         [50, 60, 70]]
    df = pd.DataFrame(d)
    # セル列の最大値を求める。
    COLMAX = len(df.columns)
    # セル行の最大値を求める。※１行目はタイトルなので、+1してあげる。
    ROWMAX = len(df.index) + 1

    cell_list = worksheet.range(f'A1:{ALPHABET[COLMAX - 1]}{ROWMAX - 1}')
    for cell in cell_list:
        print(cell.row, cell.col)
        val = df.iloc[cell.row - 1][cell.col - 1]
        cell.value = val

    worksheet.update_cells(cell_list)


if __name__ == "__main__":
    main()

◇参考情報
string.ascii_uppercase

Comments

[chachamaru000]

ありがとうございます！
上記方法で試したところ、問題点が解決しました！

また、gspread_dataframeというモジュールを使用することで更に改善できたので、
下記に記載させていただきます！