Pythonでスクレイピングしたデータをスプレッドシートにupdate_acellするとAPIの上限に引っかかる

Question

前提・実現したいこと

pythonで外務省のサイトをスクレイピングして
SDGs推進企業の一覧をグーグルスプレッドシートに
「企業名」「企業サイトURL」を取得したいです。
APIの上限に引っかからずにできる方法ってありますか？
解決策としてはdataframeを使ってやれば良いのかなーと思っています。

発生している問題・エラーメッセージ

1件ずつ企業名とURLをセルにwks.update_acellで実行しており
APIの上限に引っかかります。

"error": {
    "code": 429,
    "message": "Quota exceeded for quota group 'WriteGroup' and limit 'Write requests per user per 100 seconds' of service 'sheets.googleapis.com' for consumer 'project_number:********.",
    "status": "RESOURCE_EXHAUSTED",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.Help",
        "links": [
          {
            "description": "Google developer console API key",
            "url": "https://console.developers.google.com/******"
          }
        ]
      }
    ]
  }
}

該当のソースコード

import requests
from bs4 import BeautifulSoup
import gspread
from oauth2client.service_account import ServiceAccountCredentials

scope = ['**********']
credentials = ServiceAccountCredentials.from_json_keyfile_name('********', scope)
gs = gspread.authorize(credentials)
wks = gs.open('******').sheet1

a = 2
r = requests.get(r"https://www.mofa.go.jp/mofaj/gaiko/oda/sdgs/case/org1.html")
soup = BeautifulSoup(r.content,"html.parser")
tags = soup.select(".exlink")
for tag in tags:
    name = tag.string
    href = tag.attrs['href']
    wks.update_acell('A'+str(a),name)
    wks.update_acell('B'+str(a),href)

試したこと

上限をあげると無料トライアルからグレードを上げないといけないので、
それは避けたいです。

補足情報（FW/ツールのバージョンなど）

Python3.7
エディタ:Visual Studio Code

Comments

[shiracamus]

"message" の内容を読みましたか？
英語を訳すと 100秒あたりの書き込み制限があるように 見えますが・・・

[hiroto_pythonma]

すみません。しっかり確認していませんでした。
ありがとうございます。
これはAPIリクエスト数の設定ですよね。。

Answer 1

update_cellsでまとめて書き込みしたらよさそう

gspreadのリクエスト回数を削減したい
https://qiita.com/yH3PO4/items/6517481b1e7128ca7b36

data = [[i.get_text(strip=True), i.get("href")] for i in soup.select(".exlink")]

cell_data = sum(data, [])

cell_list = worksheet.range("A2:B200")

for cell, v in zip(cell_list, cell_data):
    cell.value = v

worksheet.update_cells(cell_list)

Comments

[hiroto_pythonma]

barobaroさん
複数ご回答いただきありがとうございます。
上記方法では4件の企業が、class名がkana_lineではなかったため取得できていませんでした。
別スレッドを立ち上げましたので、もしお時間あればご回答いただけれると嬉しいです。
このスレッドは最初にいただいた回答をベストアンサーにさせていただきます。
引き続きお願いします。

[hiroto_pythonma]

質問スレッドは下記です↓
https://teratail.com/questions/236218

Answer 2

Pythonを使わなくてもスプレッドシートの関数で直接取得できます

A2
=importxml("https://www.mofa.go.jp/mofaj/gaiko/oda/sdgs/case/org1.html","//div[@id='goal_org']/div[@class='kana_line']/ul/li")

B2
=importxml("https://www.mofa.go.jp/mofaj/gaiko/oda/sdgs/case/org1.html","//div[@id='goal_org']/div[@class='kana_line']/ul/li/a/@href")

Comments

[hiroto_pythonma]

すごい。
びっくりしました。
ありがとうございます。