beautifulsoup4のスクレイピングで情報の取得とスプレッドシートへの書き込みについて

Question

##前提・実現したいこと
Beautiful Soup4でGyaoのアニメのタイトルとURLを取得し、Google spread sheetsに書き込みたいと考えています。

1回の実行ですべての情報を取得し、一括してGoogel spread sheetsに書き込むことはできるでしょうか。

現状は、各カテゴリー（一挙配信中のアニメ,現在テレビ放送中の春アニメなど）のアニメのタイトルとURLを1つずつ取得し、Googel spread sheetsに書き込んでいます。
情報の取得、一括で書き込みのどちらかでも構いません。
よろしくお願いします。

Gyao

##該当のソースコード

from bs4 import BeautifulSoup
import requests
import time

import  gspread
import json
from oauth2client.service_account import ServiceAccountCredentials
from googleapiclient import discovery


scope = ['https://spreadsheets.google.com/feeds','https://www.googleapis.com/auth/drive']
credentials = ServiceAccountCredentials.from_json_keyfile_name('伏せておきます', scope)
gc = gspread.authorize(credentials)
SPREADSHEET_KEY = '1DxPdf4JAcQp5LmKAEmBX2wuYW1j4ckva53Tnwm_byBg'
worksheet = gc.open_by_key(SPREADSHEET_KEY)
wb = worksheet.sheet1



url = 'https://gyao.yahoo.co.jp/ct/anime/'
r = requests.get(url)

soup = BeautifulSoup(r.text, 'html.parser')


section1 = soup.find_all('h2', class_ = 'section-header-title')

sections = soup.find_all('div', class_='item-carousel-container')


header_titles = []
for i in section1:
  sec = i.text
  header_titles.append(sec)

anime_titles = []
for section in sections:
  section_ = section.find_all('p')
  anime_titles.append(section_)

url_lists = []
for section in sections:
  section_ = section.find_all('a')
  url_lists.append(section_)


wb.update_cell(1, 1, header_titles[0])
wb.update_cell(1, 3, header_titles[1])
for i in range(2,10,2):
    wb.update_cell(1, i, 'URL')

time.sleep(3)

def anime_title_function(list_num, column): 
# for list_num in range(2,5):　　
# for文で入れ子にして実行すると、spread sheetに書き込みの途中でエラーが出る。
  anime = []
  for i in anime_titles[list_num]:
      if list_num == 2:
          animeTitle_ = i.string
          animeTitle_ = animeTitle_.split('【一挙配信】')[1]
          anime.append(animeTitle_)
      else:
          title = i.string
          anime.append(title)

  rows = []
  for i in range(2,len(anime)+2):
      rows.append(i)

  for row, title in zip(rows, anime):
          wb.update_cell(row, column, title)
anime_title_function(3, 3)
 

time.sleep(3)

def anime_url_function(list_num, column):
    Anime_URL = []
    for i in url_lists[list_num]:
        url_ = i.get('href')
        Anime_URL.append(url_)

    rows = []
    for i in range(2,len(Anime_URL)+2):
        rows.append(i)

    for row,url in zip(rows,Anime_URL):
         wb.update_cell(row, column, url)
anime_url_function(3, 4)

##試したこと
update_cellsでやってみましたが、1列ずつなら書き込めました。
これだと、update_cellとあまり変わりません。

anime = []
for i in anime_titles[2]:
  if 2 == 2:
      animeTitle_ = i.string
      animeTitle_ = animeTitle_.split('【一挙配信】')[1]
      anime.append(animeTitle_)
  else:
      title = i.string
      anime.append(title)

anime1 = []
for i in anime_titles[3]:
    title = i.string
    anime1.append(title)


cell_list = wb.range('A2:A'+str(len(anime)+2))
cell_list1 = wb.range('B2:B'+str(len(anime)+2))

for cell,cell1,a,a1 in zip(cell_list, cell_list1, anime,anime1):
  cell.value = a
  cell1.value = a1
wb.update_cells(cell_list)
wb.update_cells(cell_list1)

##worksheet.updateでやってみた

anime1 = []
  for i in anime_titles[2]:
      animeTitle_ = i.string
      animeTitle_ = animeTitle_.split('【一挙配信】')[1]
      anime1.append(animeTitle_)

  anime2 = []
  for i in anime_titles[3]:
      title = i.string
      anime2.append(title)

  anime3 = []
  for i in anime_titles[4]:
      title = i.string
      anime3.append(title)

  anime4 = []
  for i in anime_titles[5]:
      title = i.string
      anime4.append(title)


  rows = []
  for i in range(2, 20):
      rows.append(i)

  for row, a1,a2,a3,a4 in zip(rows, anime1, anime2, anime3, anime4):
      wb.update('A:G'+str(row), [[a1,'' , a2, '', a3, '', a4]])      

一括で表示できましたが、列の長さが1番短い列に合わせて表示されてしまいます。

Answer 1

gspread使ったこと無いのでアレですが、ドキュメントには下記のような範囲updateの例が載っています。

Update a range

worksheet.update('A1:B2', [[1, 2], [3, 4]])
Examples of gspread Usage

Comments

[退会済みユーザー]

回答ありがとうございます。
worksheet.updateでやってみました。
結果は、質問蘭に載せておきます。
ありがとうございました。

[jeanbiego]

for文でzipを使うと、一番短いリストの長さまでしか回りません。
一番長いリストの長さでrangeで回すか、itertools.zip_longest()などを使うほうが良いようです。
https://note.nkmk.me/python-zip-usage-for/

[退会済みユーザー]

ご指摘いただいて、ありがとうございます。
worksheet.updateでのデータの書き込みは、書き込む量が多くなると途中でエラーが出てしまいます。
sleep関数を使う方法もあるようですが、pandasのDataFrameで書き込む方法があったので、そちらでやってみます。
回答いただき、ありがとうございました。

https://teratail.com/questions/208584

[退会済みユーザー]

To jeanbiegoさん
DataFrameを使って何とかspreadsheetsに書き込むことができました。

worksheet.updateやitertools.zip_longest()は勉強になりました。
ありがとうございました。