前提・実現したいこと
Pythonを使ってレストランの口コミサイトのようなサイトをスクレイピングしています。
それをgspreadを使ってスプレッドシートへ連携しています。
(pythonライブラリはrequestsとBeautifulSoupを使っています)
複数ページから取得するため各列の最終行を取得し、その次の行から書いていく処理を行いたいのですが
探しても見つからず...
GASでいう
sheet.getLasRow()
のような関数はPythonではどのように書くのでしょうか。
現在のコード
Python
1import gspread 2import requests 3from bs4 import BeautifulSoup 4from oauth2client.service_account import ServiceAccountCredentials 5import time 6 7for page in range(91610, 91620): 8 url = "https://xxx.jp/review_xxx.aspx?pid={}".format(page) 9 r = requests.get(url) 10 soup = BeautifulSoup(r.text, 'lxml') 11 time.sleep(1.0) 12 13 elements = soup.select("#breadcrumb ul.cf li:nth-of-type(3)") 14 elements_1 = soup.select("#breadcrumb ul.cf li:nth-of-type(4)") 15 elements_2 = soup.select('.review_xxx') 16 elements_3 = soup.select('.review_xxx') 17 elements_4 = soup.select(".product_xxx") 18 19 scope = ['https://spreadsheets.google.com/feeds', 20 'https://www.googleapis.com/auth/drive'] 21 22 credentials = ServiceAccountCredentials.from_json_keyfile_name('xxx.json', scope) 23 gc = gspread.authorize(credentials) 24 wks = gc.open('xxx').sheet1 25 26 for index, e in enumerate(elements): 27 num_a = index+1 28 wks.update_acell('A'+str(num_a+1), e.get_text()) 29 30 for index, e in enumerate(elements_1): 31 num_a = index+1 32 wks.update_acell('B'+str(num_a+1), e.get_text()) 33 34 for index, e in enumerate(elements_2): 35 num_a = index+1 36 wks.update_acell('E'+str(num_a+1), e.get_text()) 37 38 for index, e in enumerate(elements_3): 39 num_a = index+1 40 wks.update_acell('C'+str(num_a+1), e.get_text()[0:11]) 41 42 for index, e in enumerate(elements_4): 43 num_a = index+1 44 text_ = e.i["class"][0] 45 text_ = text_.replace('rep_','') 46 text_ = text_.replace('_','.') 47 wks.update_acell('D'+str(num_a+1), text_)
これを実行するとコードからして当然かもしれませんが、A2から上書きされていきます...
最終行を取得し、その次から書いていく処理について、ご教示いただけますと幸いです。
よろしくお願いいたします。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2020/08/11 07:18 編集
2020/08/12 08:40