質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

6557閲覧

Pythonスクレイピング:スプレッドシート最終行の取得について

gomasan

総合スコア96

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Google スプレッドシート

Google スプレッドシートは、フリーで利用できる表計算ソフト。Webアプリのためインターネットに接続することで利用できます。チャートやグラフの作成のほか、シートを他のユーザーと共有したり、同時に作業を進めることも可能です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/08/11 03:27

前提・実現したいこと

Pythonを使ってレストランの口コミサイトのようなサイトをスクレイピングしています。
それをgspreadを使ってスプレッドシートへ連携しています。
(pythonライブラリはrequestsとBeautifulSoupを使っています)

複数ページから取得するため各列の最終行を取得し、その次の行から書いていく処理を行いたいのですが
探しても見つからず...

GASでいう

sheet.getLasRow()

のような関数はPythonではどのように書くのでしょうか。

現在のコード

Python

1import gspread 2import requests 3from bs4 import BeautifulSoup 4from oauth2client.service_account import ServiceAccountCredentials 5import time 6 7for page in range(91610, 91620): 8 url = "https://xxx.jp/review_xxx.aspx?pid={}".format(page) 9 r = requests.get(url) 10 soup = BeautifulSoup(r.text, 'lxml') 11 time.sleep(1.0) 12 13 elements = soup.select("#breadcrumb ul.cf li:nth-of-type(3)") 14 elements_1 = soup.select("#breadcrumb ul.cf li:nth-of-type(4)") 15 elements_2 = soup.select('.review_xxx') 16 elements_3 = soup.select('.review_xxx') 17 elements_4 = soup.select(".product_xxx") 18 19 scope = ['https://spreadsheets.google.com/feeds', 20 'https://www.googleapis.com/auth/drive'] 21 22 credentials = ServiceAccountCredentials.from_json_keyfile_name('xxx.json', scope) 23 gc = gspread.authorize(credentials) 24 wks = gc.open('xxx').sheet1 25 26 for index, e in enumerate(elements): 27 num_a = index+1 28 wks.update_acell('A'+str(num_a+1), e.get_text()) 29 30 for index, e in enumerate(elements_1): 31 num_a = index+1 32 wks.update_acell('B'+str(num_a+1), e.get_text()) 33 34 for index, e in enumerate(elements_2): 35 num_a = index+1 36 wks.update_acell('E'+str(num_a+1), e.get_text()) 37 38 for index, e in enumerate(elements_3): 39 num_a = index+1 40 wks.update_acell('C'+str(num_a+1), e.get_text()[0:11]) 41 42 for index, e in enumerate(elements_4): 43 num_a = index+1 44 text_ = e.i["class"][0] 45 text_ = text_.replace('rep_','') 46 text_ = text_.replace('_','.') 47 wks.update_acell('D'+str(num_a+1), text_)

これを実行するとコードからして当然かもしれませんが、A2から上書きされていきます...

最終行を取得し、その次から書いていく処理について、ご教示いただけますと幸いです。
よろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

今後止めることがないのであれば、

py

1x = 1 2def write_last_line(sentence:str): 3 worksheet.acell(f'B{x}',sentence) 4 x += 1 5 6write_last_line(data)

といった感じでアップデートしたらどうでしょうか?
それか、
最初の空白つまり
A列のn行目が最後+1のセルとすると、必然的にnは''となります。
for文で回して、''を取得したときにその行数(n)を変数に代入し、breakするといった手法で取得できます。

投稿2020/08/11 05:59

Hyugopython

総合スコア148

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

gomasan

2020/08/11 07:18 編集

ご回答ありがとうございます! いただいたコードですとget_text()で中身を取得するコードをどのように組み込んでいいか分からず、 「それか、最初の空白つまりA列のn行目が最後+1のセルとすると、必然的にnは''となります。 for文で回して、''を取得したときにその行数(n)を変数に代入し、breakするといった手法で取得できます。」 →こちらを自分なりの解釈で以下の通り書いてみました。 するとターミナルでエラーは出ないのですが、A列には何も表示されなくなりました。(他の列はコードを変えていないため表示あり) for num+a, e in enumerate(elements): if num+a == '': wks.update_acell('A'+str(num+a), e.get_text()) break 意図しているコードとは違うでしょうか...?重ねて恐れ入ります。
gomasan

2020/08/12 08:40

別の質問をした際に、条件の書き方について教わり、その通りにやったところ、こちらも問題も解決できました。ありがとうございます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問