前提・実現したいこと
該当のアカウントURLからフォロワー数を抽出するいい方法が
あれば教えていただきたいです。
具体的には、
'https://www.instagram.com/' + target_id_111
にアクセスした際に、そのアカウントのフォロワー数が返ってくるスクリプトを組みたいです。
発生している問題・エラーメッセージ
以下のソースで途中までは、フォロワー数が抽出できるのですが
途中から、'ProfilePage'が返ってくる。
該当のソースコード
python
1# -*- coding: utf-8 -*- 2 3############################# 4# インスタグラムの調査したいアカウントのフォロワー数を取得し、 5# csvファイルに書き込み出力する(スクレイピング処理) 6############################# 7 8import json 9import requests 10import re 11import csv 12#import MySQLdb 13import sys 14from bs4 import BeautifulSoup 15from time import sleep 16DB_FLG = 0 17 18 19# 対象アカウントの取得 20accounts = [] 21 22 # accounts = ['target_id_111','target_id_222','target_id_333'] 23 24 accounts = [ 25 'target_id_111','target_id_222','target_id_333' 26 ] 27 28# 書き込み用CSVファイルの用意 29f = open('insta2000.csv', 'a') 30csvWriter = csv.writer(f) 31 32headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/602.4.8 (KHTML, like Gecko) Version/10.0.3 Safari/602.4.8'} 33 34# 対象アカウントのリストをループ処理 35for account in accounts: 36 try: 37 url = 'https://www.instagram.com/' + account 38 res = requests.get(url, headers = headers) 39 soup = BeautifulSoup(res.content, 'html5lib') 40 js = soup.find("script",text=re.compile("window._sharedData")).text 41 data = js[js.find("{"):js.rfind("}")+1] 42 output = account + ',' + str(json.loads(data)['entry_data']['ProfilePage'][0]['graphql']['user']['edge_followed_by']['count']) 43 print(output) 44 listData = [] 45 listData.append(url) 46 listData.append(json.loads(data)['entry_data']['ProfilePage'][0]['graphql']['user']['edge_followed_by']['count']) 47 csvWriter.writerow(listData) 48 except Exception as e: 49 print(e) 50 listData = [] 51 listData.append(url) 52 listData.append('error') 53 csvWriter.writerow(listData) 54 # 負荷を考慮して3秒おきに処理する 55 sleep(3) 56 57f.close() 58
試したこと
ググって以下の記事参考にしてみましたが、いまいちわからず。。
https://self-development.info/%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E7%A6%81%E6%AD%A2%E3%81%AEinstagram%E3%82%92python%E3%81%A7%E6%94%BB%E7%95%A5%E3%81%99%E3%82%8B%E3%80%90selenium%E3%80%91/
再起動。
再起動すると、数件なら抽出できるが、途中からまた抽出に失敗する。