Instagramのデータ取得にあたり、最大数以上のデータを取得したい

Question

前提

下記のHPを参考にし、データを取得しています。
https://gaaaon.jp/blog/instagram

Instagramのデータ取得件数は最大で50件であると記載されていたので、下記コードで実行した結果、50件＋’next’のurlも確認できています。

response = requests.get(url)
json_data = response.json()

for i in range(50):
   print(json_data["data"][i])

print (json_data["paging"])

info = json_data
df2 = pd.json_normalize(info['data'])
df2.to_csv(r"sample02.csv",encoding='utf-8-sig')  

実現したいこと

51件目以降のデータも取得したく、下記コードにて実行してみました。
*print("======================================")は、50件が何回繰り返されているのか自身が分かりやすくするなるように書いています。

response = requests.get(url)
json_data = response.json()


for b in range(2):
    url=json_data["paging"]["next"]
    response = requests.get(url)
    json_data = response.json()
    print("======================================")
    print("======================================")

    for i in range(50):
        print(json_data["data"][i])
        print (json_data["paging"])
        
    info = json_data
    df2 = pd.json_normalize(info['data'])
    print(df2)
    df2.to_csv(r"sample03.csv", mode = 'a',encoding='utf-8-sig')

発生している問題・エラーメッセージ

発生したエラーメッセージは下記のようになります。

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
Input In [61], in <cell line: 5>()
      2 json_data = response.json()
      5 for b in range(2):
----> 6     url=json_data["paging"]["next"]
      7     response = requests.get(url)
      8     json_data = response.json()

KeyError: 'paging'

これは、取得しようとしている元の件数がfor文で2回回していますが、それ以下の件数のためエラーになっているのか、それとも、そもそも構文が間違っているのでしょうか？

参考にしているHPでは、「2ページ目以降（51件以降）は同じURLを叩き続ける（返ってくるデータは更新される）必要がある」とありますが、これは、

response = requests.get(url)
json_data = response.json()

for i in range(50):
   print(json_data["data"][i])

print (json_data["paging"])

info = json_data
df2 = pd.json_normalize(info['data'])
df2.to_csv(r"sample02.csv",encoding='utf-8-sig')  

のコードを叩き続ければ、勝手に51件目、61件目となっていくのでしょうか？

51件目以降も取得するにはコードのどこを変更したらよいのでしょうか。また、現在のコードの何処が間違っているのでしょうか。

ご指導の程、よろしくお願いします。

追記

教えていただいたコードにて実行した際の画像になります。

追記02

上手く実行できるものと、エラーが出てしまうものの違いは、何が問題なのでしょうか…

Answer 1

修正例2です。

max_request_num = 3  # 最大何ページまで取得するか
for b in range(max_request_num):
    response = requests.get(url)
    json_data = response.json()
    print("======================================")
    print("======================================")

    # 取得したデータをあるだけprintする
    for d in json_data["data"]:
        print(d)

    info = json_data
    df2 = pd.json_normalize(info["data"])
    print(df2)
    df2.to_csv(r"sample03.csv", mode="a", encoding="utf-8-sig")

    # データが50件未満の場合、このページでリクエストを打ち切る
    if len(json_data["data"]) < 50:
        break

    # forループの1回目だけurlを更新する
    if b == 0:
        url = json_data["paging"]["next"]  # 2回目以降のurl

Comments

[ttttt08]

T_F様

迅速かつ丁寧に対応していただきありがとうございました！
無事、エラーなることなく実行することが出来ました。

[T_F]

お役に立てたようで何よりです！

[ttttt08]

追加でご質問なのですが、
様々なハッシュタグ検索を行っていたのですが、教えていただいたコードでうまく実行できるものと以下のようなエラーが出てしまうものがありました。

---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
Input In [3], in <cell line: 6>()
10 print("======================================")
12 # 取得したデータをあるだけprintする
---> 13 for d in json_data["data"]:
14 print(d)
16 info = json_data

KeyError: 'data'

「KeyError: 'data'」となっていたので、一度「json_data["data"]」で確認すると、同じように下記の様なエラーが出てしまいました。
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
Input In [7], in <cell line: 1>()
----> 1 json_data["data"]

KeyError: 'data'

同じコードで、どこではじかれているのか分かりません…

画像も追記で載せていますので見ていただけると幸いです。

[T_F]

最初のpagingのKeyErrorと同様に、json_dataにdataがないようです。
リクエストしてもdataを送ってもらえなくなっているのだと思います。
推測ですが、考えられる理由としては、
①結果が0件でデータがない
②リクエストを大量に送りすぎて利用制限がかかった
あたりかなと思います。
調査方法としては、実際のハッシュタグ検索結果と照らし合わせる、うまくいったハッシュタグがエラーのハッシュタグのリクエストのすぐ後でもうまくいくか確かめる、時間を置いて再度リクエストする、うまくいくハッシュタグとエラーが出るハッシュタグとの違いを考察してみる、などを地道に試してみてください。

[ttttt08]

分かりました！
丁寧にありがとうございました🙇‍♀️

Answer 2

KeyError: 'paging'
となっており、2回めのリクエストのレスポンスにはpagingがないようです。
for b in range(2):より前の1回目のリクエストで取得した
url=json_data["paging"]["next"]
のurlをそのまま2回目以降使い続けるということではないかと思います。

また、1回目のリクエストの内容をprintできていないので、forループ内でのみリクエストした方が良いです。

以下、修正例です。

url = "1回目のurl"

# 1回目のリクエストの結果もprintするためにコメントアウト
# response = requests.get(url)
# json_data = response.json()

for b in range(3):
    # url=json_data["paging"]["next"]  # 一番下に移動
    response = requests.get(url)
    json_data = response.json()
    print("======================================")
    print("======================================")

    for i in range(50):
        print(json_data["data"][i])
        # print (json_data["paging"])  # 2回目以降は使えないのでコメントアウト
        
    info = json_data
    df2 = pd.json_normalize(info['data'])
    print(df2)
    df2.to_csv(r"sample03.csv", mode = 'a',encoding='utf-8-sig')
    
    # forループの1回目だけurlを更新する
    if b == 0:
        url = json_data["paging"]["next"]  # 2回目以降のurl

アクセストークンなどが手元にないのでコードを実行できず、推測の回答です。
手打ちのコードなのでバグなどあるかもしれませんが、一旦これで結果を教えてください。

Comments

[ttttt08]

T_F様

修正ありがとうございます！
実行してみた結果、
print("======================================") print("======================================")
は3回出てきており、その下に以下のようなエラーが出ていました。

---------------------------------------------------------------------------
IndexError Traceback (most recent call last)
Input In [6], in <cell line: 5>()
10 print("======================================")
12 for i in range(50):
---> 13 print(json_data["data"][i])
14 # print (json_data["paging"]) # 2回目以降は使えないのでコメントアウト
16 info = json_data

IndexError: list index out of range

[ttttt08]

Excelも確認したところ、102行で51件目以降も取得出来ている模様でしたが、101件目以降の数件は出力されていないようでした。

追記で写真を載せますのでご確認お願いいたします。

[T_F]

結果と写真ありがとうございます。確認しました。
3回目まで回っているところを見ると、データの取得自体は無事できるようになったようで良かったです。
エラーの内容は、3回目ではデータが50件未満しかないことが原因だと思われます。
おそらくサイトが3ページ目で終わっているのでしょう。
対策は、データ数が50件であると決め打ちせず、データをある分だけ取り出すようにすることです。
それに応じて、データが50件未満の場合にリクエストを打ち切る処理も必要です。
3回目の途中のエラーを解消することで、3回目の結果もExcelに反映されます。

以下、修正例です。クエリや最大ページ数を変更して10ページほど確かめてみてください。
（再度手打ちのコードなので軽微なバグなどあるかもしれませんがご容赦ください。）

max_request_num = 3 # 最大何ページまで取得するか
for b in range(max_request_num):
response = requests.get(url)
json_data = response.json()
print("======================================")
print("======================================")

# 取得したデータをあるだけprintする
for d in json_data["data"]:
print(d)

info = json_data
df2 = pd.json_normalize(info["data"])
print(df2)
df2.to_csv(r"sample03.csv", mode="a", encoding="utf-8-sig")

# データが50件未満の場合、このページでリクエストを打ち切る
if len(json_data["data"]) < 50:
break

# forループの1回目だけurlを更新する
if b == 0:
url = json_data["paging"]["next"] # 2回目以降のurl

追記:コメント投稿ではインデントがすべてなくなってしまうようです。再度回答で投稿してみます。