現状

こちらのコードでローカルに画像を12枚まで保存できます

Python
1import os
2from urllib.request import urlopen
3from selenium import webdriver
4from bs4 import BeautifulSoup
5
6URL = "https://www.instagram.com/rolaofficial/"
7
8driver = webdriver.PhantomJS()
9driver.get(URL)
10html = driver.page_source
11
12bs = BeautifulSoup(html, "html.parser")
13img_urls = [img.get("src") for img in bs.select("._myci9 img")]
14    
15# 保存
16img_dir = "images"
17if not os.path.exists(img_dir):
18    os.mkdir(img_dir)
19
20for i,url in enumerate(img_urls):
21    print(url)
22    with urlopen(url) as res:
23        img = res.read()
24        with open(img_dir + "/photo%d.jpg" % (i+1), "wb") as f:
25            f.write(img)

目的

入力したユーザーIDの画像を'すべて'取得したいです

デフォルトで画像を12枚までしか表示していない
サイト下部にある「さらに表示」ボタンを押すと無限スクロールが開始する

といったサイトのすべての画像をスクレイピングするにはどうすればよいでしょうか？

もしくは、これはPythonでは実現できないのでしょうか？

ご教授お願いいたします。

行動規範の内容に同意します

回答2件

そもそも、Instagramをスクレイピングすることは禁止されています（利用規約）。

Instagramは、自動装置などを使って本サービス上のあらゆるコンテンツ(利用者のプロフィールや写真を含みますが、これに限定されません)を巡回、収集、キャッシングしたり、これにアクセスしたりすることを禁止しています(ただし、標準的な検索エンジンプロトコルまたはInstagramが明示的に認めている検索エンジンが使用する技術を用いる場合を除きます)。

投稿2017/03/24 08:03

maisumakun

総合スコア145930

1年以上前の質問への突然の回答すみません...こちらの回答はインスタグラムの規約改正?がされたかを私自身が確認したく投稿しているものです。

本題について(もう自己解決されているかもですが)

まだ規約改正により禁止事項ではなくなったという確信がないので、とりあえず私がとった方法をヒントという形で挙げます。(色々な方法があると思われるので1例です。)

1枚目の写真をクリック(実際にやってみると背景にフェードがかかり写真が拡大表示されます。)
coreSpriteRightPaginationArrowというクラスを持った矢印の要素があるのでこれをクリック
順次写真を取ることができます。(取ったらまた矢印をクリック...以下最後まで)

Waitを適宜入れるのがコツです。

規約改正について

1年前には禁止事項であったことは私も確認していたのですが、先ほどページを見たところ該当部分を発見することができませんでした。

もしかしたら現在は禁止事項ではなくなったのかもしれません。(証拠には全くなりませんが、instagramのスクレイピングに関する記事がQiitaでもいくつか確認できます。)
何かご存知の方がいらっしゃればコメントいただけると幸いです。よろしくお願いします。m(_ _)m

追記

コメント欄にある通り2018年9月1日現在も禁止のようです。お騒がせいたしました。m(_ _)m

投稿2018/08/31 19:43

編集2018/08/31 22:29

namnium1125

総合スコア2045

maisumakun

2018/08/31 22:18

現在の規約にも、「不正な方法を用いて、アカウントの作成、情報へのアクセス、または情報の取得を試みることは禁止されています。これには、弊社から明示的な許可を得ることなく、自動化された手段を用いてアカウントを作成したり、情報を取得したりする行為が含まれます。」というのが入っていて、スクレイピングは禁止されているようです。