質問編集履歴
3
自己解決済み
title
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
|
1
|
+
[自己解決]XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
body
CHANGED
|
@@ -1,3 +1,3 @@
|
|
|
1
1
|
解決済みです。
|
|
2
2
|
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
|
3
|
-
pythonクローリングの仕組み
|
|
3
|
+
pythonクローリングの仕組みという本を読むことで解決しました。
|
2
＿＿
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,31 +1,3 @@
|
|
|
1
|
-
|
|
2
|
-
|
|
3
|
-
|
|
4
|
-
また、それに関して学習できる書籍やサイト等を知っていれば紹介してほしい。
|
|
5
|
-
### 発生している問題・エラーメッセージ
|
|
6
|
-
|
|
7
|
-
XHRファイルをスクレイピングしたいのですが、やり方がよくわかりません。pythonのBeautifulSoupを使ったスクレイピングはできるのですが、HTMLと違ってXHRファイルはURLを入力してもうまく取得できません。おそらく、URL単体では機能しないのではないかと思っています。エラーメッセージには、XHRファイルのRequestURLにアクセスした際に表示されるエラーを載せています。
|
|
8
|
-
エラーメッセージ
|
|
9
|
-
```
|
|
10
|
-
{"message":"Method not supported.","rootCause":"INTERNAL SERVER ERROR","key":"error.internal.server"}
|
|
11
|
-
|
|
12
|
-
python
|
|
13
|
-
ソースコード
|
|
14
|
-
from bs4 import BeautifulSoup
|
|
15
|
-
import requests
|
|
16
|
-
import os, time
|
|
17
|
-
url = 'https://portal.mobile.rakuten.co.jp/web/guest/equipment-details?p_p_id=EquipmentDetailsPortlet_INSTANCE_AOafXOUJhyge&p_p_lifecycle=2&p_p_state=normal&p_p_mode=view&p_p_resource_id=getStocks&p_p_cacheability=cacheLevelPage'
|
|
18
|
-
result = requests.get(url)
|
|
19
|
-
|
|
20
|
-
Google Chromeで、ディベロッパーツールを(https://portal.mobile.rakuten.co.jp/equipment-details?id=9158806889865638191)で開き、
|
|
21
|
-
ネットワークタグのXHRファイルで絞りこみます。equipment-detailsという名前のファイルの一つに、在庫数が記載されています。
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
### 試したこと
|
|
25
|
-
ウェブサイトでXHRファイルの取得方法に関して検索しましたが、有効なものは見つけられませんでした。
|
|
26
|
-
こちらのサイトで私のやりたいことを実現されている方がいらっしゃいました。
|
|
27
|
-
(https://ex-plain.net/mobile/rakuten/)
|
|
28
|
-
→(https://dev.omokoto.com/rakutenmobile_stock.php)
|
|
29
|
-
### 補足情報（FW/ツールのバージョンなど）
|
|
30
|
-
開発環境：pycharm
|
|
31
|
-
ブラウザ：Chrome
|
|
1
|
+
解決済みです。
|
|
2
|
+
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
|
3
|
+
pythonクローリングの仕組み
|
1
スクレイピングしたいサイトのURLを記載しました。
title
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
XHRファイル
|
|
1
|
+
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
body
CHANGED
|
@@ -3,7 +3,9 @@
|
|
|
3
3
|
できることなら、pythonのモジュールを利用したい。
|
|
4
4
|
また、それに関して学習できる書籍やサイト等を知っていれば紹介してほしい。
|
|
5
5
|
### 発生している問題・エラーメッセージ
|
|
6
|
+
|
|
6
7
|
XHRファイルをスクレイピングしたいのですが、やり方がよくわかりません。pythonのBeautifulSoupを使ったスクレイピングはできるのですが、HTMLと違ってXHRファイルはURLを入力してもうまく取得できません。おそらく、URL単体では機能しないのではないかと思っています。エラーメッセージには、XHRファイルのRequestURLにアクセスした際に表示されるエラーを載せています。
|
|
8
|
+
エラーメッセージ
|
|
7
9
|
```
|
|
8
10
|
{"message":"Method not supported.","rootCause":"INTERNAL SERVER ERROR","key":"error.internal.server"}
|
|
9
11
|
|
|
@@ -15,6 +17,10 @@
|
|
|
15
17
|
url = 'https://portal.mobile.rakuten.co.jp/web/guest/equipment-details?p_p_id=EquipmentDetailsPortlet_INSTANCE_AOafXOUJhyge&p_p_lifecycle=2&p_p_state=normal&p_p_mode=view&p_p_resource_id=getStocks&p_p_cacheability=cacheLevelPage'
|
|
16
18
|
result = requests.get(url)
|
|
17
19
|
|
|
20
|
+
Google Chromeで、ディベロッパーツールを(https://portal.mobile.rakuten.co.jp/equipment-details?id=9158806889865638191)で開き、
|
|
21
|
+
ネットワークタグのXHRファイルで絞りこみます。equipment-detailsという名前のファイルの一つに、在庫数が記載されています。
|
|
22
|
+
|
|
23
|
+
|
|
18
24
|
### 試したこと
|
|
19
25
|
ウェブサイトでXHRファイルの取得方法に関して検索しましたが、有効なものは見つけられませんでした。
|
|
20
26
|
こちらのサイトで私のやりたいことを実現されている方がいらっしゃいました。
|