質問編集履歴
3
自己解決済み
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
|
1
|
+
[自己解決]XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
test
CHANGED
|
@@ -2,4 +2,4 @@
|
|
|
2
2
|
|
|
3
3
|
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
|
4
4
|
|
|
5
|
-
pythonクローリングの仕組み
|
|
5
|
+
pythonクローリングの仕組みという本を読むことで解決しました。
|
2
＿＿
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,61 +1,5 @@
|
|
|
1
|
-
|
|
1
|
+
解決済みです。
|
|
2
2
|
|
|
3
|
-
|
|
3
|
+
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
|
4
4
|
|
|
5
|
-
|
|
6
|
-
|
|
7
|
-
また、それに関して学習できる書籍やサイト等を知っていれば紹介してほしい。
|
|
8
|
-
|
|
9
|
-
### 発生している問題・エラーメッセージ
|
|
10
|
-
|
|
11
|
-
|
|
12
|
-
|
|
13
|
-
XHRファイルをスクレイピングしたいのですが、やり方がよくわかりません。pythonのBeautifulSoupを使ったスクレイピングはできるのですが、HTMLと違ってXHRファイルはURLを入力してもうまく取得できません。おそらく、URL単体では機能しないのではないかと思っています。エラーメッセージには、XHRファイルのRequestURLにアクセスした際に表示されるエラーを載せています。
|
|
14
|
-
|
|
15
|
-
エラーメッセージ
|
|
16
|
-
|
|
17
|
-
```
|
|
18
|
-
|
|
19
|
-
{"message":"Method not supported.","rootCause":"INTERNAL SERVER ERROR","key":"error.internal.server"}
|
|
20
|
-
|
|
21
|
-
|
|
22
|
-
|
|
23
|
-
python
|
|
24
|
-
|
|
25
|
-
ソースコード
|
|
26
|
-
|
|
27
|
-
from bs4 import BeautifulSoup
|
|
28
|
-
|
|
29
|
-
import requests
|
|
30
|
-
|
|
31
|
-
import os, time
|
|
32
|
-
|
|
33
|
-
url = 'https://portal.mobile.rakuten.co.jp/web/guest/equipment-details?p_p_id=EquipmentDetailsPortlet_INSTANCE_AOafXOUJhyge&p_p_lifecycle=2&p_p_state=normal&p_p_mode=view&p_p_resource_id=getStocks&p_p_cacheability=cacheLevelPage'
|
|
34
|
-
|
|
35
|
-
result = requests.get(url)
|
|
36
|
-
|
|
37
|
-
|
|
38
|
-
|
|
39
|
-
Google Chromeで、ディベロッパーツールを(https://portal.mobile.rakuten.co.jp/equipment-details?id=9158806889865638191)で開き、
|
|
40
|
-
|
|
41
|
-
ネットワークタグのXHRファイルで絞りこみます。equipment-detailsという名前のファイルの一つに、在庫数が記載されています。
|
|
42
|
-
|
|
43
|
-
|
|
44
|
-
|
|
45
|
-
|
|
46
|
-
|
|
47
|
-
### 試したこと
|
|
48
|
-
|
|
49
|
-
ウェブサイトでXHRファイルの取得方法に関して検索しましたが、有効なものは見つけられませんでした。
|
|
50
|
-
|
|
51
|
-
こちらのサイトで私のやりたいことを実現されている方がいらっしゃいました。
|
|
52
|
-
|
|
53
|
-
(https://ex-plain.net/mobile/rakuten/)
|
|
54
|
-
|
|
55
|
-
→(https://dev.omokoto.com/rakutenmobile_stock.php)
|
|
56
|
-
|
|
57
|
-
### 補足情報（FW/ツールのバージョンなど）
|
|
58
|
-
|
|
59
|
-
開発環境：pycharm
|
|
60
|
-
|
|
61
|
-
ブラウザ：Chrome
|
|
5
|
+
pythonクローリングの仕組み
|
1
スクレイピングしたいサイトのURLを記載しました。
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
XHRファイル
|
|
1
|
+
XHRファイルをスクレイピングしたい。または、やり方を学習できる書籍やサイトを教えてほしい。
|
test
CHANGED
|
@@ -8,7 +8,11 @@
|
|
|
8
8
|
|
|
9
9
|
### 発生している問題・エラーメッセージ
|
|
10
10
|
|
|
11
|
+
|
|
12
|
+
|
|
11
13
|
XHRファイルをスクレイピングしたいのですが、やり方がよくわかりません。pythonのBeautifulSoupを使ったスクレイピングはできるのですが、HTMLと違ってXHRファイルはURLを入力してもうまく取得できません。おそらく、URL単体では機能しないのではないかと思っています。エラーメッセージには、XHRファイルのRequestURLにアクセスした際に表示されるエラーを載せています。
|
|
14
|
+
|
|
15
|
+
エラーメッセージ
|
|
12
16
|
|
|
13
17
|
```
|
|
14
18
|
|
|
@@ -32,6 +36,14 @@
|
|
|
32
36
|
|
|
33
37
|
|
|
34
38
|
|
|
39
|
+
Google Chromeで、ディベロッパーツールを(https://portal.mobile.rakuten.co.jp/equipment-details?id=9158806889865638191)で開き、
|
|
40
|
+
|
|
41
|
+
ネットワークタグのXHRファイルで絞りこみます。equipment-detailsという名前のファイルの一つに、在庫数が記載されています。
|
|
42
|
+
|
|
43
|
+
|
|
44
|
+
|
|
45
|
+
|
|
46
|
+
|
|
35
47
|
### 試したこと
|
|
36
48
|
|
|
37
49
|
ウェブサイトでXHRファイルの取得方法に関して検索しましたが、有効なものは見つけられませんでした。
|