Python RequestsでのAmazon商品一覧ページのHTML取得について

Amazon商品一覧ページからスクレイピングでASIN一覧を取得したく、PythonのRequestsライブラリでHTMLを取得したのですが
想定のHTML取得ができませんでした。

やりたいこととしては、

①Amazonで特定のキーワード（例えば"イヤホン"）で検索
②検索結果の商品一覧ページのURLでHTMLを取得

python
1import requests
2
3url = "https://www.amazon.co.jp/s?k=%E3%82%A4%E3%83%A4%E3%83%9B%E3%83%B3&__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&ref=nb_sb_noss"
4
5r = requests.get(url)
6print(r.text)
7

想定としては、上記URLのページで"右クリック→ページのソースを表示"で表示されるHTMLコードを取得して、商品リンクのURLからASINを
抽出したいと考えています。
しかし、実際に上記コードで取得できるHTMLは以下のようになってしまいます。

html
1<!DOCTYPE html>
2<!--[if lt IE 7]> <html lang="jp" class="a-no-js a-lt-ie9 a-lt-ie8 a-lt-ie7"> <![endif]-->
3<!--[if IE 7]>    <html lang="jp" class="a-no-js a-lt-ie9 a-lt-ie8"> <![endif]-->
4<!--[if IE 8]>    <html lang="jp" class="a-no-js a-lt-ie9"> <![endif]-->
5<!--[if gt IE 8]><!-->
6<html class="a-no-js" lang="jp"><!--<![endif]--><head>
7<meta http-equiv="content-type" content="text/html; charset=Shift_JIS">
8<meta charset="utf-8">
9a<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">
10<title dir="ltr">Amazon.co.jp</title>
11<meta name="viewport" content="width=device-width">
12<link rel="stylesheet" href="https://images-na.ssl-images-amazon.com/images/G/01/AUIClients/AmazonUI-3c913031596ca78a3768f4e934b1cc02ce238101.secure.min._V1_.css">
13<script>
14
15if (true === true) {
16    var ue_t0 = (+ new Date()),
17        ue_csm = window,
18        ue = { t0: ue_t0, d: function() { return (+new Date() - ue_t0); } },
19        ue_furl = "fls-fe.amazon.co.jp",
20        ue_mid = "A1VC38T7YXB528",
21        ue_sid = (document.cookie.match(/session-id=([0-9-]+)/) || [])[1],
22        ue_sn = "opfcaptcha.amazon.co.jp",
23        ue_id = 'B8T51ED3VP9YZ0TEA5XC';
24}
25</script>
26</head>
27<body>
28
29<!--
30        To discuss automated access to Amazon data please contact api-services-support@amazon.com.
31        For information about migrating to our APIs refer to our Marketplace APIs at https://developer.amazonservices.jp/ref=rm_c_sv, or our Product Advertising API at https://affiliate.amazon.co.jp/gp/advertising/api/detail/main.html/ref=rm_c_ac for advertising use cases.
32-->
33
34<!--
35Correios.DoNotSend
36-->
37
38<div class="a-container a-padding-double-large" style="min-width:350px;padding:44px 0 !important">
39
40    <div class="a-row a-spacing-double-large" style="width: 350px; margin: 0 auto">
41
42        <div class="a-row a-spacing-medium a-text-center"><i class="a-icon a-logo"></i></div>
43
44        <div class="a-box a-alert a-alert-info a-spacing-base">
45            <div class="a-box-inner">
46                <i class="a-icon a-icon-alert"></i>
47                <h4>ºÉ\¦³êÄ¢é¶ðüÍµÄ¾³¢</h4>
48                <p class="a-last">\µó èÜ¹ñªA¨qlª{bgÅÈ¢±ÆðmF³¹Ä¢½¾Kvª èÜ·BÅÇÌ©½¿ÅANZXµÄ¢½¾½ßÉA¨g¢ÌuEUªNbL[ðó¯üêÄ¢é±Æð²mF¾³¢B</p>
49                </div>
50            </div>
51
52            <div class="a-section">
53
54                <div class="a-box a-color-offset-background">
55                    <div class="a-box-inner a-padding-extra-large">
56
57                        <form method="get" action="/errors/validateCaptcha" name="">
58                            <input type=hidden name="amzn" value="m0gPc1wQ0SZrSZZz5uDV6Q==" /><input type=hidden name="amzn-r" value="&#047;s?k&#061;&#037;E3&#037;82&#037;A4&#037;E3&#037;83&#037;A4&#037;E3&#037;83&#037;9B&#037;E3&#037;83&#037;B3&amp;__mk_ja_JP&#061;&#037;E3&#037;82&#037;AB&#037;E3&#037;82&#037;BF&#037;E3&#037;82&#037;AB&#037;E3&#037;83&#037;8A&amp;ref&#061;nb_sb_noss" />
59                            <div class="a-row a-spacing-large">
60                                <div class="a-box">
61                                    <div class="a-box-inner">
62                                        <h4>±ÌæÉ©¦é¶ðüÍµÄ¾³¢:</h4>
63                                        <div class="a-row a-text-center">
64                                            <img src="https://images-na.ssl-images-amazon.com/captcha/druexhzz/Captcha_yuamtsscqs.jpg">
65                                        </div>
66                                        <div class="a-row a-spacing-base">
67                                            <div class="a-row">
68                                                <div class="a-column a-span6">
69                                                </div>
70                                                <div class="a-column a-span7 a-span-last a-text-right">
71                                                    <a onclick="window.location.reload()">ÊÌæÉµÄ¾³¢</a>
72                                                </div>
73                                            </div>
74                                            <input autocomplete="off" spellcheck="false" placeholder="¶ðüÍµÄ¾³¢" id="captchacharacters" name="field-keywords" class="a-span12" autocapitalize="off" autocorrect="off" type="text">
75                                        </div>
76                                    </div>
77                                </div>
78                            </div>
79
80                            <div class="a-section a-spacing-extra-large">
81
82                                <div class="a-row">
83                                    <span class="a-button a-button-primary a-span12">
84                                        <span class="a-button-inner">
85                                            <button type="submit" class="a-button-text">VbsOð±¯é</button>
86                                        </span>
87                                    </span>
88                                </div>
89
90                            </div>
91                        </form>
92
93                    </div>
94                </div>
95
96            </div>
97
98        </div>
99
100        <div class="a-divider a-divider-section"><div class="a-divider-inner"></div></div>
101
102        <div class="a-text-center a-spacing-small a-size-mini">
103            <a href="https://www.amazon.co.jp/gp/help/customer/display.html/ref=footer_cou/376-1267051-7966065?ie=UTF8&nodeId=643006">pKñ</a>
104            <span class="a-letter-space"></span>
105            <span class="a-letter-space"></span>
106            <span class="a-letter-space"></span>
107            <span class="a-letter-space"></span>
108            <a href="https://www.amazon.co.jp/gp/help/customer/display.html/ref=footer_privacy/376-1267051-7966065?ie=UTF8&nodeId=643000">vCoV[Kñ</a>
109        </div>
110
111        <div class="a-text-center a-size-mini a-color-secondary">
112          &copy; 1996-2013, Amazon.com, Inc. or its affiliates
113          <script>
114           if (true === true) {
115             document.write('<img src="https://fls-fe.amaz'+'on.co.jp/'+'1/oc-csi/1/OP/requestId=B8T51ED3VP9YZ0TEA5XC&js=1" />');
116           };
117          </script>
118          <noscript>
119            <img src="https://fls-fe.amazon.co.jp/1/oc-csi/1/OP/requestId=B8T51ED3VP9YZ0TEA5XC&js=0" />
120          </noscript>
121        </div>
122    </div>
123    <script>
124    if (true === true) {
125        var head = document.getElementsByTagName('head')[0],
126            prefix = "https://images-fe.ssl-images-amazon.com/images/G/01/csminstrumentation/",
127            elem = document.createElement("script");
128        elem.src = prefix + "csm-captcha-instrumentation.min.js";
129        head.appendChild(elem);
130
131        elem = document.createElement("script");
132        elem.src = prefix + "rd-script-6d68177fa6061598e9509dc4b5bdd08d.js";
133        head.appendChild(elem);
134    }
135    </script>
136</body></html>

これは仕様によるものなのか、それともURLの指定方法によるものになるのでしょうか。

行動規範の内容に同意します

回答1件

ベストアンサー

回答ではないので恐縮ですが、規約は読まれた上で実施されようとしていますか？

この利用許可には、アマゾンサービスまたはそのコンテンツの転売および商業目的での利用、製品リスト、解説、価格などの収集と利用、アマゾンサービスまたはそのコンテンツの二次的利用、第三者のために行うアカウント情報のダウンロードとコピーやその他の利用、データマイニング、ロボットなどのデータ収集・抽出ツールの使用は、一切含まれません。利用許可およびサイトへのアクセス

投稿2021/03/29 06:26