ヤマト運輸のHPのクローリング

Question

ヤマト運輸の集配拠点のデータを取ってくるために、ヤマト運輸のHPのクローリングを行いたいです。

例えば、東京都足立区のページ（https://www.e-map.ne.jp/p/yamato01/nmap.htm?&cond22=1&&&his=al1%2Cal2&lat=35.7724056&lon=139.8077417&srchnm=%C5%EC%B5%FE%C5%D4%C2%AD%CE%A9%B6%E8）からセブンイレブン足立梅島２丁目 （https://www.e-map.ne.jp/p/yamato01/dtl/0338480711/?&cond21=1&cond22=1&&his=al1,al2,nm&srchplace=35.7724056,139.8077417）のデータを取ってくるということをしたいです…①

①のような操作を23区のすべての集配拠点について行いたいのですが、①の操作ができないでいます。
①の操作のために用いているメソッドは以下の通りです。

def get_dtl_Link(url): # 受け取ったurl先のリンクを取得
    res = requests.get(url)
    soup = bs(res.content, "html.parser")
    return soup.find_all("a",href=re.compile("^dtl"))

ここで、東京都足立区の場合、

url=https://www.e-map.ne.jp/p/yamato01/nmap.htm?&cond22=1&&&his=al1%2Cal2&lat=35.7724056&lon=139.8077417&srchnm=%C5%EC%B5%FE%C5%D4%C2%AD%CE%A9%B6%E8

です。

しかし、これでは各店舗の詳細ページを取ってくることができません。エラーも出ません。どうすればよいのでしょうか。お知恵を拝借できれば幸いです。

追記１
以下のように、"^dtl"を"dtl"としたメソッドでもうまくいきません。

def get_dtl_Link(url): # 受け取ったurl先のリンクを取得
    res = requests.get(url)
    soup = bs(res.content, "html.parser")
    return soup.find_all("a",href=re.compile("dtl"))

Comments

[退会済みユーザー]

クローラを使ってアクセスすることはヤマト運輸の了解を得ているのでしょうか？　了解を得ているということでしたら余計なお世話で失礼しました。でも、もし了解を得てないということですと、ごく特殊な事例かもしれませんが、クローラを使って某図書館の HP にアクセスしたら業務妨害で逮捕されたという事例もありますので注意した方がよさそうです。

Answer 1

もしページをそのまま取得された結果を解釈されているのだとしたら、
該当URLのソースには下記のような箇所があるかと思います。

<div id="rightArea">
        <div id="ZdcEmapList"></div>
</div>

実際にブラウザで表示したページには、上記の中に下記で始まるブロックが表示されているものと思います。

<div id="kyotenList"></div>

プログラムで取得しようとしているaタグのリンクは上記divタグの中に存在します。
この結果はJavaScriptによってページの表示後に取得されています。

そのため、取得したHTML中にそのままURLは記載されておらず、JavaScriptを解釈してページを組み立てて解析するか、JavaScriptが参照している処理の結果を直接取得するなど行う必要があります。

そのような行為がリバースエンジニアリング等の利用規約に違反する行為となる可能性や、質問への追記・修正の依頼に記載頂いているような不正アクセスとして受け取られる可能性についても考慮が必要かと考えられます。