リンク先でURLが変化するページのクロールについて

Question

プログラミング初心者です。

例えば以下サイト
https://matome.naver.jp/odai/2154332491260545501 の
<a href="/profile/gudachan" >・・・　　　(記事投稿者の名前の部分)

は、クリックするとリンク先でURLがprofile→mymatomeになります。
これはどのような仕組みで行われているのですか？

また現在scrapyを用いてクローラを作成しているのですが、このようなリンクは
aタグで取得するURL(profileのほう)とresponseから得るURL(mymatomeに変わった後)で、
値が変わってしまってうまく扱えません。

ご教授よろしくお願いします。

Answer 1

やってみます。どうもありがとうございます。

Answer 2

URL が書き換わるのは、大抵はリダイレクトです。

curl を使って、下記のように確認すると　どのような内容を受信したかわかると思いますが、どんなデータがきているのでしょうか？

curl -D - -s  http://example.com/

---

質問に書かれている URL をうちで試してみた結果は、単に 302 でリダイレクトされているだけのようです。

受信したヘッダの Location に新しい URL が記載されていますから、この URL に接続に行けば OK です。

実行例：

$ curl -D - -s https://matome.naver.jp/profile/gudachan

HTTP/1.1 302 Found
Date: Wed, 28 Nov 2018 12:22:53 GMT
Server: Apache
Set-Cookie: page_uid=T/I4FNWomYZsskuzAuCsssssscn-131058; path=/; domain=.naver.com
Set-Cookie: naver_usersession=oBnzTTAL-lsAAbCze-8; path=/; max-age=300; domain=.naver.jp
Cache-Control: private, no-cache, no-store, must-revalidate, post-check=0, pre-check=0
Expires: -1
Location: https://matome.naver.jp/mymatome/gudachan
Content-Length: 0
Vary: Accept-Encoding,User-Agent
P3P: CP="ALL CURa ADMa DEVa TAIa OUR BUS IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE LOC OTC"
Pragma: no-cache
Connection: close
Content-Type: text/plain; charset=UTF-8

---

追記：

Scrapy のドキュメントを読むと RedirectMiddleware というセクションがあり、HTTPステータスで、リダイレクトを受信した時どのような処理をするか決めれるようですよ。