URL が書き換わるのは、大抵はリダイレクトです。
curl を使って、下記のように確認すると どのような内容を受信したかわかると思いますが、どんなデータがきているのでしょうか?
curl -D - -s http://example.com/
質問に書かれている URL をうちで試してみた結果は、単に 302 でリダイレクトされているだけのようです。
受信したヘッダの Location
に新しい URL が記載されていますから、この URL に接続に行けば OK です。
実行例:
$ curl -D - -s https://matome.naver.jp/profile/gudachan
HTTP/1.1 302 Found
Date: Wed, 28 Nov 2018 12:22:53 GMT
Server: Apache
Set-Cookie: page_uid=T/I4FNWomYZsskuzAuCsssssscn-131058; path=/; domain=.naver.com
Set-Cookie: naver_usersession=oBnzTTAL-lsAAbCze-8; path=/; max-age=300; domain=.naver.jp
Cache-Control: private, no-cache, no-store, must-revalidate, post-check=0, pre-check=0
Expires: -1
Location: https://matome.naver.jp/mymatome/gudachan
Content-Length: 0
Vary: Accept-Encoding,User-Agent
P3P: CP="ALL CURa ADMa DEVa TAIa OUR BUS IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE LOC OTC"
Pragma: no-cache
Connection: close
Content-Type: text/plain; charset=UTF-8
追記:
Scrapy のドキュメントを読むと RedirectMiddleware というセクションがあり、HTTPステータスで、リダイレクトを受信した時どのような処理をするか決めれるようですよ。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。