httplib2で、リダイレクト先のURLが表示されない

Question

###前提・実現したいこと

• httplib2を利用して、事前にファイルに格納しておいたURLを順番に読み込んで、内容を返すプログラムを作成しています。
• もしもURLがリダイレクトされている場合は、リダイレクト先のURLを読み込んで内容を返してほしいです。

###発生している問題・エラーメッセージ

• ブラウザでアクセスするとリダイレクトされているURLが、httplib2を使ってアクセスするとリダイレクトしてくれません。
• ステータスコードを確認すると、200を返してきます。

以下の通りにリダイレクトして内容を取得してほしいです。

• http://wc2014.2ch.net/2chse/ → http://rio2016.2ch.net/2chse/
• http://maguro.2ch.net/lang8/ → http://agree.2ch.net/lang8/

現状では、古いアドレスにアクセスして、リダイレクトせずにそのまま200が返ってきてしまうのです...
###該当のソースコード

import httplib2
http = httplib2.Http(cache='tmp/.cache', timeout=3)
url_lists = ["http://wc2014.2ch.net/2chse/", "http://maguro.2ch.net/lang8/"]

for i in url_lists:
    response, content = http.request(i)
    status = response.status
    try:
        if status != 200 and status != 302 and status != 304:
            raise httplib2.HttpLib2Error
    except (httplib2.RelativeURIError, httplib2.ServerNotFoundError, httplib2.HttpLib2Error):
        print("エラー")
    else:
        print(status)
        print(response['content-location'])

実行結果

200
http://wc2014.2ch.net/2chse/
200
http://maguro.2ch.net/lang8/

###試したこと

• 本家のドキュメントを見たり、ググったりしましたがさっぱりでした...

###補足情報(言語/FW/ツール等のバージョンなど)
より詳細な情報

• Python3.6.1
• httplib2

Answer 1

提示されたページは

<script language="javascript">window.location.href="http://rio2016.2ch.net/2chse/"</script>

のようにjavascriptでリダイレクトが実現されています。
このようなページは、内部で'javascript'を解釈・実行できるseleniumなどのブラウザ同等の機能を持つモジュールでないとリダイレクトできないようです。

参考：Python Get Redirect URL with Javascript

Comments

[sakageUN]

ご指摘の通り、selenium+phantomjsでアクセスしてみたところ、とりあえずは拾うことができました。

ただ、比べ物にならないくらい遅いですね...945個の板のリダイレクト先を調査するのに2時間半かかりましたｗ

ご回答誠にありがとうございました！！