pandasにurlからデータインポート

Question

pandasを利用しurlから直接データを取り込み方法について教えてください。

下記コードのようにcsvが直接リンクされたurlからpandasにデータを取り込む方法は検索すると見つかるのですが、リンク先がjavascriptで記述されており、クリック後にファイルダウンロードが始まる仕様の場合、urlはどのように記述すればよろしいでしょうか。
リンク先は<a href="javascript:********">と記述されています。

環境
python3.5
windows7 64bit

import pandas as pd
url="https://rawdata/master.csv"
table=pd.read_csv(url)

試したこと
seleniumを利用しcsvファイルをダウンロードすることはできました。
直接pythonにデータをインポートすることができないかのご相談です。

Answer 1

1. pandas でURL から データをインポートするにはどうするか？
2. href="javascript:xxx"; みたいなURLの場合はどうするのか？

という二つの質問があると思うんですが 1 に関してはご自身で書いてるとおり pandasに直接URLを渡せば良いです。

import pandas as pd
table = pd.read_csv("https://rawdata/master.csv")

2の質問に関しては、"javascript:xxx" をそのまま pandas に渡してもダメなので、実際にボタンを押した時にアクセスしているURLを確認する必要があります。

A.ボタンを押す -> B.javascriptが動く -> C.実際のCSVダウンロードのURLにリクエストが飛ぶ

おそらくこういう動きになってると思うんですが C の時のURLが知りたいというイメージです。
GoogleChromeのデベロッパーツールに「Network」という機能があって、そこでどこのURLにアクセスしているか
確認できるので試してみてください。

ボタン押した時にアクセスURLがその「Network」の情報として表示されると思います。

http://www.buildinsider.net/web/chromedevtools/01

Comments

[manataku]

tell_Kさん
返答遅くなり申し訳ありません。
GoogleChromeのデベロッパーツールに
「Network」という機能について初めて知りました。
ありがとうございます。

早速、Networkタブを表示し、Headersより
Request URL:http://～.aspxを見つけることができました。

データ格納元には複数のCSVファイルへのリンクが表示あり、
他のリンク先についても同様にチェックしたことろ、
同じRequest URL:http://～.aspxが表示されました。
それぞれのリンク先ファイルは別データになりますので、
どこかに識別コードが入るものと考えましたが、
リンク先の確認方法はこれでよろしかったでしょうか。

[tell_k]

CSVをダウンロードする時にそのURLが叩かれているのでれば、あってるとは思います。

> http://～.aspx

違うタイプのCSVでも同じURLが叩かれているのであれば、例えばPOSTパラメータなどでそれぞれどのCSVをダウンロードするのか決定してるのかもしれません。その場合、pandasでは「read_csv」多分GETアクセスしかサポートしてないので、一回POSTリクエストでCSVをローカルにダウンロードしてから、read_csvで読み込ませてあげる必要があると思います。

[manataku]

tell_Kさん
お返事ありがとうございます。
素直にCSVダウンロードしてから
pandasに読み込ませたいと思います。