Python pandasを使ってバス時刻表をスクレイプする

Question

pyhotn3系を使ってバスの時刻表をスクレイプしてcsv形式で出力したい

バスの時刻表を使って最寄りのバス停のバス出発時刻をカウントダウン形式で算出したい。

発生している問題・エラーメッセージ

該当部分のテーブルをcsvにすることはできたのですが、過密時間帯などはバスの本数が多くcsvで見ると、5.15E+10といった形で出力されます。
これをE+などとすることなくフルで数字を出したいのですがどうすればいいのかわかりません。

該当のソースコード

import pandas

url="http://www.kanachu.co.jp/dia/diagram/timetable/cs:0000800953-1/nid:00129893/rt:0/k:%E6%B9%98%E5%8D%97%E5%8F%B0%E9%A7%85%E8%A5%BF%E5%8F%A3.html"

fetched_df = pandas.io.html.read_html(url)

print(fetched_df[1])
fetched_df[1].to_csv('output.csv', index=False, encoding="shift_jis")

試したこと

エンコード設定なしだと文字化けしたのでshift_jisを入れました。
そうしたら、平日、土日、休日の部分は文字化けから治りました。

Answer 1

そもそもバスの時刻が指数表記になってしまうのがおかしいですね。本当は"15,30,45"のように分表示が複数併記されていたのが「一つの数値」あつかいになっているのではないですか。すべて文字列として読み込むべきです。

Answer 2

該当部分のテーブルをcsvにすることはできたのですが、過密時間帯などはバスの本数が多くcsvで見ると、5.15E+10といった形で出力されます。

これをE+などとすることなくフルで数字を出したいのですがどうすればいいのかわかりません。

それはpythonコード上でのprint文の結果やExcelなどの表計算ソフトでの見た目だけの問題です。
桁数が多いと自動で指数(E)表示されるようになっています。

CSVファイルをメモ帳などのテキストエディタで開いてみてください。

6,10203040455055,20304050.0,4050.0
7,0005101520304050,1020304050.0,1020304050.0

のようにちゃんと値が入っているのが確認できるかと思います。

追記：
動作未検証ですが、おそらく.read_htmlでは00 30（=0分と30分発）と30（30分発のみ）どちらも30として読み込まれてしまい区別がつかなくなりそうです。
よって先の課題となりますがbeautifulSoupなどを使ってパースする必要がありそうです。

Comments

[magichan]

私も最初そう思ったのですが、例えば7時台は 土曜・日曜共に 00分発のバスがあるようでして、一旦数値化したことによって、そのデータが消えてしまうという問題がありそうです。

[pinsong]

あ、そうなんですか!!
無知すぎて申し訳ありません。

まだまだ、開発初期段階また今回のコードがpythonで初めて書いたコードですが回答していただきありがとうございました。

[can110]

read_htmlは簡単便利ですが読込時にdtype指定できないようなので後々大変かも。
ちょっと面倒ですが真面目にbeautifulsoupなどのhtmlパーサを使ったほうが後が楽かもしれません。

[can110]

read_htmlは無理筋っぽいですね。

[magichan]

引数にdtypeがあれば問題ないんですけどね。
やはりbeautifulsoupで読み込んだ後に pandasにくわせるのが無難そうですね。

[can110]

ですね。
スクレイピングでは元ソースからいかに有用なデータを維持したまま後処理（加工）していくのかが大事なので。