質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.25%

  • HTML

    6453questions

    HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

  • Python 3.x

    2770questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • CSV

    429questions

    CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

  • selenium

    296questions

    Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

  • pandas

    249questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

pandasでhtmlからテーブルを取得する

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 89

DaichiYasuda

score 68

あるサイトのhtmlからテーブルをpandasで抜き出したい。

from selenium import webdriver
import pandas as pd
import requests
from bs4 import BeautifulSoup

driver = webdriver.PhantomJS()
driver.set_window_size(1024, 768)

#ここの処理は省きます

url = driver.current_url

data = driver.page_source.encode()
soup = BeautifulSoup(data, 'html.parser')

#tableを取得
tables = soup.find_all('table', attrs={'class': 'pro-table pro-table02 mb5 tableCross_1'})

dflist = pd.io.html.read_html(str(tables))

tablesの中身(googledoc)

dflistの中身(googledoc)

csvファイルの完成形(googleスプレッドシート)

最終的にはcsvファイルの完成形(googleスプレッドシート)のような表にしたのですができますでしょうか?

どなたかご教示お願い致します

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+1

dflistにてpd.DataFrameがうまく取得できているように見えます。
となるとあとは列の名前の変更と行インデックスの指定でしょうか。

列名前変更
http://nehan.io/blog/python-data-transform/id-10

特定の列をインデックスに指定
http://nekoyukimmm.hatenablog.com/entry/2016/02/25/094407

最後にCSVファイルに出力
https://qiita.com/ryu19maki/items/e5a3b470795de883a09a
https://pythondatascience.plavox.info/pandas/データフレームを出力する


手元では特に問題なくCSVファイルにできます。

import pandas as pd
from bs4 import BeautifulSoup

a = '''
<table class="pro-table pro-table02 mb5 tableCross_1">
<thead>
<tr>
<th class="w7p" rowspan="2"> </th>
<th class="w5p" rowspan="2">合計</th>
<th colspan="9">内訳</th>
<th class="w5p area-disabled" rowspan="2"><a class="gonFloat8 cboxElement" href="#print">地図・クーポン印刷</a></th>
<th class="w5p area-disabled" rowspan="2">チョットぐに追加</th>
<th class="w5p area-disabled" rowspan="2">口コミ</th>
<th class="w5p area-disabled" rowspan="2">お店のブログ</th>
</tr>
<tr>
<th class="w5p">店舗トップ</th>
<th class="w5p"><a class="gonFloat cboxElement" href="#menu">メニュー</a></th>
<th class="w5p"><a class="gonFloat5 cboxElement" href="#seat">席・個室・貸切</a></th>
<th class="w5p"><a class="gonFloat2 cboxElement" href="#photo">写真</a></th>
<th class="w5p">こだわり</th>
<th class="w5p"><a class="gonFloat7 cboxElement" href="#map">地図</a></th>
<th class="w5p">クーポン</th>
<th class="w5p"><a class="gonFloat3 cboxElement" href="#yoyaku">予約</a></th>
<th class="w5p"><a class="gonFloat6 cboxElement" href="#other">その他</a></th>
</tr>
</thead>
<tbody>
<tr>
<th class="txtLeft">2016/11</th>
<td class="txtRight table1item1">8158</td>
<td class="txtRight table1item2">2740</td>
<td class="txtRight table1item3">2199</td>
<td class="txtRight table1item4">998</td>
<td class="txtRight table1item5">420</td>
<td class="txtRight table1item6">214</td>
<td class="txtRight table1item7">542</td>
<td class="txtRight table1item8">242</td>
<td class="txtRight table1item9">790</td>
<td class="txtRight table1item10">13</td>
<td class="txtRight table1item11">49</td>
<td class="txtRight table1item12">0</td>
<td class="txtRight table1item13">111</td>
<td class="txtRight table1item14">0</td>
</tr>
<tr>
<th class="txtLeft">2016/12</th>
<td class="txtRight table1item1">5401</td>
<td class="txtRight table1item2">1909</td>
<td class="txtRight table1item3">1255</td>
<td class="txtRight table1item4">510</td>
<td class="txtRight table1item5">360</td>
<td class="txtRight table1item6">140</td>
<td class="txtRight table1item7">562</td>
<td class="txtRight table1item8">139</td>
<td class="txtRight table1item9">515</td>
<td class="txtRight table1item10">11</td>
<td class="txtRight table1item11">75</td>
<td class="txtRight table1item12">0</td>
<td class="txtRight table1item13">67</td>
<td class="txtRight table1item14">0</td>
</tr>
<tr>
<th class="txtLeft">2017/01</th>
<td class="txtRight table1item1">4584</td>
<td class="txtRight table1item2">1534</td>
<td class="txtRight table1item3">1219</td>
<td class="txtRight table1item4">413</td>
<td class="txtRight table1item5">341</td>
<td class="txtRight table1item6">137</td>
<td class="txtRight table1item7">333</td>
<td class="txtRight table1item8">135</td>
<td class="txtRight table1item9">460</td>
<td class="txtRight table1item10">12</td>
<td class="txtRight table1item11">18</td>
<td class="txtRight table1item12">0</td>
<td class="txtRight table1item13">49</td>
<td class="txtRight table1item14">0</td>
</tr>
<tr>
<th class="txtLeft">2017/02</th>
<td class="txtRight table1item1">4821</td>
<td class="txtRight table1item2">1711</td>
<td class="txtRight table1item3">1243</td>
<td class="txtRight table1item4">407</td>
<td class="txtRight table1item5">335</td>
<td class="txtRight table1item6">134</td>
<td class="txtRight table1item7">299</td>
<td class="txtRight table1item8">169</td>
<td class="txtRight table1item9">513</td>
<td class="txtRight table1item10">10</td>
<td class="txtRight table1item11">22</td>
<td class="txtRight table1item12">0</td>
<td class="txtRight table1item13">60</td>
<td class="txtRight table1item14">0</td>
</tr>
<tr>
<tr class="total">
<th class="txtLeft">合計</th>
<td class="txtRight w100 table1item1">59010</td>
<td class="txtRight w100 table1item2">19188</td>
<td class="txtRight w100 table1item3">14620</td>
<td class="txtRight w100 table1item4">5547</td>
<td class="txtRight w100 table1item5">3837</td>
<td class="txtRight w100 table1item6">1584</td>
<td class="txtRight w100 table1item7">3993</td>
<td class="txtRight w100 table1item8">1521</td>
<td class="txtRight w100 table1item9">8615</td>
<td class="txtRight w100 table1item10">105</td>
<td class="txtRight w100 table1item11">347</td>
<td class="txtRight w100 table1item12">0</td>
<td class="txtRight w100 table1item13">664</td>
<td class="txtRight w100 table1item14">0</td>
</tr>
</tbody>
</table>
'''

dfs = pd.io.html.read_html(a)
df = dfs[0]

df.columns = ['date', '合計', '店舗トップ', 'メニュー', 
             '席・個室・貸切', '写真', 'こだわり', '地図', 
             'クーポン', '予約', 'その他', '地図・クーポン印刷', 
             'チョットぐに追加', '口コミ', 'お店のブログ']

df = df.set_index('date')
del df.index.name

df.to_csv('mydata.csv')

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/12/11 23:26

    thタグが復数に別れておりまして、インデックスの指定ができません。
    助けていただいてもよろしいでしょうか?

    キャンセル

  • 2017/12/12 13:50

    リストからデータフレームを取り出していますか?
    それでもインデックス指定ができませんか?

    キャンセル

  • 2017/12/17 23:43

    ありがとうございました!
    データフレーム取り出して解決しました!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

ただいまの回答率

91.25%

関連した質問

同じタグがついた質問を見る

  • HTML

    6453questions

    HTMLとは、ウェブ上の文書を記述・作成するためのマークアップ言語のことです。文章の中に記述することで、文書の論理構造などを設定することができます。ハイパーリンクを設定できるハイパーテキストであり、画像・リスト・表などのデータファイルをリンクする情報に結びつけて情報を整理します。現在あるネットワーク上のほとんどのウェブページはHTMLで作成されています。

  • Python 3.x

    2770questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • CSV

    429questions

    CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

  • selenium

    296questions

    Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

  • pandas

    249questions

    Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。