pandasでtableを取得時にヘッダーが二つ取れてしまった場合

Question

pythonでtheadが二つある変則的なテーブルtableをスクレイピングしたのですが
ヘッダーが二行あるデータフレームが取れてしまいました。

import pandas as pd

url=***
df = pd.read_html(url)

<table>
  <thead>
    <tr>
      <th>名前</th>
      <th>年齢</th>
      <th>身長</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td><a href="//***.html"  title="内藤">内藤</a></td>
      <td>30</td>
      <td>165</td>
    </tr>
    <tr>
      <td><a href="//***.html"  title="仲里">仲里</a></td>
      <td>29</td>
      <td>162</td>
    </tr>
    <tr>
      <td><a href="//***.html"  title="中井">中井</a></td>
      <td>26</td>
      <td>161</td>
    </tr>
  </tbody>
  <thead>
    <tr>
      <th>名前</th>
      <th>年齢</th>
      <th>身長</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td><a href="//***.html"  title="永井">永井</a></td>
      <td>21</td>
      <td>157</td>
    </tr>
    <tr>
      <td><a href="//***.html"  title="長井">長井</a></td>
      <td>33</td>
      <td>152</td>
    </tr>
    <tr>
      <td><a href="//***.html"  title="永井">永井</a></td>
      <td>26</td>
      <td>154</td>
    </tr>
    <tr>
      <td><a href="//***.html"  title="永池">永池</a></td>
      <td>33</td>
      <td>164</td>
    </tr>
  </tbody>
</table>

      名前  年齢  身長
      名前  年齢  身長　　#←2行
0     内藤  30   165.0
1     仲里  29   162.0
2     中井  26   161.0
3     永井  21   157.0
4     長井  33   152.0
5     永井  26   154.0
6     永池  33   164.0

ヘッダーの削除方法がわからず一度CSVにしてskiprowsで2行削除してヘッダーをnamesでつけ直しています。

df[0].to_csv("temp.csv")
pd.read_csv("temp.csv", skiprows=2, names=["名前","年齢","身長"])

csvなどを作らずにヘッダーを削除する方法はありますでしょうか？教えて頂けたら幸いです。

Comments

[hayataka2049]

可能なら状況が再現するHTML文字列をいただけると回答しやすいです。

[takaki2]

HTMLを変更tableを記述しました。ブログに貼り付けて再現されるのを確かめました。

> python .\test.py
[ 名前 年齢 身長
名前 年齢 身長
0 内藤 30 165
1 仲里 29 162
2 中井 26 161
3 永井 21 157
4 長井 33 152

Answer 1

おそらくですが、columnがMultiIndexになっているのかと思います。

http://pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html

df.columns = df.columns.droplevel(1)

とでもして、２行目の Column を削除するとよいのではないでしょうか。

Comments

[takaki2]

import pandas as pd

url = ***
df = pd.read_html(url)
df[0].columns = df[0].columns.droplevel(1)
print(df)

> python .\test.py
[ 名前 年齢 身長
0 内藤 30 165
1 仲里 29 162
2 中井 26 161
3 永井 21 157

削除できました。
ありがとうございました。