Pythonのpandasでのデータ取得時に、文字列が数値として読み込まれる動作について

Question

###前提・実現したいこと

PythonのPandasでhtmlファイル内の表データを取得したいと考えています。

###発生している問題・エラーメッセージ

表内のデータである文字列001が数字の1としてデータフレームに格納されてしまいます。
文字列001としてデータフレームに格納する方法を教えて頂けますでしょうか?

事象再現方法

①以下の/tmp/a.htmlファイルを用意する

<table>
  <thead>
    <tr>
      <th>a</th>
      <th>b</th>
      <th>c</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>test</th>
      <td>100</td>
      <td>001</td>
    </tr>
  </tbody>
</table>

②Pythonの対話操作で以下を行う。

>>> import pandas
>>> df = pandas.io.html.read_html('/tmp/a.html')
>>> df
[      a    b  c
0  test  100  1]

001が1として、データフレームに格納されます。

###試したこと

該当カラムのdtypeを確認したところ、int64になってました。

>>> df[0].dtypes
a    object
b     int64
c     int64
dtype: object
>>>  

またhtmlからthead・tbodyタグを外したら、001が文字列として読み込まれました。

事象再現方法
①以下の/tmp/b.htmlファイルを用意する

<table>
    <tr>
      <th>a</th>
      <th>b</th>
      <th>c</th>
    </tr>
    <tr>
      <td>test</th>
      <td>100</td>
      <td>001</td>
    </tr>
</table>

②Pythonの対話操作で以下を行う。

>>> import pandas
>>> df = pandas.io.html.read_html('/tmp/b.html')
>>> df
[      0    1    2
0     a    b    c
1  test  100  001]
>>> df[0].dtypes
0    object
1    object
2    object
dtype: object
>>> 

###補足情報(言語/FW/ツール等のバージョンなど)
OS: RHEL7
Python Ver: 2.7
pandas ver: 0.18.1

Answer 1

a.htmlをそのまま読み込むと、DataFrameではなくlistになってしまうんですね。

HTMLを加工してからpandasに渡す回避方法を考えてみました。
この方法がベストかは分かりませんが、pandas側で対応するのは難しそうなので...

要は

htmlからthead・tbodyタグを外したら、001が文字列として読み込まれました。

をプログラムで行うようにしただけです。

BeautifulSoupでtheadとtbodyを取り除いた文字列にしてから、pandasに渡します。

import pandas
from pandas.compat import StringIO
from bs4 import BeautifulSoup

with open('/tmp/a.html') as f:
    orig_html = f.read()
soup = BeautifulSoup(orig_html, 'lxml')
[tag.replaceWithChildren() for tag in soup('thead') + soup('tbody')]
html = unicode(soup)

df = pandas.read_html(StringIO(html))
print df

Comments

[pikesaku]

ご回答ありがとうございました。
私はpython初心者でして、ご回答いただき大変助かりました。