Python 3 で綺麗にテーブルを引き抜きたい

Python 3 を使ってhtmlファイルとして保存したあるサイトのテーブルを引き抜きたいと思います。Pandasのモデュールを使って、以下のコードをPycharmでいれるとテーブルは引き抜く事はできました。

Python3
1import pandas as pd
2
3filename = "c:\users\someone\desktop\example.html"
4path = open(filename, 'r')
5df = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[0:3]

テーブルは三つあります。

HTML
1<table class="list2">
2   <tbody>
3      <tr class="bg3">
4      <tr class="bg3">
5      <tr class="bg5">
6      <tr class="bg5">
7      <tr class="bg1">
8      <tr class="bg1">
9      <tr class="bg5">
10      <tr class="bg5">
11      <tr class="bg1">
12      <tr class="bg1">
13   <tbody>
14<span id="list-title"></span>
15<table class="list2">
16   <tbody>
17      <tr class="bg3">
18      <tr class="bg3">
19      <tr class="bg5">
20      <tr class="bg5">
21      <tr class="bg1">
22      <tr class="bg1">
23      <tr class="bg5">
24      <tr class="bg5">
25      <tr class="bg1">
26      <tr class="bg1">
27   <tbody>
28<span id="list-title"></span>
29<table class="list2">
30   <tbody>
31      <tr class="bg3">
32      <tr class="bg3">
33      <tr class="bg5">
34      <tr class="bg5">
35      <tr class="bg1">
36      <tr class="bg1">
37      <tr class="bg5">
38      <tr class="bg5">
39      <tr class="bg1">
40      <tr class="bg1">
41   <tbody>

このサイトの書き方が悪いと思うのですが、項目が２行になっているためそれに基づくデータもすべて２行ずつ出てきます。

例えば、こんな感じです。

項目｜項目｜項目｜項目
項目｜項目｜項目｜項目
AAA | AAA | AAA | AAA
AAA | AAA | AAA | AAA
BBB | BBB |BBB | BBB
BBB | BBB |BBB | BBB

２行ずつではなく、以下のように一行に変えたいのです。あと、３つのテーブルを一つにしたいです。

項目｜項目｜項目｜項目｜項目｜項目｜項目｜項目
AAA | AAA | AAA | AAA | AAA | AAA | AAA | AAA
BBB | BBB |BBB | BBB | BBB | BBB |BBB | BBB

どうすればいいのか調べても調べても分からなく困っています。

行動規範の内容に同意します

回答1件

ベストアンサー

一度奇数行と偶数行でデータフレームを分割してから、再結合するとよいのではないでしょうか。

Python
1print(df)
2#    項目1   項目2   項目3   項目4
3#    項目5   項目6   項目7   項目8
4#0  AAA1  AAA2  AAA3  AAA4
5#1  AAA5  AAA6  AAA7  AAA8
6#2  BBB1  BBB2  BBB3  BBB4
7#3  BBB5  BBB6  BBB7  BBB8
8
9# 奇数行
10tmp1 = df.iloc[::2].reset_index(drop=True)
11tmp1.columns = df.columns.get_level_values(0)
12# 偶数行
13tmp2 = df.iloc[1::2].reset_index(drop=True)
14tmp2.columns = df.columns.get_level_values(1)
15# 結合
16df = pd.concat([tmp1, tmp2], axis=1)
17print(df)
18#    項目1   項目2   項目3   項目4   項目5   項目6   項目7   項目8
19#0  AAA1  AAA2  AAA3  AAA4  AAA5  AAA6  AAA7  AAA8
20#1  BBB1  BBB2  BBB3  BBB4  BBB5  BBB6  BBB7  BBB8

投稿2020/01/21 01:25

magichan

総合スコア15898

SnowBallEffect

2020/01/21 01:39

ありがとうございます。Magichanさんのコードをいれると以下のエラーが出ました。。。 AttributeError: 'list' object has no attribute 'iloc'

magichan

2020/01/21 01:42

pd.io.html.read_html() はデータフレームのリストが得られますので df = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[0] のようにしてDataFrameをリストから抜き出してください。

SnowBallEffect

2020/01/21 01:50

すごい！ありがとうございます！　すいません、最後に３つのテーブルを一つにまとめるのにはどうすればいいでしょうか？ df1 = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[0] df2= pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[1] df3= pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[2] df = df1 + df2 + df3 print(df)　ってやっても３つ揃わなかったです。。。。

magichan

2020/01/21 02:28

df1,d2,d3 を結合して１つのデータフレームにしたいってことですか？結合方向は行を増やす方向に結合するのと列を増やす方向に結合するのどちらでしょう？

SnowBallEffect

2020/01/21 04:04

はい、df1, df2, df3を統合して１つのデータフレームにして、方向は行を増やす方向に統合したいです。あと、項目はリピートせず、一回だけにしたいです。

magichan

2020/01/21 04:09

であれば df = pd.concat([df1,df2,df3]) でどうでしょうか

SnowBallEffect

2020/01/21 04:25

すごい！ありがとうございました！concat()は知らなかったので、今後これを使います！