Python 3 Pandasでデータフレームにカラムを増やしたい

Question

Pandasでサイトから引き抜いたテーブルがあるのですが、

ColumA | ColumB | ColumC | ColumD | ColumE
Data1 Data2 | Data3 | Data4 | Data5 |Data6

これを以下のように変更したい

Colum A | ColumB | ColumC | ColumD | ColumE | ColumF
Data1 |Data2 | Data3 | Data4 | Data5 |Data6

import pandas as pd

filename = r"c:\users\someone\desktop\BP-NET.html"
path = open(filename, 'r')

destination = r"c:\users\someone\desktop\test.xlsx"

#Extracting the 3 tables
df1 = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[0]
df2 = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[1]
df3 = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[2]

#broker names
df1_broker_name = 'broker1 (12345)'
df2_broker_name = 'broker2 (23456)'
df3_broker_name = 'broker3 (34567)'

#Adding the broker names
df = df1_broker_name + df2_broker_name + df3_broker_name

#Inserting the broker names
df1.insert(4, '販社名', df1_broker_name)
df2.insert(4, '販社名', df2_broker_name)
df3.insert(4, '販社名', df3_broker_name)

#Specifying broker codes
df1_broker_code = '12345'
df2_broker_code = '23456'
df3_broker_code = '34567'

#Adding broker codes
df = df1_broker_code + df2_broker_code + df3_broker_code

#Inserting the broker codes to column 5
df1.insert(5, '指定販売会社コード', df1_broker_code)
df2.insert(5, '指定販売会社コード', df2_broker_code)
df3.insert(5, '指定販売会社コード', df3_broker_code)

#Adding three dataframes into one
df = df1 + df2 + df3

#Concatenating the dataframes
df = pd.concat([df1, df2, df3])

# 奇数行
tmp1 = df.iloc[::2].reset_index(drop=True)
tmp1.columns = df.columns.get_level_values(0)

# 偶数行
tmp2 = df.iloc[1::2].reset_index(drop=True)
tmp2.columns = df.columns.get_level_values(1)
# 結合
df = pd.concat([tmp1, tmp2], axis=1)

print(df)
#df.to_excel(destination, sheet_name='Test')

発生している問題・エラーメッセージ

AttributeError: 'DataFrame' object has no attribute 'str'

試したこと

new = df["No状況"].str.split(" ", n = 1, expand = True)
df["No"]= new[0]
df["状況"]= new[1]
df.drop(columns =["No状況"], inplace = True)

補足情報（Excelにおとすと次のようになります）

補足：

A)　列1の'No状況'は'No'と'状況'として、別々の列に分けたいです。それに伴い、000001から000042と合計が'No'がそこに入り、当日有りと合計が'状況'に入ってほしいです。
B)　テーブル１（０行目～２１行目）とテーブル３（３６行目～４６行目）なぜかテーブル２(22行目～３５行目）のファンドコードのカラムとファンド名カラムだけが逆になっています。

ここにより詳細な情報を記載してください。

Comments

[magichan]

データの形式がよくわからないので、最後の
print(df)
の部分を
print(df.head(n=3))
などと書き換えて、出力された結果をすべて質問に書き出す事はできませんでしょうか。(できたらコードブロックのマークダウンを使って書いてください)
データで見せたくない部分は適当な値に書き直して頂いても構いません。

[SnowBallEffect]

Magichanさん、エクセルが多き過ぎて画像を添付いたしました。

Answer 1

データがないのでよくわかりませんが、「試したとこ」の部分はこんな感じでしょうか。

import pandas
df = pandas.DataFrame([[f"Aa{i} Ab{i}" ,f"B{i}", f"C{i}"]for i in range(3)], columns=["No状況", "B", "C"])
print(df)

new_df = df["No状況"].str.split(' ', expand=True)
new_df.columns=["No", "状況"]
print(new_df)

df = pandas.concat([new_df, df], axis=1).drop('No状況', axis=1)
print(df)

df
No状況 B C
0 Aa0 Ab0 B0 C0
1 Aa1 Ab1 B1 C1
2 Aa2 Ab2 B2 C2

new_df
No 状況
0 Aa0 Ab0
1 Aa1 Ab1
2 Aa2 Ab2

df
No 状況 B C
0 Aa0 Ab0 B0 C0
1 Aa1 Ab1 B1 C1
2 Aa2 Ab2 B2 C2

Comments

[SnowBallEffect]

ありがとうございます！データはエクセルの画像を張り付けました。df = pandas.DataFrame([[f"Aa{i} Ab{i}" ,f"B{i}", f"C{i}"]for i in range(3)], columns=["No状況", "B", "C"])　の部分なのですが、引き抜いたデータを元にコードを書くは可能なのでしょうか？それともカルムは全部、手入力ではいけないのでしょうか？

[jeanbiego]

該当部分はテスト用に適当なデータを作っただけですので、使う場合は引き抜いたデータを元にnew_def= ~ から試してみて下さい。

[SnowBallEffect]

すみません、df1 = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[0]
df2 = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[1]
df3 = pd.io.html.read_html(filename, encoding='Shift JIS', attrs= {'class':'list2'})[2]

df = df1 + df2 + df3
df = pd.concat([df1, df2, df3])

new_df = df["no状況].str.split(' ', expand = True)
new_df.columns = ["No", "状況"]

にしたらAttributeError: 'DataFrame' object has no attribute 'str'　になります。。。

なんどもすみません。。。

[jeanbiego]

new_df = df["no状況].str.split(' ', expand = True) ここは"No状況"ではないのでしょうか。
あと、
df = df1 + df2 + df3
これは必要ですか？

[SnowBallEffect]

new_df = df["no状況].str.split(' ', expand = True) ここは"No状況"であっています。テーブルが３つあってそれぞれに"NO状況"があります。それを"No"と"状況”に分けたいです。

df = df1 + df2 + df3 は df = pd.concat(df1, df2, df3])があるので、いらないみたいですね。すみません、まだpython始めたばかりでよくわからなくて。。。

[jeanbiego]

あー、そうではなくdf["no状況]になっているので、df["No状況"]が正しいのではないのかと。

[SnowBallEffect]

すいません、df["No状況"]であっていますが、Teratailではdf["no状況]って間違って書きました。df["No状況"]でやってみましたが、それでもAttributeError: 'DataFrame' object has no attribute 'str'　って出てきます。。。

[jeanbiego]

もしかしたら、No状況が2列以上存在していませんか。str.splitは1列（series相当）にしか使えません。

[SnowBallEffect]

No状況が２列存在しています！あと、自分で追加したカラムも同じものがもう一つ存在しています。。。どうすれば、一つだけになるのでしょうか？？

[jeanbiego]

どの段階から2列あるのか調べてみて下さい。df1,2,3からあるのか、結合したせいで増えてるのか。

[SnowBallEffect]

df1からあります。df2もdf3も別々に走らせたのですが、No状況と私が追加した列が２列になります。。。

[jeanbiego]

では、仮にdf.columns=["No状況", x,x,x,"No状況",x,x]みたいになってるとして、
df.columns=["No状況", x,x,x,"No状況_不要",x,x]とかで要らない方を名前変えてみてはいかがでしょう。

[SnowBallEffect]

すいません、どこからdf.columns=["No状況", x,x,x,"No状況_不要",x,x] と書けばよろしいでしょうか？最後のコードが#tmp2 = df.iloc[1::2].reset_index(drop=True)
#tmp2.columns = df.columns.get_level_values(1) なのですが、もうこの時点で２列になっています。。。

何度もすいません。。。

[jeanbiego]

少なくとも、str.splitを使う段階ではNo状況列は1つになっていないと問題があります。
なので、その直前のdfの列名を確認して、不要なものを書き換えて下さい。

[SnowBallEffect]

できました！

new = df1_tmp1['No状況']

#splitting
df1_tmp1['No'] = new[:0]
#splitting
df1_tmp1['状況'] = new[:0]

Answer 2

pd.concat([tmp1, tmp2], axis=1)の結果、同じ名前の列が複数できているとdf['列名']の結果としてSeriesではなくDataFrameが返り、提示エラーが発生します。
そのような場合はilocでインデックスで列を指定することで回避可能です。

import pandas as pd

tmp1 = pd.DataFrame([['a','b'],['d','d']], columns=['c1','c2'])
tmp2 = pd.DataFrame([['e','f'],['g','h']], columns=['c2','c3'])
df = pd.concat([tmp1, tmp2], axis=1)
print(df)
#  c1 c2 c2 c3
#0  a  b  e  f
#1  d  d  g  h

print(df['c1'].str.split(' '))
#0    [a]
#1    [d]

# SeriesではなくDataFrameが返る
print(df['c2'])
#  c2 c2
#0  b  e
#1  d  g

# print(df['c2'].str.split(' '))
# AttributeError: 'DataFrame' object has no attribute 'str'

# 左側の「c2」列を抽出
print(df.iloc[:,1].str.split(' '))
#0    [b]
#1    [d]