(python:スクレイピング内容をCSVファイルに書き出し)

Question

質問内容:三菱UFJリサーチ＆コンサルティングのホームページ(http://www.murc-kawasesouba.jp/fx/index.php)から画像の情報をcsvファイルに出力したいと考えています。

その際、コードを書いてみたのですが、行と列が分かれておらず、
行と列を分けたいと考えています。
(現行コード:
import csv
import requests
from bs4 import BeautifulSoup

load_url="http://www.murc-kawasesouba.jp/fx/index.php"
res = requests.get(load_url)
soup = BeautifulSoup(res.content,'lxml')

table = soup.findAll("table", {"class": "data-table5"})[0]
rows = table.findAll("tr")

csvlist=[]
for row in rows:
row=row.getText()
csvlist.append(row)

f=open("output.csv","w")
writecsv = csv.writer(f, lineterminator='\n')
writecsv.writerow(csvlist)

f.close())

イメージは以下のとおりです。

色々調べてみたのですが、上手くいかず困っております。
当方、pythonを初めたばかりで大変お手数をおかけしますが、
出来れば具体的に教えて頂けると助かります。

Answer 1

pandasの read_html() でデータを読み込む方法はいかがでしょうか

import pandas as pd

url = 'http://www.murc-kawasesouba.jp/fx/index.php'
df = pd.read_html(url)[0]
df.to_csv('output.csv', index=None)

Excelで読み出すなら Shift JISの方がよいのかな？

df.to_csv('output.csv', index=None, encoding="shift_jis")

【一応補足】
現状のコードを修正（素直に実装）するならこんな感じ

• TABLEの行毎のループ内にさらに列毎ののループを追加して２次元リストを作成
• writerow() の代わりに writerows() を使用して２次元リストを書き出す

です。

csvlist=[]
for row in rows:
    rowlist = []
    for item in row.findAll(["td", "th"]):
        rowlist.append(item.getText(strip=True))
    csvlist.append(rowlist)
print(csvlist)

with open("output2.csv","w") as f:
    writecsv = csv.writer(f, lineterminator='\n')
    writecsv.writerows(csvlist)

Comments

[barobaro]

"utf_8_sig"の方が文字化けしないのでいいかもこちらでもダブルクリックでExcelで開けます

[momodebi]

>>magichan 様
大変助かりました。
無事に作成することができました。
またこんなに簡単にできる方法もあると知り、感動しました。

因みに、可能であれば後学のためにも知りたいのですが、
現行のコードを生かしてする方法はありますでしょうか??
質問内容中に現行コードは追記させていただきました。

>>barobaro様
ありがとうございます！

[magichan]

> barobaroさん
補足ありがとうございます。
ただ、BOM付はどうも拒否感があるので・・。

[magichan]

> momodebiさん
一応補足を書きましたが、ほぼbarobaroさんの回答と同じですね。

[momodebi]

>>magichan 様

ありがとうございました!
無事に作成することができました。
配列の概念が難しかったので、更に精進します

Answer 2

table class="data-table5"のtrを一行ずつ抽出、thかtdのテキストを抽出

import csv
import requests
from bs4 import BeautifulSoup

r = requests.get("http://www.murc-kawasesouba.jp/fx/index.php/")

r.raise_for_status()

soup = BeautifulSoup(r.content, "html.parser")

result = [
    [td.get_text(strip=True) for td in tr.select("th, td")]
    for tr in soup.select_one("table.data-table5").select("tr")
]

with open("result.csv", "w", encoding="utf_8_sig") as fw:
    writer = csv.writer(fw, dialect="excel", lineterminator="\n")
    writer.writerows(result)

Comments

[momodebi]

>>barobaro様

ありがとうございました！
無事に作成することができました