質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

解決済

2回答

3196閲覧

URLのリストからページデータそのものをダウンロードし、csvシートを作成したい

youkiti

総合スコア11

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2017/11/21 08:43

Python 3.4です。

手元にURLリストを持っており、それを元にしてリンク先のページのhtmlデータを一括してデータシートにしたいと考えています。
データを手に入れるところまでは上手く行っていそうなのですが、書き込むところが上手く行きません。
お助けいただければ幸いです。

import pandas as pd #urlリストを定義 data = pd.read_table("data.csv", encoding="utf-8") urls = data["url"] import bs4 import urllib.request import csv #データ抽出 for url in urls: html = urllib.request.urlopen(url) soup = bs4.BeautifulSoup(html, 'html.parser') page=soup.find_all("div") #csvに出力 #一つのマスに1ページのデータを入れたい #ここが上手く動かない f = open('output.csv', 'w' , encoding='UTF-8') writer = csv.writer(f, lineterminator='\n') csvlist = [] csvlist.append(page) # 出力 writer.writerow(csvlist) # ファイルクローズ f.close()

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

can110

2017/11/21 08:55

うまく行かないの詳細と、得たいCSVファイルの具体的なデータ例(内容)を追記ください。
youkiti

2017/11/21 21:50

不十分な質問で申し訳ありません。最終的には、"URL", "page"と2列になったデータシートを作成し、別のソフトで解析を考えています。現状としては、pageで、<div>XXX</div><div>YYY</div><div>ZZZ</div>みたいなページのデータの取得までは上手く行くのですが、csvに書き込もうとすると、あいだの,を認識してしまうためか、一つのページが一つのセルではなく複数行にまたがってしまいます。
can110

2017/11/22 00:23

複数行にまたがってしまうのは書込時ではなくCSVを開いた結果表示上ではないでしょうか?とりあえずその前提で回答しました。
guest

回答2

0

ベストアンサー

quotecharで項目を"などで囲むことができます。
これによりExcelなど普通のソフトであれば、カンマや改行を含んでいても1セルとして読み込めます。
またquoting=csv.QUOTE_MINIMALを指定することで、カンマや改行を含まない項目には囲み文字をつけないようにもできます。
参考:14.1. csv — CSV ファイルの読み書き

コード例

Python

1import csv 2rows = [['url1','aaa'],['url2','bbb,ccc\nddd']] 3with open('output.csv', 'w', newline='') as f: 4 writer = csv.writer( f, quotechar='"', quoting=csv.QUOTE_MINIMAL) 5 for row in rows: 6 writer.writerow(row)

Excelで開いた結果
イメージ説明

投稿2017/11/22 00:19

can110

総合スコア38233

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

youkiti

2017/11/23 06:27

ありがとうございました。助かりました。
guest

0

シリアライズ等処理等が必要なのではないかと思います。

投稿2017/11/21 08:55

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問