質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

1回答

383閲覧

スクレイピングでURLを順番に書き出しがしたいです

ragna6k

総合スコア6

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2018/02/01 05:54

編集2018/02/01 07:39

前提・実現したいこと

python初心者です.
スクレイピングをしたいのですが
beautifulsoup4を使用し.
strong部分だけを抽出したく,抽出はできたのですが
URLの後ろ部分をno=1から1ずつ増やして順にファイルに書き出しをしたいです.
調べてはいるのですが全然わからず 質問させていただきました.

下の回答を受け,ここまで書きましたが実行されません・・・
すみませんが 助けてください..

発生している問題・エラーメッセージ

該当のソースコード

import urllib.request
from bs4 import BeautifulSoup
url = "http://なんとか.jp/no="
for i in range(1,101):
html = urllib.request.urlopen('url+str(i)')
soup = BeautifulSoup(html, "html.parser")
for trs in soup.find_all('strong'):
print(trs.get_text())

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

can110

2018/02/01 08:37

何が分からないのかを具体的に記載ください。(出力ファイル名に連番をつける方法?取得したテキストをファイルに出力する方法?)
ragna6k

2018/02/02 11:05

お返事ありがとうございます.実現したいことは,◎複数のURL(http://なんとか.jp/no=)のno=をno=1からno=100まで順番にstrong部分を読み込み,出力すること(一文だけ出てきます) ◎出力した内容を,.txt形式で書き出すこと(100回読み込むので,100行出力されるはず)です. よろしくお願いします.
ragna6k

2018/02/02 11:09

作成される.txtファイルは,一つがいいです.
guest

回答1

0

・strongだけを抽出したリストを作成
・リストを順番にprint

import requests, bs4 res = requests.get('http://なんとか.jp/no=1') res.raise_for_status() soup = bs4.BeautifulSoup(res.text, "html.parser") strong_text = soup.findAll("strong") for i in len(strong_text) print(strong_text[i].get_text())

投稿2018/02/01 06:21

poko_poko

総合スコア168

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ragna6k

2018/02/01 06:28

回答ありがとうございます! 実行してみましたが,うまくいきませんでした・・・ 私がしたいのは, http://なんとか.jp/no=1 のno=1をno=2,no=3,・・・・と100まで取得し csvかなにかに出力できればと思っています. できないなら,吐き出すことだけでもできればと・・・. ソースファイルにはstrongはひとつしかないので,1文しか出てこないです.
poko_poko

2018/02/01 06:41 編集

あ、すみません。普通に読み間違えてました。 res = requests.get('http://なんとか.jp/no=1') の部分をループさせれば良いです。 url = "http://なんとか.jp/no=" for i in range(1,101) # 1~100まで 101は処理されないと思いました(うろ覚え) □□res = requests.get(url + str(i)) □□以下strongをprintする処理 たしかこんな感じでいけたはずです。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問