質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.49%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

192閲覧

pythonスクレイピングで指定していない要素が取得されている

Quad

総合スコア18

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/06/04 14:06

編集2019/06/04 14:14

前提・実現したいこと

pythonで
https://www.eigonews.net/blog/
このサイトをスクレイピングして今日の記事とリンクを取得しようとしています。
しかし、全く違う要素が取得されてしまいます。
何が起きているのでしょうか。

該当のソースコード

python

1url = "https://www.eigonews.net/blog/" 2headers = {"User-Agent": "hoge"} 3 4res = requests.get(url, headers=headers) 5soup = BeautifulSoup(res.content, "html.parser") 6 7# today = dt.datetime.today().strftime("%Y-%m-%d") 8today = "2019-06-03" # 06/04 の記事はなかったので、テスト用に前日の日付を設定 9 10for article in soup.find_all(class_="media-body"): 11 published = article.find(class_="published").string # 記事の日付 12 if published != today: 13 continue # 今日の日付でない場合はスキップ 14 15 # 記事のリンクとタイトルを取得 16 header = article.find(class_="media-heading") 17 18 link = header.a["href"] 19 title = header.string 20 msg = title + '\n' + link 21 print(msg)

###実行結果
今週の復習494【Weekly Review 494】
https://www.eigonews.net/weekly-review-494/

###期待している結果
トランプ氏が国賓としての訪日を終了【Trump concludes state visit to Japan】
https://www.eigonews.net/trump-concludes-state-visit-to-japan/

試したこと

サイトの構造は変わっていないようでした。

補足情報(FW/ツールのバージョンなど)

python3,windows10

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tiitoi

2019/06/04 14:10

インデントが先程の回答と変わっています。 Python はインデントが異なるとコードの意味が変わってしまうので、先程の回答のコードをそのままコピペして実行してください。
Quad

2019/06/04 14:11

分かりました 編集します
tiitoi

2019/06/04 14:17

編集後のコードでも「今週の復習494【Weekly Review 494】」が表示されますか? こちらの環境では質問のような現象は確認できないです。
Quad

2019/06/04 14:24

上手くいきました。 何だったんでしょうか。。
Quad

2019/06/04 14:24

今回はありがとうございました。 フォロー失礼します。
tiitoi

2019/06/04 14:27

「今週の復習494【Weekly Review 494】」は最後の記事です。 if published != today: continue で今日の日付でなければ、処理をスキップして次のループにいくようになっているので、異なる日付のものは表示されないはずですが、インデントが変わってしまったので、その処理が抜けてしまったのではないでしょうか。
Quad

2019/06/04 14:31

なるほど。 ありがとうございます
guest

回答1

0

自己解決

インデントがおかしかったようです。
編集したので今のソースコードで動きます。

投稿2019/06/05 09:03

Quad

総合スコア18

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.49%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問