pythonのスクレイピングで、ライブドアの主要ニュースのタイトルを抜き出す

jupyter notebookを使ってpythonを練習している初心者です。

下記のコードを書いたら、ヤフーニュースのタイトルを抜き出せました。しかし、URLの部分をライブドアニュースに張り替えても、ライブドアのニュースタイトルをうまく抜き出せまでした。エラーが添付画像のようにでてきました。utf-8の部分が間違っているようなのですが、どのように修正したらよろしいのでしょうか？

#ヤフーニュース用のスクレイピング
from urllib.request import urlopen
from bs4 import BeautifulSoup
from pprint import pprint

URL='https://news.yahoo.co.jp/'
with urlopen(URL) as res:
html=res.read().decode("utf-8")

soup=BeautifulSoup(html, 'html.parser')

titles=soup.select('.ttl a')
titles=[t.contents[0]for t in titles]
pprint(titles)

#ライブドアニュース用のスクレイピング
from urllib.request import urlopen
from bs4 import BeautifulSoup
from pprint import pprint

URL = 'http://news.livedoor.com/'
with urlopen(URL) as res:
html = res.read().decode("utf-8")

soup = BeautifulSoup(html, 'html.parser')

titles = soup.select('.ttl a') # domを取得
titles = [t.contents[0] for t in titles] # テキストを取得
pprint(titles)

hayataka2049

2018/10/13 05:49

まず、元のコードが何をしているのか一行ずつ考えてみましょう

mufufu

2018/10/13 05:52

文中にある通り、当方は初心者でして、ネットでも色々検索したのですが、わからず質問にいたりました。従って、元のコードも考えた結果、自分の知識では解決に至りませんでした。

hayataka2049

2018/10/13 05:54

そしたら、やろうとしていることに必要な知識がないということなので、基礎から勉強してください

mufufu

2018/10/13 05:57

あなたは私に何を伝えたいのですか？このサイトの趣旨を理解していますか？質問と回答がこのサイトの趣旨なので、趣旨から外れた指摘は通報の対象とさせていただきます。

mufufu

2018/10/13 05:59

https://teratail.com/tour

mufufu

2018/10/13 05:59

プログラミングに関して、わからないことがあれば是非teratailで質問してください。あなたがわかることがあれば、是非解決方法をシェアして解決の手助けをしてください。

mufufu

2018/10/13 06:00

このサイトにはこのような説明が書かれています。あなたも、人間としての社会勉強を基礎からやりなおしましょう。

hayataka2049

2018/10/13 06:17

コメントが雑すぎて誤解を招きました。申し訳ない。最初のコメントは「一行ずつ考えることで、どこまでは理解できていて、どこがわかっていないのか明確にしてみよう」ということです。また、次のコメントは「どこを読んでもわからないなら、人に聞く以前の問題なので、自力でわかるようにしよう」という意図でした。

Zuishin

2018/10/13 09:50

その前の二行はわざと引用しなかったんでしょうか？「私達は、エンジニアが抱える問題の解決を全力でサポートします。質問・回答によって生まれたコンテンツを、同じ問題を持った人に最適な形で届けます。」とあります。あなたはエンジニアですか？もしあなたが自分をエンジニアだと言うなら、基礎が足りないことを指摘されたとき、自分を恥じて精進するかわりに逆切れして先輩を脅すのはなぜですか？どこで人生経験を積むとそのような行為が正しいと思うようになるのですか？

Zuishin

2018/10/13 09:52

「当方は初心者でして、ネットでも色々検索したのですが、わからず質問にいたりました。従って、元のコードも考えた結果、自分の知識では解決に至りませんでした。」というのは全く何の言い訳にもなりません。自分でどうしても解決できない時にはふんぞり返って相手を脅すのではなく、頭を下げて教えを乞うのが日本での常識です。

行動規範の内容に同意します

回答1件

ページの文字コードがUTF-8ではないのでしょう。

ページのソースを見れば、8行目くらいに<meta charset="EUC-JP">と書いてあることがわかります。

また、ヤフーニュースとライブドアニュースではサイトの構造が違うので、CSSセレクタを書き換える必要があります。

以下のコードでそれっぽく取る動作は実現できました。CSSセレクタはこれで取りたい部分と一致しているかどうかわからないので、必要なら書き換えてください。

python
1from urllib.request import urlopen
2from bs4 import BeautifulSoup
3from pprint import pprint
4
5URL = 'http://news.livedoor.com/'
6with urlopen(URL) as res:
7    html = res.read().decode("euc_jp")
8    soup = BeautifulSoup(html, 'html.parser')
9
10    titles = soup.select('.topicsList a') # domを取得
11    titles = [t.contents[0] for t in titles] # テキストを取得
12    pprint(titles)
13