h2内のリンクを取得したい。webスクレイピング

Question

<h2> のテキストは取得できた! しかしリンクを取得する方法がわからない

Pythonを使ったwebスクレイピングで<h2> のテキストとそのリンクをcsvファイルで取得しようとしています。

<h2> のテキストは取得できたのですが、リンク (href) の中身(#id2など)を取得する方法がわかりません。 - スクレイピング対象: [BeautifulSoup4ドキュメント](http://kondou.com/BS4/index.html)

望む結果

<h2> のテキストとリンクをcsvファイルで取得 ``` 0,(訳注)石鹸は食べられない¶,#id2 1,この文書について¶,#id3 ...(略) ``` ## <h2> の中身 ```html <h2>(訳注)石鹸は食べられない<a class="headerlink" href="#id2" title="Permalink to this headline">¶</a></h2> <h2>この文書について<a class="headerlink" href="#id3" title="Permalink to this headline">¶</a></h2 ``` 以下のような例もあるし、h2にhrefもあるのでhrefを取得する方法はあるはず。。。と思いつつもこけています。現在for文をひとつ使っているので、その中でリンク取得するのではないかと推測しているのですがうまくいきません(T_T) ```python for link in soup.find_all('a'): print(link.get('href')) ```

現在のコード

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import csv

"""
csvファイルに<h2>のテキストとリンクを保存したい
"""
r = requests.get("http://kondou.com/BS4/index.html") 
soup_content = BeautifulSoup(r.content, "html.parser")

alltxt = soup_content.get_text()
with open('h2textlink.csv', 'w+',newline='',encoding='utf-8') as f:
    n = 0
    for subheading in soup_content.find_all('h2'):
        sh = subheading.get_text()
        
        writer = csv.writer(f, lineterminator='\n')
        writer.writerow([n, sh])
        n += 1
pass

現在の出力結果

0,(訳注)石鹸は食べられない¶
1,この文書について¶
2,助けてほしいときは¶
3,インストール後の問題¶
4,パーサーのインストール¶
...(略)

h2のテキストとリンク取得完了!

おかげさまでできました! (≧∀≦)

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import csv

"""
csvファイルに<h2>のテキストとリンクを保存
"""
r = requests.get("http://kondou.com/BS4/index.html") 
soup_content = BeautifulSoup(r.content, "html.parser")

alltxt = soup_content.get_text()
with open('h2textlink.csv', 'w+',newline='',encoding='utf-8') as f:
    writer = csv.writer(f, lineterminator='\n')
    std_link = 'http://kondou.com/BS4/'
    for n, subheading in enumerate(soup_content.find_all('h2')):
        sh = subheading.get_text()
        h2link = subheading.a['href']
        
        writer.writerow([n, sh, std_link + h2link])
pass

コード実行結果

0,(訳注)石鹸は食べられない¶,http://kondou.com/BS4/#id2
1,この文書について¶,http://kondou.com/BS4/#id3
2,助けてほしいときは¶,http://kondou.com/BS4/#id5
3,インストール後の問題¶,http://kondou.com/BS4/#id9
...(略)

Answer 1

ドキュメント自体でスクレイピングの練習をするのは良いアイデアですね。

h3内のリンクを取得したい。

hrefは、h3内のaタグの属性ですから、次のように取得できます。

subheading.find('a')['href']

あるいは次のように書くこともできます。

subheading.a['href']

なお、writerオブジェクトはループ外で一回だけ生成すれば充分です。
変数nに関しても、enumerateを使うともうちょっとスマートに書けるでしょう。

コメントを受けて

(・_・) これはリンク先のドキュメント読んで、googleで「for文 enumerate」で検索したもののよく分からずでした。。。 ごめんなさいorz

こんなふうに使います。

for n, subheading in enumerate(soup_content.find_all('h2')):
    ...

こうすれば、n = 0 や n += 1 を排することができます。

Comments

[Yukiya025]

LouiS0616様、ありがとうございます(*≧∀≦) 助かりました!
> writerオブジェクトはループ外で一回だけ生成すれば充分です。
了解です^^/
>変数nに関しても、enumerateを使うともうちょっとスマートに
(・_・) これはリンク先のドキュメント読んで、googleで「for文 enumerate」で検索したもののよく分からずでした。。。 ごめんなさいorz

[LouiS0616]

解決されたようで何よりです。
enumerateの件について、少しだけ追記しておきました。

[Yukiya025]

ありがとうございます(≧∀≦)!!! soup_content.find_all('h2')をごっそりenumerateの引数にするんですか∑o(*'o'*)o forに 2つ(nとsubheading)の引数? 指定できるなんてびっくりです (ﾉ*ﾟ▽ﾟ)ﾉ

コード修正しました!

せっかくなら関係のあるサイト&きちんとHTMLが整理されていそうなサイトをスクレイピングしようと思ってBeautifulSoup4のドキュメントに決めました:)