スクレイピングのコードでURLを取得する方法。

Question

スクレイピングのコードを書いていたら途中で詰まってしまいました。

childに何も格納されていないのでそこが原因かと思いますが、hrefの属性指定してURLを格納するようにgetメソッドを書いたのに何故だ。。。と混乱しております。
解答よろしくお願いします。

#coding:utf-8

import os
from bs4 import BeautifulSoup
import requests

from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

import time

from urllib import request

import random

def make_randname():
    source_str = '#$%&0123456789abcdefghijklmnopqrstuvwxyz'
    random.choice(source_str)  #a〜zでランダムに１文字
    name = "".join([random.choice(source_str) for x in range(20)])
    return name + ".jpg"


def getimg(link):
    opener=request.build_opener()
    opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
    request.install_opener(opener)
    # リンク先(一覧から一回飛んだページ)のContent-Body を取得する
    print("anal")
    response = requests.get(link)
    body = response.content
    soup = BeautifulSoup(body,"lxml")
    a_tags = soup.find_all("a", target="_blank")
    for a_tag in a_tags:
        try:
            src = a_tag["href"]
            name = src.split("/")[-1]
            if name.find(".jpg") < 0: break
            name = make_randname()
            request.urlretrieve(src, "./eroimages/"+name)
            print("[success]: {}".format(name))
            time.sleep(0.05)
        except:
            print("[failed]: {}".format(name))

def geturl(link):
    print("###############################################")
    #print("Page: {}".format(i))
    # リンク先(一覧から一回飛んだページ)のBodyを取得する
    aponse = requests.get(link)
    
    # HTML をパースする
    soup = BeautifulSoup(aponse.text, "lxml")
    links = soup.find_all('a')
    #print(links+"\n")
    for link in links:
        #title = link.find("strong")
        child = link.get("href")
        print("-----------------------------------------------")
        #print("Title: {}".format(title.string))
        print(child)
        getimg(child)

def main():
    if not os.path.exists("./eroimages"):
        os.mkdir("./eroimages")
    for i in range(1,2):
        link = "http://hnalady.com/page-{}.html".format(i)
        geturl(link)

if __name__ == "__main__":
    main()

スクレイピング先のHTMLソースは
view-source:http://hnalady.com/page-0.html
です。

Answer 1

画像をダウンロードするのが目的であれば、img タグの src 属性を探せばいいかと思います。

以下、サンプルコードを貼ります。

import os
import random
import string
import time
import requests
from urllib.parse import urlparse

from bs4 import BeautifulSoup


def make_randname():
    letters = string.ascii_uppercase + string.digits
    return ''.join([random.choice(letters) for x in range(20)])


def get_img(url):
    print('fetching images from {}'.format(url))
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36'}
    res = requests.get(url, headers=headers)  # 子ページを取得する。
    soup = BeautifulSoup(res.text, 'lxml')

    # img タグを探して、ダウンロードする。
    for img_tag in soup.find_all('img', src=True):
        img_url = img_tag['src']
        print('downlaoding image... ', img_url)
        
        parsed_url = urlparse(img_url)
        ext = os.path.splitext(parsed_url.path)[1]  # 拡張子抽出
        save_path = os.path.join('images', '{basename}{ext}'.format(
            basename=make_randname(), ext=ext))
        
        # 画像をダウンロードして、保存する。
        img = requests.get(img_url).content
        with open(save_path, 'wb') as f:
            f.write(img)
        print('image saved ', save_path)

        time.sleep(0.5)  # 画像取得間隔


def get_url(url):
    print('fetching html... ', url)
    res = requests.get(url)
    soup = BeautifulSoup(res.text, 'lxml')

    for a_tag in soup.findAll('a', href=True):
        get_img(a_tag['href'])
        time.sleep(1)  # 子ページへのアクセス間隔


def main():
    os.makedirs('images', exist_ok=True)
    for i in range(1, 2):
        url = 'http://hnalady.com/page-{}.html'.format(i)
        get_url(url)


if __name__ == '__main__':
    main()

Comments

[Egoil]

hrefでURLを取るよりもsrcでとったほうがいいということでしょうか？

[tiitoi]

質問欄のコードを拝見したところ、子ページの一覧を取得して、アクセスする→子ページの画像をまとめて保存する」となっていたので、まず soup.findAll('a', href=True) でリンク一覧を抽出してその各ページにアクセスし、soup.find_all('img', src=True) で画像一覧を取得するようにしています。

リンク一覧をとるなら、仰る通り a タグの href をとればよいです。
画像のリンクをとるなら、img タグの src をとればよいです。

[Egoil]

なるほど！そういう事ですか。
すみません、僕のコード、childにURLが格納されなかったんですけど何か理由とかお分かりだったりしますか。。？