Pythonのスクレイピングで画像をダウンロードできない

Question

前提

あるサイトをスクレイピングしているのですが、その中で画像もダウンロードさせるような処理を入れたいのですが、img src="" のsrcの中身がxxx.jsp?key=atai となっているためダウンロード出来ません。
ダウンロードは不可能でしょうか？何か方法はありますか？

ちなみに出来れば、ダウンロードせずに画像認識させて読み取った文字を文字列としてcsvに書き込む処理をしたいです。
個別ではPCに手動で画像を保存したものを画像認識させて、文字列として返すことに成功しております。

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• ▲▲機能を動作するようにする

発生している問題・エラーメッセージ

例外が発生しました: UnidentifiedImageError
cannot identify image file <_io.BytesIO object at 0x0000023644506BB0>

該当のソースコード

# 1.動的サイトにアクセス
url = "https://www.xxx/aaa/page"
driver.get(url)

# クリック前のハンドルリスト
handles_befor = driver.window_handles

# ドロップダウンを選択する
# 分類
genres = driver.find_element(By.NAME,'searchCategory')
select1 = Select(genres)
all_options = select1.options
count = len(all_options)    


# [検索]ボタン押す
driver.find_element(By.ID,'search').click()
# メーカー毎の商品リストをfor文で回しながら取得                
pages = driver.find_element(By.XPATH, '//*[@id="fm"]/div[2]/span[2]')
# ページャー数分、回す
pagenum = pages.text
for num in range(int(pagenum)):                    
    # tbodyの中身取得
    tbody = driver.find_element(By.XPATH,'//*[@id="xxx_list"]/table/tbody')
    trlist = tbody.find_elements(By.TAG_NAME,'tr')
    
    trnum = str(1)
    for tr in trlist:
        tdlist = tr.find_elements(By.TAG_NAME,'td')   
        trtext = []
        for td in tdlist:
            test = td.text
            if(test == '選ぶ'):
                break
            trtext.append(test)
        # 1アイテム毎にCSVに書き込む
        filename = "xxx.csv"
        with open(filename, mode="a", encoding="utf-8") as f:
            trs = ','.join(trtext)
            f.write(trs)
            # 改行コード
            f.write('\n')
            time.sleep(2)
        #[選ぶ]をクリック
        imgxpath = '//*[@id="result_list"]/table/tbody/tr['+ trnum +']/td[5]/a'
        driver.find_element(By.XPATH, imgxpath).click()
       # 画像URL取得
        img = driver.find_element(By.XPATH,'//*[@id="aaa"]/p/img')
        src = img.get_attribute('src')
        #imgurlをダウンロード
        if src:      
            src = urljoin(url, src)
            # 画像のバイト列取得
            img_content = requests.get(src).content
            # 画像に変換
            img_file = io.BytesIO(img_content)
            # 画像の表示　ここでエラー発生
            img_open = Image.open(img_file)
            # 画像の保存
            img_open.save(f'{trnum}_{trtext[2]}.png')

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[melian]

質問のコードでは省かれていますが、おそらく、以下の様な処理があるのだと思います。

url = 'https://...'
driver.get(url)

ここで、url がスクレイピング対象の URL だとすると、urljoin を使うことで正規化された URL を取得することができます。

from urllib.parse import urljoin

src = img.get_attribute('src')
#imgurlをダウンロード
if src:
　src = urljoin(url, src)
　　:

[fullmoon311]

すみません。
driver.get()では、画像URLではなく検索ボタン押す前のURLとなっております。

src　が　画像URLとなっており、
このsrcの中身が""aaa/bb/xx.jsp？key=atai" という風になっております。

[melian]

ページ移動はしていないので、

url = "https://www.xxx/aaa/page"

としておいて urljoin を実行すればよいかと思います。

[fullmoon311]

ありがとうございます。
urlと定義し、

if src:
src = urljoin(url, src)

としましたが、やはり同じところでエラーが発生いたします。
img_open = Image.open(img_file)　←ここで発生

[fullmoon311]

何度も申し訳ございません。

srcの中身のURLを確認したところ、ディレクトリが少し違うようでした。
srcの中身
https://www.xxx.com/AAA/view/_aaa.jsp?key=atai

driver.getのURL
https://www.xxx.com/AAA/bb

[melian]

なるほど、src の中身の URL はもともと正規化されている形式なのですね。そうなりますと、urljoin の処理は不要になります。原因としては、ダウンロードしたファイルは画像ではないか、Pillow では認識できないフォーマットの画像という事になりそうです。

[fullmoon311]

ちなみにoctoparseというツールでダウンロードさせたところ、確かにダウンロード出来たものの画像とは認識されませんでした。
これは実現は出来ないもので、あきらめた方が良いでしょうか？

[fullmoon311]

手動で画像をマウスでドラッグしたら、pngで保存され、これ自体の画像認識は出来ました。

[melian]

正確な URL を教えてもらえるのであれば、こちらで動作確認できるのですが、どうしますか？

[fullmoon311]

プライバシーにかかわるので避けたいのですが、あとで削除してもよいでしょうか？

URLは下記です。
ｘｘｘ

画像は検索後に出てくる「選ぶ」ボタンとなります。
そのあとの金額の画像6,000円という画像を文字列としてcsvに保存したいです。
まずはダウンロードできるか試していました。

[melian]

ありがとうございます、削除していただいて構いません。こちらで動作確認します。

[fullmoon311]

ありがとうございます。削除リクエストとなりましたので、伏せました。
お手数おかけします。よろしくお願い致します。

Answer 1

モジュールのインポート

※ 予め BeautifulSoup をインストールしておいて下さい。

import re
from bs4 import BeautifulSoup
from urllib.parse import urljoin

Ticket ID の取得

詳細ページの取得や画像のダウンロードを行う際に必要な Ticket ID を取得します。

# クリック前のハンドルリスト
handles_befor = driver.window_handles

### ここから
# Ticket ID
ses = requests.session()
r = ses.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
ticket_id = soup.select_one('input[type="hidden"][name="ticket"]')['value']
### ここまで

# ドロップダウンを選択する

画像のダウンロード

詳細ページのパースに BeautifulSoup を使用しています。また、個人的に XPATH よりは CSS selector に慣れているので、そちらを使っています。

# ページャー数分、回す
pagenum = pages.text
for num in range(int(pagenum)):                    
    # tbodyの中身取得
    tbody = driver.find_element(By.XPATH,'//*[@id="result_list"]/table/tbody')
    trlist = tbody.find_elements(By.TAG_NAME,'tr')
    
    ### ここから最後まで
    for trnum, tr in enumerate(trlist, start=1):
        tdlist = tr.find_elements(By.TAG_NAME,'td')   
        trtext = []
        for td in tdlist:
            test = td.text
            if(test == '選ぶ'):
                break
            trtext.append(test)
        # 1アイテム毎にCSVに書き込む
        filename = "xxx.csv"
        with open(filename, mode="a", encoding="utf-8") as f:
            trs = ','.join(trtext)
            f.write(trs)
            # 改行コード
            f.write('\n')
            time.sleep(2)

        # 画像URLを取得
        href = tdlist[4].find_element(By.XPATH, 'a').get_attribute('href')
        product_id = re.search(r"\('(.+?)',", href)[1]
        r = ses.get(url + f'?ticket={ticket_id}&productId={product_id}&pid=j_detail')
        soup = BeautifulSoup(r.text, 'html.parser')
        img = soup.select_one('div#satei_frame > p > img')
        if img:
            # 画像の保存
            imgurl = urljoin(url, img['src'])
            r = ses.get(imgurl)
            img_file = f'{trnum}_{trtext[2].replace("/", "_")}.png'
            with open(img_file, 'wb') as f:
                f.write(r.content)

Comments

[fullmoon311]

ありがとうございます。
BeautifulSoupは事前にダウンロードしていましたが、使いどころがいまいち分からず初めて使いました。
画像認識と合わせ、文字列読み込みcsvに追加書き込み後、画像の削除まで一連の流れが出来ました！
本当に感謝いたします。
勉強致します。