ValueError: substring not found の解決方法を知りたい

Question

実現したいこと

・ポケモンの画像をスクレイピングにて取得したい

前提

初歩的な質問となってしまい、申し訳ありません。
現在pythonのスクレイピングを勉強しています。
google colabにてポケモンの画像データをスクレイピングで取得するというコードをネット記事を参考にしながら作成中です。
コードの作成中に以下のエラーメッセージが発生しました。

・作成したコード

```python
from bs4 import BeautifulSoup
import urllib.error
import urllib.request
import time
import re
import os

#画像の保存場所
from pathlib import Path
dst_path = Path('img')
dst_path.mkdir(exist_ok=True)
dst_path = Path('img/pokemon')
dst_path.mkdir(exist_ok=True)
download_dir = 'download/pokemon'

#ユーザーエージェント設定(コピペOK)
ua = 'Mozilla/5.0(Macintosh; Intel Mac Os X 10_12_3)'
'AppleWebKit/537.3.(KHTML,Like Gecko)'
'Chrome/55.0.2883.95 Safari/537.36'

#画像のURLにアクセスして保存する関数
def download_img(url,dst_path):
  try:
    data = urllib.request.urlopen(url).read()
    with open(dst_path,mode='wb') as f:
      f.write(data)

  except urllib.error.URLError as e:
    print("エラーが発生しました。")
    print(e)

#001～898までのリストを作成
number_list = {'{:03}'.format(i) for i in range(1,898)}

#欲しい情報があるURLの取得
url_list = ['https://zukan.pokemon.co.jp/detail/{0}.htm'.format(number) for number in number_list]

#繰り返し処理
for url in url_list:
   time.sleep(0.5)

   #URLのHTMLから画像のURLを取得(Chrome上でCtrl + U した情報)
   req = urllib.request.Request(url,headers = {'User-Agent':ua})
   html = urllib.request.urlopen(req)
   soup = BeautifulSoup(html,"html.parser")
   
   #画像のURLを取得
   images = str(soup.find("meta",property="og:image"))
   target = '"'
   idx = images.find(target)
   images = images[idx+1:]
   box_end = images.index('"')
   images_url = images[0:box_end]

   #ナンバーを取得
   number = str(soup.find("meta",property="og:url"))

   #開始位置
   target = '"'
   idx = number.find(target)
   number = number[idx+1:]
   box_start = number.index('detail/')

   #終了位置
   box_end = number.index('.htm')

   number = number[box_start+7:box_end-1]
   
   #名前を取得
   name = str(soup.find("meta",property="og:title"))

   #開始位置
   target = '"'
   idx = name.find(target)
   name = name[idx+1:]

  #終了位置
   box_end = name.index('｜')

   name = name[:box_end]

   #保存ファイル名の設定
   dst_path = os.path.join(download_dir + '/' + str(number) + '.png')

   #画像保存
   download_img(images_url,dst_path)

   print(name + "!ゲットだぜっ！")

print("処理が完了しました。")

### 発生している問題・エラーメッセージ

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
Cell In[12], line 63
     60 box_start = number.index('detail/')
     62 #終了位置
---> 63 box_end = number.index('.htm')
     65 number = number[box_start+7:box_end-1]
     67 #名前を取得

ValueError: substring not found

試したこと

63 box_end = number.index('.html')の括弧内の文字を変えてみたりしましたが変化がありませんでした。

Comments

[melian]

box_end = number.index('.html')
は、
box_end = number.index('.htm')
ではないでしょうか。

[dameo]

他所様のサーバーにアクセスする際は、頻度が適切になるようにしないと大きな迷惑をかけます。
大量にダウンロードする場合はまずはローカルで動くようにして、その後「適切な頻度調整が出来る実装にしてから」
やりましょう。

[spot_0104]

box_end = number.index('.htm')にしてみましたが、エラーコードの構文に変化はありませんでした。

[spot_0104]

アドバイスありがとうございます。
サーバに負荷をかけないように5つの画像分で処理ができるかを確認してから実行しようと思います。

[dameo]

いえ、ローカルで確認してください。絶対に迷惑かけないようにしてくださいね。

[spot_0104]

はい、ローカル環境で確認を行っていきます。

[melian]

なるほど、

<meta property="og:url" content="https://zukan.pokemon.co.jp/detail/0001">

となっているので、box_end は不要だと思います。

#終了位置
##box_end = number.index('.htm') # 不要
number = number[box_start+7:]

[spot_0104]

ありがとうございます。

コードを修正していただいたおかげで処理自体は最後まで行われたのですが、フォルダ内に画像が保存されませんでした。

原因が分かりましたら教えていただけると幸いです。

[melian]

何度もごめんなさい、ダブルクォート以降にも文字列がありますので、正しくは以下の様になります。

#終了位置
box_end = number.index(target)
number = number[box_start+7:box_end]

[spot_0104]

何度もありがとうございます。

上記の通りにコードを修正したところ、
box_end = number.index(target)の部分に
ValueError: substring not found
のエラーコードが表示されました。
number.index(target)をname.index(target)にしたりしましたが、改善されませんでした。

何度もお手数おかけしますが、解法が分かりましたら教えていただけると幸いです。

[melian]

こちらで試すかぎり、画像ファイルが download/pokemon/ 以下に保存されます。(0001.png, 0002.png, ...)

[spot_0104]

コードを再度入力して試したところ正常に動作することが確認できました。

何度も質問に答えていただきありがとうございます。助かりました。

Answer 1

質問のコメントから以下のように修正することで問題が解決しました。

#終了位置

number = number[box_start+7:]