株の銘柄情報の取得とSQliteへの格納

Question

前提・実現したいこと

「株とPython-自作プログラムでお金儲けを目指す」とうpythonの書籍で勉強していまして、
銘柄情報の取得とSQLiteへの格納がしたいです。
下記リンクでもこの書籍の内容をなぞって実行できています。
https://bitop.hatenablog.com/entry/2019/04/09/060131

発生している問題

該当ソースコードで全部

  if len(q.find('div.company_block')) == 0:
    return None

の条件に当てはまってしまって、すべてNoneで返されてしまいます。
qはURLです。該当するURLでdiv.company_blockが存在しないときがこの条件に当てはまるということですよね？

該当のソースコード

from pyquery import PyQuery
import time
import sqlite3


def get_brand(code):
  url = 'https://kabutan.jp/stock/?code={}'.format(code)

  q = PyQuery(url)
  
  if len(q.find('div.company_block')) == 0:
    return None

  try:
    name = q.find('div.company_block > h3').text()
    code_short_name =  q.find('#stockinfo_i1 > div.si_i1_1 > h2').text()
    short_name = code_short_name[code_short_name.find(" ") + 1:]
    market = q.find('span.market').text()
    unit_str = q.find('#kobetsu_left > table:nth-child(4) > tbody > tr:nth-child(6) > td').text()
    unit = int(unit_str.split()[0].replace(',', ''))
    sector = q.find('#stockinfo_i2 > div > a').text()
  except (ValueError, IndexError):
    return None

  return code, name, short_name, market, unit, sector

def brands_generator(code_range):
  for code in code_range:
    brand = get_brand(code)
    if brand:
      yield brand
    time.sleep(1)

def insert_brands_to_db(db_file_name, code_range):
  conn = sqlite3.connect(db_file_name)
  with conn:
    sql = 'INSERT INTO brands(code,name,short_name,market,unit,sector) ' \
          'VALUES(?,?,?,?,?,?)'
    conn.executemany(sql, brands_generator(code_range))

insert_brands_to_db('brands.db',range(1301,1332))

確認したこと

例えば
https://kabutan.jp/stock/?code=1330で
div.company_blockは存在しているように思えます。

###質問したいこと
参照リンクhttps://bitop.hatenablog.com/entry/2019/04/09/060131では
下記の条件にすべてが当てはまるわけではなく、うまく銘柄情報の取得とSQLへの格納ができています。
私がやると同じコードのはずなのに上手くいかないです。なぜでしょうか。

  if len(q.find('div.company_block')) == 0:
    return None

#追記
全部Noneで返されているかと思っていたのですが、勘違いでSQLiteに出力されていました。
#改めてためしたこと
下記を試して、try文が実行されていることが確認できました。
ただ、SQLiteにはなにも出力されていないように見えます。
https://bitop.hatenablog.com/entry/2019/04/09/060131では表が確認できるのに、
私の実行結果では確認できません。

def get_brand(code):
  url = 'https://kabutan.jp/stock/?code={}'.format(code)

  q = PyQuery(url)
  
  if len(q.find('div.company_block')) == 0:
    return None

  try:
    name = q.find('div.company_block > h3').text()
    code_short_name =  q.find('#stockinfo_i1 > div.si_i1_1 > h2').text()
    short_name = code_short_name[code_short_name.find(" ") + 1:]
    market = q.find('span.market').text()
    unit_str = q.find('#kobetsu_left > table:nth-child(4) > tbody > tr:nth-child(6) > td').text()
    unit = int(unit_str.split()[0].replace(',', ''))
    sector = q.find('#stockinfo_i2 > div > a').text()
    print(q.find('div.company_block > h3').text())#tryが実行されているかここで確認
  except (ValueError, IndexError):
    return None

  return code, name, short_name, market, unit, sector

Answer 1

自己解決できました。
アップロード元ばかり見てましたが、アップロード先で実行できていました。

Answer 2

さっと見ただけですが、ノードの階層のmainエレメントより下のノードを指定する必要があるようですね。

  q.find('#kobetsu_right > div.company_block')

のような親ノードも付加してみましょう。

Comments

[tomomonX]

回答ありがとうございます。いろいろ試してて、私の確認内容に誤りがあったことがわかりました。失礼しました。しかしいまだにDB Browserで表を確認できず困っており、引き続き原因を探っています。
なんとなくpythonというよりDB Broserの使い方のような気もしています。