国会図書館検索APIで書籍名から出版社名を得たいがヒットしない

Question

当初の質問

前提・実現したいこと

書籍名から出版社名を得て、Googleスプレッドシートにまとめたいです。Colabで作業していますが、一旦csvにダウンロードして手動でスプレッドシートに貼り付けるのでも構いません。

PythonでもGASでも良くて、楽天ブックスのAPIなどを使って実現できるならそれでよいです。

発生している問題・エラーメッセージ

書籍が検索でヒットしない
なお、書籍名は

• Dr.竜馬の病態で考える人工呼吸管理
• こういうことだったのか！！酸素療
• エース薬理学
• そこが知りたかった　中毒診療

などです。これらを｢夏目漱石｣とか｢人工知能｣とかに変更するとヒットしました。

該当のソースコード

(文字数制限の都合上削除しました)

試したこと

http://ailaby.com/ndl_search/
ほとんどこちらのサイトのコードそのままです。

楽天ブックスのAPIもためしましたが、ISBNを使用する場合の方法だけがネット検索で見つかったので難儀しています。

2020/11/16追記

教えていただいた内容を反映してシートに転記するコードを書いたのですがまだうまく動きません。アドバイスを頂けると幸いです。

変更点

• cellの内容のみを取得
• sheetに反映 のコードを自作
• このコードの作者さんは1つの本に対して複数のデータを収集し、dfにまとめるものでしたが、私の場合は複数の本に対してそれぞれ1つのデータ(出版社名+あわよくば著者名など)を収集し、sheetにまとめたいので自分なりに編集しました。

発生している問題・エラーメッセージ

---------------------------------------------
Search results for cnt=1 mediatype=1 title=そこが知りたかった　中毒診療 from=19800101 
---------------------------------------------
---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-7-ed4b9090a8a1> in <module>()
    109 
    110       #sheetに反映
--> 111       worksheet.update_cell(cell.row, cell.col +1, publisher.text)
    112       worksheet.update_cell(cell.row, cell.col +2, item.find('title').text)
    113       worksheet.update_cell(cell.row, cell.col +3, author.text)

NameError: name 'publisher' is not defined

該当のソースコード

import numpy as np
from pandas import DataFrame
import xml.etree.ElementTree as ET
import requests
from collections import defaultdict
from google.colab import files

ss_url = "https://docs.google.com/spreadsheets/d/oooooo"
workbook = gc.open_by_url(ss_url)
worksheet = workbook.get_worksheet(1)

cell_list = worksheet.range("A4:A10")
for cell in cell_list:

  # 検索条件
  params = {}
  params['title']     = cell.value
  params['mediatype'] = '1'
  params['from']      = '1980-01-01'
  params['cnt']       = '1'
  params['idx']       = '1'

  list_map = defaultdict(list)
  total = 0

  # セッション
  s = requests.session()

  while True:

      # 検索リクエスト
      r =  s.get('http://iss.ndl.go.jp/api/opensearch', params=params)

      # XML パース
      root = ET.fromstring(r.text.encode('utf-8'))
      print ('---------------------------------------------')
      print (root.find('channel').find('description').text)
      print ('---------------------------------------------')

      items = root.findall('.//item')
      for i, item in enumerate(items):
          print ('--------' + str(total+i+1) + '---------')
          
          # タイトル
          print (item.find('title').text)
          list_map['title'].append(item.find('title').text)

          # ID
          #   linkタグのテキストから抜き出す
          #     例
          #     <link>http://iss.ndl.go.jp/books/R100000001-I022140205-00</link>
          #                                              ↓
          #                                      R100000001-I022140205-00
          #
          link = item.find('link').text
          print (' ' + link[link.rfind('/')+1:])
          list_map['ID'].append(link[link.rfind('/')+1:])

          # 著者
          #   書式さまざま
          #　　　　例 
          #      ・ 夏目 漱石,
          #      ・ 夏目漱石 作,
          #      ・ 夏目, 漱石, 1867-1916,
          #      ・ 夏目漱石／著,
          #
          author = item.find('author')
          if author is not None:
              print (' ' + author.text)
              list_map['author'].append(author.text)
          else:
              list_map['author'].append('')
      
          # 出版日
          #     例 Fri, 23 Jun 1995 09:00:00 +0900
          pubDate = item.find('pubDate')
          if pubDate is not None:
              print (' ' + pubDate.text)
              list_map['pubDate'].append(pubDate.text)
          else:
              list_map['pubDate'].append('')

          # 発行年
          #   複数セットされるケースがあるので、もっとも古い年を取得する
          issueds = item.findall('{http://purl.org/dc/terms/}issued')
          lst = [issued.text for issued in issueds]
          if len(lst) > 0:
              print (' ' + lst[np.argmin(lst)])
              list_map['issued'].append(lst[np.argmin(lst)])
          else:
              list_map['issued'].append('')

          # シリーズタイトル
          #    文庫本の場合、ここに ○○文庫 とのっている
          seriesTitle = item.find('{http://ndl.go.jp/dcndl/terms/}seriesTitle')
          if seriesTitle is not None:
              print (' ' + seriesTitle.text)
              list_map['seriesTitle'].append(seriesTitle.text)
          else:
              list_map['seriesTitle'].append('')
      
          # 出版社    
          publisher = item.find('{http://purl.org/dc/elements/1.1/}publisher')
          if publisher is not None:
              print (' ' + publisher.text)
              list_map['publisher'].append(publisher.text)
          else:
              list_map['publisher'].append('不明')

      #sheetに反映
      worksheet.update_cell(cell.row, cell.col +1, publisher.text)
      worksheet.update_cell(cell.row, cell.col +2, item.find('title').text)
      worksheet.update_cell(cell.row, cell.col +3, author.text)


      cnt = int(params['cnt'])
      idx = int(params['idx'])
      if len(items) < cnt:
          break

      
      # df = DataFrame({'title'       : list_map['title'],
      #                'ID'          : list_map['ID'],
      #                'author'      : list_map['author'],
      #                'pubDate'     : list_map['pubDate'],
      #                'issued'      : list_map['issued'],
      #                'seriesTitle' : list_map['seriesTitle'],
      #                'publisher'   : list_map['publisher']}, 
      #                columns = ['title', 'ID', 'author', 'pubDate', 'issued', 'seriesTitle', 'publisher'])
      # df.to_csv("books.csv", encoding='utf-8')
      # files.download('books.csv') 

      # df

      #

Comments

[toast-uz]

r = s.get('http://iss.ndl.go.jp/api/opensearch', params=str(params['title']))
でやろうとしている検索リクエストと等価なリクエストをブラウザのアドレスバーに打ち込んでみて、結果を確認してみましたか？

[Orlofsky]

URLは https://teratail.com/help/question-tips#questionTips3-7 の [リンク] で [リンク先の説明](http...) に修正してください。

[XTJP]

toast-uz様
おそらく、以下の内容をブラウザのアドレスバーに打ち込むことになると思うのですが、これをどのように表記すればよいのかご教示いただけると助かります。不勉強で申し訳ありません。
http://iss.ndl.go.jp/api/opensearch {'title': 'そこが知りたかった 中毒診療', 'mediatype': '1', 'from': '1980-01-01', 'cnt': '2', 'idx': '1'}

Answer 1

Google Apps Script の情報を求めてこられた方へ。

https://teratail.com/questions/210493 こちらに isbn 検索の例があります。

↑をもとに isbn= のかわりに title=${encodeURIComponent('人工知能')} とやればタイトルで検索できます。
isbn と違って、title の場合、複数見つかるので item[0] の 0 を固定ではなくループすればいけるかと。

Answer 2

getで渡しているparamsを文字列に変換しているようですが、ここは辞書そのもので渡すのではないでしょうか。
これでは、getのurlにパラメータが設定されないと思います。

   # 検索リクエスト
   r =  s.get('http://iss.ndl.go.jp/api/opensearch', params=str(params['title']))

修正
paramsにそのままparamsを代入する。

   # 検索リクエスト
   r =  s.get('http://iss.ndl.go.jp/api/opensearch', params=params)

cell_list = worksheet.range("A4:A5")だと、cell情報も入っているため、これを参照するときは
valueで値を参照してください。

params['title']     = cell.value

参照している変数publisherがforループの外です。
publisherの処理が、forループの内側のときははインデントをforと合わせる必要があります。

           else:
              list_map['publisher'].append('不明')
           #インデントがあっていないので、forのインデントに合わせてください
           #sheetに反映
           worksheet.update_cell(cell.row, cell.col +1, publisher.text)
           worksheet.update_cell(cell.row, cell.col +2, item.find('title').text)
           worksheet.update_cell(cell.row, cell.col +3, author.text)

検索APIを確認してみました。
https://iss.ndl.go.jp/information/wp-content/uploads/2020/03/ndlsearch_api_20200302_jp.pdf
年月日の指定で、月を指定すると、年だけのものにはヒットしないようです。
パラメタの'from'をコメントアウトして見て下さい。

# params['from']      = '1980-01-01'

あと、以下のコードの意味はなんでしょうか。
検索が成功したとき、len(items)がcntに等しくなってしまうため。
無限ループになってしまいます。
確認して下さい。

 cnt = int(params['cnt'])
 idx = int(params['idx'])
 if len(items) < cnt:
      break

Comments

[XTJP]

早速のご回答ありがとうございます。ご教示の通り、該当箇所を修正しました。
以下の結果が得られ、検索には引っかかっていないように思います。また、シートのA4のセルを｢人工知能｣にしてみても結果は同様でヒットしませんでした。何か他に考えられる原因はありますでしょうか。不勉強で申し訳ありません。

```
---------------------------------------------
Search results for mediatype=1 from=19800101 cnt=2 title=<Cell R4C1 '人工知能'>
---------------------------------------------
---------------------------------------------
Search results for title=<Cell R5C1 '救急白熱セミナー\u3000頭部外傷実践マニュアル改訂2'> from=19800101 mediatype=1 cnt=2
```

[akiruno-oneone]

上記のタイトルに、セル情報が入っています。これで検索に失敗しているのでは。
タイトルのみにしてください。
<Cell R4C1 '人工知能'>
⇒人工知能

こちらでは、直接「人工知能」を入力したところ、検索結果がでました。
（googleシートが使えないため)
cell_list = worksheet.range("A4:A5")
⇒cell_list = ['人工知能']

[akiruno-oneone]

cell_listの値を参照するときは、valueがいるみたいですね。
回答に追記しました。

[XTJP]

盲点でした。gspreadの使い方を把握していませんでした。
ご指摘の通り、
params['title'] = cell
↓
params['title'] = cell.value
にして、A4を"人工知能"にしたところ、無事結果が取得できました。

一方、A4を"そこが知りたかった　中毒診療"に戻すと、やはりヒットしませんでした。手入力で国会図書館のサイトで検索するとヒットするのですが… なにか検索方法が誤っているのでしょうか…
https://iss.ndl.go.jp/books?op_id=1&any=%E3%81%9D%E3%81%93%E3%81%8C%E7%9F%A5%E3%82%8A%E3%81%9F%E3%81%8B%E3%81%A3%E3%81%9F+%E4%B8%AD%E6%AF%92%E8%A8%BA%E7%99%82&display=

[akiruno-oneone]

空白が原因でしょうか。
上記の検索"そこが知りたかった　中毒診療"の空白は全角ですね。
一方、検索でヒットするタイトルの空白は半角です。
失敗："そこが知りたかった　中毒診療" 　★全角の空白
成功："そこが知りたかった 中毒診療"　　★半角の空白

[XTJP]

空白や記号も統一する必要がありそうですね。ありがとうございます。
教えていただいた内容を反映して、シートに転記するコードを書いたのですがまだうまく動かないので、助言をいただけると助かります。質問文本文に追記しました。

[XTJP]

ご回答ありがとうございます。インデントを修正し、エラーはでなくなりましたが、
if publisher is not None:
print (' ' + publisher.text)
でも出版社は表示されず、スプレッドシートにも反映されません。やはり実現するのは難しいでしょうか…

[akiruno-oneone]

検索条件の"from"を削除し確認しました。
掲題の書式名で検索しましたが、検索はできているようです。
（但し、スプレッドシートは使っていません。）

[XTJP]

APIのドキュメントまで調べていただいてありがとうございます。fromの条件に制限があったことを知りませんでした。うまく動きそうなので、これでしばらくコードをブラッシュアップしていきます。