図書館のHPにアクセスして蔵書情報を取得する為に必要なことは

###前提・実現したいこと
図書館がHPで公開している蔵書情報を取得したい

###特に考えていること
HPには、「検索」画面がありそこで検索条件を入力すれば結果は参照できます。しかし、新着の蔵書情報などを自動的に取得したいと考えています。

###気になっていること
図書館のアクセス障害になるようなアプリは作りたくない
（岡崎市立中央図書館事件のようになるのは避けたい）

###質問
言語はJavaを考えていますが、特に理由があるわけではないです。
今一番扱えるであろう、かつ勉強中だからです。

そもそもどうやって実現すればいいのかがさっぱり見えてきません。
言語がどうとかいうレベルではないので、

「こうすれば実現可能」
というようなアドバイスを頂ければと思います。

行動規範の内容に同意します

回答4件

ベストアンサー

まず図書館に相談してみるとイイですよ。
APIが用意されていれば紹介してくれるでしょうし、そうでない場合、どの程度のアクセス頻度が許されるか、アドバイスを貰うことが出来るかもしれません。
要望をあげておけば、API の公開を検討してくれるかもしれないですし、そもそも、検索システムを改修してくれるかもしれません。

こういった件は、まず正攻法で確認するのがイイです。

ちなみにですが、Webサイトの情報を機械的に取得することをスクレイピングといいます。
スクレイピングは、アクセス先の仕様を理解して行わなければならない技術であるため、エンジニアとして求められるものはそこそこ高いです。
例えば、設計や実装でループの頻度を間違うと逮捕されることもありえます。
例外処理も含めて適切な設計を行い、ローカルで十分テストした後、リリースして下さい。

投稿2017/05/18 23:13

退会済みユーザー

総合スコア0

cat_bera

2017/05/27 10:50

コメントありがとうございました！直接問い合わせる、というのは灯台下暗しで全然意識にありませんでした。 APIがあるかもしれませんね。参考になりました。

行動規範の内容に同意します

投稿2017/05/19 01:06

総合スコア16731

2017/05/27 10:44

URL先を参照させてもらいますありがとうございました！

行動規範の内容に同意します

図書館側に API が用意されているならそれを使ってください。
されていないなら一定の時間を置きながら蔵書検索を行い、それを取得してください。

岡崎市立中央図書館事件の場合、クローラには全く問題がなく、図書館側の不具合であったことが証明されています。同じ目に遭いたくないのであれば、こちら側の対策としてはアクセスしないという選択肢しかないと思います。

投稿2017/05/18 22:02

Zuishin

総合スコア28660

cat_bera

2017/05/27 10:47

コメント、ありがとうございます。おそらく同日に何度もアクセスをする、想定ではなく 1週間とか3日に一度、あるタイミングでスクレイピングを実行するようなイメージです。（というイメージがあってるのかどうかすらわからないレベルです）

行動規範の内容に同意します

私はRubyしか使えないのでRubyで考えます。
あと私はこういったことの初心者なので
信用しないでください。

基本的にやることは、ページの情報をとってきて
必要な情報を抜き出すということだけです。

Rubyの場合はこんなイメージです。

Ruby
1# encoding: utf-8
2
3require'open-uri' # =>httpなどをopenするのに必要なライブラリ。
4
5data = open('https://sample.com', &:read)
6# =>このままだとwebページのソースコードがそのまま表示される
7
8# => 以下 dataを加工する処理
9
10p data # =>加工済みのdataを出力（本の題名のみとか。）