teratailのクリップ検索

Question

*困っていること
teratailで気になること、後で読み返したいこと、忘れそうなことはクリップするようにしています。結果、忘れっぽいので膨大な数のクリップがたまっている状態です。

下記のsuyamaさんのアドバイスを受け、teratailのAPIを使ってデータを取得出来るところまできましたが、件数が20件に絞られています。
（「○○件中20件を検索したよ」のような情報は応答のjson形式の"meta"に収まっているようでした。）

*やりたいこと
サラッと検索できるような方法がありましたら教えていただけないでしょうか？

*調べたこと
少し前にteratail の過去遺産をもっと活用したいという記事があり、APIに目を通しましたが「クリップの検索」はないようでした。

---

teratailから提供されているAPIの、Python3での検証コード

• 1)

検証時にChromeでURLを直接開くと問題はなかったのですが、Pythonでそのまま走らせるとteratailのAPIがSSLの認証エラーではじかれました。なので、'ssl._create_default_https_context = ssl._create_unverified_context'のくだりを入れています。これはteratailのSSLの設定がおかしい？ということなのでしょうか…

• 2)

**やりすぎるとAPIから403**されてしまいます。もし試される方が居ましたらやりすぎには気を付けてください。

---

2017-10-31 コード修正
suyamaさんのアドバイスを受け、ページをクロールしながらタイトルを拾えるところまでできました。ここまでできればあとはwxPythonか何かでGUIをつければOKですね。ここで一区切りにします。Pythonで検索しようとしている人の参考までにコードを載せます。

# coding: UTF-8
import os
import urllib.request
import json
import ssl
import sys

USER_NAME = "slash"

# -------------------
# To avoid an error
# ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:720)
ssl._create_default_https_context = ssl._create_unverified_context

URL = "https://teratail.com/api/v1/users/" + USER_NAME + "/clips?limit=100&page="

# -------------------

def downloader(page):
    try:
        # Get clip data from teratail
        with urllib.request.urlopen(URL + str(page)) as response:
            html = response.read()
            text = html.decode('utf-8')

        # Load clip data as json file
        json_dat = json.loads(text)
        # print(json.dumps(json_dat, sort_keys = True, indent = 4)
    
        # Return clip data as dict type
        return json_dat["meta"], json_dat["questions"]
    except:
        sys.exit("The process was terminated. You may got 403 error caused by excess access [30 access / hour * IP address].")

def crop_titles(lst_questions):
    # Crop dictionary from list
    for dct in lst_questions:
        # print( dct["created"] + " " + dct["title"])
        print(dct["title"])

if __name__ == "__main__":
    # Initialize page index
    page = 1
    page_max = 1

    # Crawl each pages
    while page <= page_max:
        meta, title = downloader(page)
        page_max = meta["total_page"]
        crop_titles(title)
        page = page + 1

Answer 1

特定のユーザーのクリップした質問一覧を取得する
http://docs.teratailv1.apiary.io/#reference/(user)/3

上記のAPIを使って自作するのが一番かと思います。

---

追記：

まだ作りかけですが、ご参考まで実装してみました。
https://www.suyama.pw/teratail/clipsearch.html

アクセストークンの設定部分、複数ページを取得する部分、エラー処理等が未実装です。
また、どのような検索をしたいかによっても作りが変わってくるかと思いますが、とりあえずはタイトルの検索のみ対応してみています。

Comments

[退会済みユーザー]

アドバイスありがとうございます。
APIを拝見しましたところ、json形式のファイルをDLするようになっていました。
DLしたファイルを慣れているExcelかpythonで裁こうかなと情報収集を始めました。

皆様の意見を確認したいので、あと1～2日様子を見させてください。

[退会済みユーザー]

suyamaさんのアドバイスを受け、恐らくできる精いっぱいの範囲まで来ました。詳細は修正した質問にありますが、どうもteratailのAPIの制限で20件にしぼられているようです。

どうにもならないようでしたら、teratailにこの件の相談を出したいと思います。

[退会済みユーザー]

http://docs.teratailv1.apiary.io/#introduction

APIドキュメントにページネーションについての記載がありますので、ご確認ください。
limitで1回あたりの取得件数（最大100件）、pageでオフセットを指定できます。
全部で何ページあるかは、返却されるjsonのmeta.total_pageに記載されています。

[退会済みユーザー]

また、アクセストークンを使用しない場合は同一IPから1時間に30回までのアクセス制限が課されています。
アクセストークン管理からアクセストークンを発行することで、1トークンあたり1時間300件のAPIリクエストを行うことが可能です。
1アカウントにつきアクセストークンは10個まで申請できるので、最大で1時間3000件のリクエストが可能です。

[退会済みユーザー]

teratail APIのエンドポイントにアクセスした際に証明書エラーとなる点は、Qualys SSL LabsのSSL Server Testで"Chain issues: Incomplete"と判定されるため、teratail側で中間証明書の設定が不足していることが考えられます。
使用している証明書自体は正規のものですので、どのように対応するかは各API利用者の判断かと思います。

[退会済みユーザー]

細かい説明までいただきありがとうございます。普段スタンドアロンでのコーディングばかりしていたので、まったくもって不足している部分のお話でした。やりたかったことは、タイトル検索で忘れたことを拾い上げるつもりでしたので、まさに提供いただいたURLと全く同じものです。こんなに早く「形」が見られると思っていませんでしたのでとても驚いています。
自前でもローカルで出来るように挑戦します。本当にありがとうございました。