タグごとの未回答、未解決の質問数を知るにはどうしたらよいですか？

Question

タグごとの未回答、未解決の質問数を知るにはどうしたらよいですか？

例えば
https://teratail.com/tags/JUnit
をみた場合、
総質問数 91件
が表示されるだけで、未回答、未解決, 解決の数はわかりません。

なぜ、こんな数が知りたいかというと、
未回答、未解決の割合が多いタグを見つけて、それらになるべく回答をしてみたい
と思っているからです。

teratail API を使えば、集計数を得ることはできるのかもしれませんけど ...

蛇足：
時系列変化を知りたい各種の数値があるのですが、現時点の teratail 画面には時系列系の画面は存在していませんね.

Answer 1

APIから取得するツールを作りました。Ruby 2.3.0でしか動かないかも。

# frozen_string_literal: true
# teratail.rb
# The MIT License (MIT)
# Copyright (c) 2016 raccy
# see https://opensource.org/licenses/MIT

require 'net/http'
require 'uri'
require 'json'

class Teratail
  TERATAIL_API_V1 = 'https://teratail.com/api/v1/'
  MAX_LIMIT = 100

  def initialize(access_token = nil, uri = TERATAIL_API_V1)
    @access_token = access_token
    @uri = URI(uri)
  end

  def get(*paths, **params)
    request_uri = @uri
      .merge(paths.map { |path| URI.encode_www_form_component(path) }.join('/'))
      .merge("?#{URI.encode_www_form(params)}")
    http = Net::HTTP.new(request_uri.host, request_uri.port)
    http.use_ssl = true if request_uri.scheme == 'https'
    http.start do
      req = Net::HTTP::Get.new(request_uri.path + '?' + request_uri.query)
      req['Authorization'] = @access_token if @access_token
      http.request(req) do |response|
        return response.code, JSON.parse(response.body)
      end
    end
  end
  private :get

  def questions(tag = nil)
    if block_given?
      page = 1
      total_page = 1
      while page <= total_page
        if tag
          code, data = get('tags', tag, 'questions',
                           limit: Teratail::MAX_LIMIT, page: page)
        else
          code, data = get('questions',
                           limit: Teratail::MAX_LIMIT, page: page)
        end
        raise "#{code}: #{data.dig('meta', 'message')}" if code.to_i != 200
        data['questions'].each do |question|
          yield question
        end
        page += 1
        total_page = data.dig('meta', 'total_page').to_i
      end
    else
      to_enum(:questions, tag)
    end
  end
end

if __FILE__ == $PROGRAM_NAME
  if ARGV.size > 0
    tag_name = ARGV[0]
    access_token = nil
    # access_token = "Bearer 0123456789abcdef0123456789abcdef0123456789"
    teratail = Teratail.new(access_token)
    result = teratail.questions(tag_name)
    .inject(no_reply: 0, no_accepted: 0) do |accs, q|
      accs[:no_reply] += 1 if q['count_reply'] == 0
      accs[:no_accepted] += 1 unless q['is_accepted']
      accs
    end
    puts "タグ: #{tag_name}"
    puts "未回答: #{result[:no_reply]}"
    puts "未解決: #{result[:no_accepted]}"
  else
    puts "引数にタグを指定して下さい。"
  end
end

上をteratail.rbとして保存して、実行した結果がこちら。

$ ruby teratail.rb React.js
タグ: React.js
未回答: 1
未解決: 6
$ ruby teratail.rb Ruby
タグ: Ruby
未回答: 124
未解決: 527

あまりテストしてないです。アクセストークン管理からアクセストークンを取得して、access_tokenを設定すると制限が緩くなります。トークン名はBearerとして下さい。やる気が出れば、そのうちちゃんと作ってgemにしたいと思います。

Comments

[katoy]

投稿していただいたコードはとても参考になりました。

Answer 2

企業秘密（？）ですが(^-^;
当社調べによると、JUnitの場合は91件中、未回答が2件、未解決が14件でした。

APIで質問一覧(questions)を取得すると、タグ名、回答数、BA有無の情報が含まれていますので、それで集計すればできます。

questionsは1回に付き100件取得できますので、トークンを最大数取得して回せば、今の質問数（現時点で30,000件程度）なら1時間もあれば全件取得できると思います。

Comments

[argius]

タグの質問一覧で取ったほうが効率が良いですね。
質問一覧は、他のケースでも応用できるということで。

[katoy]

> ... 質問一覧は、他のケースでも応用できる ...
はい、そうですね。
質問一覧を全部取得してから、いろいろな処理をする方法をとってみようと思います。

Answer 3

面白い試みです。APiのタグ絡みを読みましたが使いやすくていいですね。
https://teratail.com/api/v1/tags/PHP/questions?limit=100&page=1

{"meta":{"message":"success","total_page":56,"page":2,"limit":100,"hit_num":5518},"tag":

1行目でlimitとpage情報がとられるので、PHPの場合、56回アクセスすれば割合が取れますね（吐血

3,000/hアクセスが可能なので、
（1ユーザーで10トークンを発行出来て、1トークン300/hアクセス）
APIを上手く使うサーバーを立ててCronで動かせば何とかならなくもない感じです。

Comments

[katoy]

> ... サーバーを立ててCronで動かせば ..
そうですね。
でも各自がCron アクセスするより、teratail の API で全件を取得できるようにするとか、もっと API の機能を充実させて欲しいですね。

Answer 4

これはchromeの場合だとデベロッパーツールを開きます。
networkのタブを開いておいて、未回答または未解決のタブを押したらAjaxが走ります。
p1~ではじまるURLがあるので、そのレスポンスに件数入ってます。previewタブを見たらよいかもしれません。

{"question_total":14,"html":"htmlが入ってます"}

ただ、タグ全体でどれが未回答だとかはタグ一覧を元にしてAPIを叩くしかなさそう・・・

Comments

[katoy]

> ... タグ一覧を元にしてAPIを叩く..
はい、そう思います。
もっと別の集計値を計算する可能性も考慮して、質問一覧を取得することから始めてみようと思います。

Answer 5

目的の数値そのものではありませんが、質問一覧を取得してファイルび保存するものを作ってみました。
api で返ってくる json をそのまま保存しています。
このファイル群を別のプログラムで処理して、いろいろな統計数値を計算しようと思います。
2.rb

require 'rubygems' if RUBY_VERSION < '1.9'
require 'rest_client'
require 'fileutils'

DATA_DIR = 'teratails'.freeze
URL = 'https://teratail.com/api/v1/questions'.freeze
MAX_COUNT = 300

start_page = 0 # 300, 600, ...

headers = {
  # https://teratail.com/users/setting/tokens で取得したトークンを "Bearer " の後に設定する
  Authorization: 'Bearer xxxx'
}

(1..MAX_COUNT).each do |count|
  page = start_page + count
  response = RestClient.get("#{URL}?limit=100&page=#{page}", headers)
  res = JSON.parse(response)
  p "#-------- getting page:#{page}/#{res['meta']['total_page']}"
  res['questions'].each do |q|
    id = Integer(q['id'])
    p id
    dir = "#{DATA_DIR}/#{format('%06d', id / 100)}"
    FileUtils.mkdir_p(dir) unless FileTest.exist?(dir)
    file_name = "#{dir}/#{format('%06d', id)}.json"
    File.write(file_name, q)
  end
end

実行をすると、質問の id 毎に json ファイルを teratails/ 以下に 保存します。

$ ls
2.rb

$ time ruby 2.rb
"#-------- getting page:1/299"
30188
30187
.... 省略
"#-------- getting page:299/299"
.... 省略
real	8m40.541s
user	1m57.950s
sys	0m12.413s

$ ls
2.rb		teratails/

1つのトークンでは 100 * 300 = 3万件までしか質問の情報が得られません。
でもトークンは 10 個まで作れるようなので30万件までは一度で取得するようにできそうです。

追記：
tokenをコード中に書くより、$ export TERATAIL_TOKEN=xxxx などとしておいて、
ENV['TERATAIL_TOKEN'] で header に取得するほうが良さそう。

追記: 2016-03-26
https://github.com/katoy/teratails
に質問一覧の取得、タグ毎の集計をするためのプログラム群をおきました。(ruby + activerecord + sqlite3)

Comments

[katoy]

回答に追記しました。
現時点でのタグ集計結果もリンク先で参照できます。