常連

自己紹介

下記のoneboxというgemに関しての質問です。

[discourse/onebox](https://github.com/discourse/onebox)
urlからサイトタイトルや画像を取得し、htmlをリッチ化するものです。

Onebox.preview(url)で出力されるhtmlなどは取得できるのですが、titleやimageなど個別に取得する方法がわかりません。

【具体例】
Amazonであれば、下記のresult部分(titleやimage)の値を取得したいです。
[amazon_onebox.rb](https://github.com/discourse/onebox/blob/master/lib/onebox/engine/amazon_onebox.rb)

どなたかわかる方、よろしくお願いします。

gemの使い方に関してどなたかわかる方、お助けください

GCP上でRailsアプリを構築しているのですが、非同期処理の実装方法に悩んでいます。

AWSを使っていた頃はAWS上でRedisを立て、Sidekiq用のWorkerサーバをAppサーバとは別に立てて非同期処理を行なっていました。

当初はGCP上でも同様の方法にしようと思ったのですが、もっと低コストで実現できないか？と思い、色々と悩んでいます。

ちなみにAppサーバはGAEのStandardを利用しています。

### 現状
Workerサーバ用にGAEのFlexible環境の常駐インスタンスを立てています。
非同期処理にはCloud Pub/Subを使っています。

1. AppサーバからPub/Subでメッセージを送信
2. WorkerサーバでPub/Subのメッセージを常に確認し、メッセージを受信したら処理を行う

#### メリット
- WorkerサーバはPub/Subのメッセージを確認しているだけなので外部からはアクセスできない
#### デメリット
- GAEの常駐インスタンスの料金が高い

### 考えたこと
Cloud Tasksを利用する。

1. Appサーバ上でTask作成
2. Workerとして立てたGAE Standard環境のインスタンスがTaskを処理

#### メリット
- 現状より料金は安くなる
#### デメリット
- Workerサーバに外部からアクセスできてしまう（調べた限りではサービス単位ではファイアウォールルールを設定できなさそうでしたので・・・）
- アプリ側でアクセス制限か認証を行う必要がある

### 相談
何か良い方法があれば教えてください。

料金面はありますが、良い方法がなければひとまず現状のままで行こうと思っています。

GCPでRailsアプリの非同期処理をどのように実現するべきでしょうか

Rails5.1.3でWebアプリケーション制作の勉強をしています。

以前「ページに個別にアクセスするにはどうすればいいのでしょうか？」と質問させていただいたときに

URLはhttp://www.123abc.com/staffみたいな形にして、ページにBasic認証をかければいいと思います。
また、ページからの遷移はなしで、直接URLを打ち込む形にすればいいかと思います。
basic認証をかけない場合、誰でも侵入されてしまうので、かけるべきだと思います。

と教えていただきましたので

初耳なのですがBasic認証なるものをかけようとしています。
Basic認証で検索して調べてもあやふやなので教えていただけないでしょうか？
ググって調べて真似してみたコードが以下になります。
```ここに言語を入力
class Staff::TopController < Staff::Base
　before_filter :basic
  skip_before_action :authorize

  def index
    if current_staff_member
      render action: 'dashboard'
    else
      render action: 'index'
    end
  end

　private
  def basic
    authenticate_or_request_with_http_basic do |user, pass|
      user == 'user' && pass == 'pass'
    end
  end
end

```
上記のコードで　|user, pass|の記述と　user == 'user' && pass == 'pass'がよくわかりません。
（パスワードは　Gemパッケージbcryptが提供するハッシュ関数を用いてパスワードを変換して保存されています。）
意味もわからずただ真似をして記述してみましたが、これでいいのかわからないので
どなたか教えていただけないでしょうか？宜しくお願いします。

password と　nickname でBasic認証をかけたいのですが記述方法がわかりません。

RailsのBasic認証をかけたいのですがどなたか教えていただけないでしょうか？

###前提・実現したいこと
ruby初心者でクローラーを作成してます。
その中でWebから取得した情報をmysqlに登録する箇所でエラーが発生しました。

###発生している問題・エラーメッセージ

```
/Users/hiroyuki/.rbenv/versions/2.1.3/lib/ruby/site_ruby/2.1.0/rubygems/core_ext/kernel_require.rb:55:in `require': /Users/hiroyuki/.rbenv/versions/2.1.3/lib/ruby/gems/2.1.0/gems/anemone-0.7.2/lib/anemone/storage/mysql.rb:105: can't find string "SQL" anywhere before EOF (SyntaxError)
/Users/hiroyuki/.rbenv/versions/2.1.3/lib/ruby/gems/2.1.0/gems/anemone-0.7.2/lib/anemone/storage/mysql.rb:82: syntax error, unexpected end-of-input, expecting tSTRING_CONTENT or tSTRING_DBEG or tSTRING_DVAR or tSTRING_END
	from /Users/hiroyuki/.rbenv/versions/2.1.3/lib/ruby/site_ruby/2.1.0/rubygems/core_ext/kernel_require.rb:55:in `require'
	from /Users/hiroyuki/.rbenv/versions/2.1.3/lib/ruby/gems/2.1.0/gems/anemone-0.7.2/lib/anemone/storage.rb:44:in `MySQL'
	from anemone-mysql.rb:8:in `<main>'
```

###該当のソースコード
require 'anemone'

urls = []
urls.push("http://www.yahoo.co.jp")

opts = {
	:storage => Anemone::Storage::MySQL(),
	:depth_limit => 0
}

Anemone.crawl(urls, opts) do |anemone|
	anemone.on_every_page do |page|
		puts page.url
		puts page.doc.xpath("//title/text()").to_s if page.doc
	end
end


###試したこと


###補足情報(言語/FW/ツール等のバージョンなど)
関係ファイルのソースコードを下記に記載します。
###mysql.rb
begin
  require 'mysql2'
rescue LoadError
  puts "You need the mysql2 gem to use Anemone::Storage::MySQL"
  exit
end

module Anemone
  module Storage
    class MySQL

      def initialize(opts = {})
        host = opts[:host] || 'localhost'
        username = opts[:username] || 'crawler'
        password = opts[:password] || 'anemone_pass'
        database = opts[:database] || 'anemone'
        @db = Mysql2::Client.new(:host => host, :username => username, :password => password, :database => database)
        create_schema
      end

      def [](url)
        value = @db.query("SELECT data FROM anemone_storage WHERE page_key = '#{get_hash_value(url)}'").first['data']
        if value
          Marshal.load(value)
        end
      end

      def []=(url, value)
        data = Marshal.dump(value)
        key = get_hash_value(url)
        if has_key?(url)
          @db.query("UPDATE anemone_storage SET page_data = '#{data}' WHERE page_key = '#{key}'")
        else
          @db.query("INSERT INTO anemone_storage (page_key, page_data) VALUES('#{key}', '#{data}')")
        end
      end

      def delete(url)
        page = self[url]
        @db.query("DELETE FROM anemone_storage WHERE page_key = '#{get_hash_value(url)}'")
        page
      end

      def each
        @db.execute("SELECT page_key, page_data FROM anemone_storage ORDER BY id") do |row|
          value = Marshal.load(row[1])
          yield row[0], value
        end
      end

      def merge!(hash)
        hash.each { |key, value| self[key] = value }
        self
      end

      def size
        @db.query('SELECT COUNT(*) FROM anemone_storage')
      end

      def keys
        @db.query("SELECT page_key FROM anemone_storage ORDER BY id").map{|t| t[0]}
      end

      def has_key?(url)
        key = get_hash_value(url)
        result = @db.query("SELECT count(id) FROM anemone_storage WHERE page_key = '#{key}'")
        if result.first['count(id)'] > 0
          return true
        else
          return false
        end
      end

      def close
        @db.close
      end

      private
      def create_schema
        @db.query <<-SQL
          create table if not exists anemone_storage (
            id int(11) NOT NULL auto_increment,
            page_key varchar(255),
            page_data BLOB,
            PRIMARY KEY (id),
            key (page_key)
          ) DEFAULT CHARSET=utf8;SQL
      end

      def load_page(hash)
        BINARY_FIELDS.each do |field|
          hash[field] = hash[field].to_s
        end
        Page.from_hash(hash)
      end

      def get_hash_value(key)
        Digest::SHA1.hexdigest(key)
      end
    end
  end
end

###storage.rb
module Anemone
  module Storage

    def self.Hash(*args)
      hash = Hash.new(*args)
      # add close method for compatibility with Storage::Base
      class << hash; def close; end; end
      hash
    end

    def self.PStore(*args)
      require 'anemone/storage/pstore'
      self::PStore.new(*args)
    end

    def self.TokyoCabinet(file = 'anemone.tch')
      require 'anemone/storage/tokyo_cabinet'
      self::TokyoCabinet.new(file)
    end

    def self.KyotoCabinet(file = 'anemone.kch')
      require 'anemone/storage/kyoto_cabinet'
      self::KyotoCabinet.new(file)
    end

    def self.MongoDB(mongo_db = nil, collection_name = 'pages')
      require 'anemone/storage/mongodb'
      mongo_db ||= Mongo::Connection.new.db('anemone')
      raise "First argument must be an instance of Mongo::DB" unless mongo_db.is_a?(Mongo::DB)
      self::MongoDB.new(mongo_db, collection_name)
    end

    def self.Redis(opts = {})
      require 'anemone/storage/redis'
      self::Redis.new(opts)
    end

    def self.SQLite3(file = 'anemone.db')
      require 'anemone/storage/sqlite3'
      self::SQLite3.new(file)
    end

    def self.MySQL(opts = {})
      require 'anemone/storage/mysql'
      self::MySQL.new(opts)
    end

  end
end