質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.48%

  • MySQL

    7110questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • SQL

    3075questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

urlに含まれる?, #より前の部分だけを取得・列挙したい

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 814

cnx

score 11

MySQL上に 「url 列に好き勝手にURLが入ったテーブル master」 があります。
その他の列としてid, inserted, nameがあり、insertedとnameが同一となっているレコードも複数存在しています。例えばname=bobが複数のサイト(url)を閲覧した履歴がまとめて登録されて、登録されたレコードは同じ登録日(inserted)になるといった感じです。

ここで、inserted と nameの組み合わせ毎にグルーピングした上で、@aurl, @burl, @curl(中身は文字列で'http://%/default.html'など部分一致用条件)に類似せずtag=0を満たす最小のidを取得します。inserted と nameの組み合わせ自体は複数あるので最初のidも複数得られます。
そうして得られたurlについて?, #以降を割愛した状態で一覧を得たいと思っています。
?, #は入っていないこともありますし、両方はいっていることもあり順不同とします。(数も不定)

以下のようなSQLにて動作はするのですが、もっとエレガントで高速な方法はないでしょうか。
因みに45万レコードからの実行結果は、18.0776 seconds.です。

id(big int), url(text), name(text), inserted(UNIX_TIME=int)にはインデックスが張られています。(textについては256長を指定してインデックス作成)

select url from master
 where id in (
    select min(id) from master
       where
          url not like @aurl
      and url not like @burl
      and url not like @curl
      and tag = 0
       group by inserted, name
  )
  and url not like '%#%'
  and url not like '%?%'
union distinct
    select id, inserted, name, left(url, instr(url, '?')-1) from master
 where id in (
    select min(id) from master
       where
          url not like @aurl
      and url not like @burl
      and url not like @curl
      and tag = 0
       group by inserted, name
  )
union distinct
    select id, inserted, name, left(url, instr(url, '#')-1) from master
 where id in (
    select min(id) from master
       where
          url not like @aurl
      and url not like @burl
      and url not like @curl
      and tag = 0
       group by inserted, name
  )
     and url like '%#%' and url not like '%?%'
 ;


3つの結果をUNIONしているので18秒ほど掛かっていて、UNIONせずにまとめて列挙できれば高速化できると想像しているのですが、replaceとregexpを組み合わせるような使い方が出来ないためこうしています。
left関数の辺りにたくさんif文を繋げれば出来そうな気もしますが見た目に悪くメンテナンスしづらそうです(もっと完結に書けないでしょうか)。
not likeの周りもregexpで1つにまとめようとしましたが、こちらは逆に遅くなりました(3倍ほど)。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • kunai

    2016/09/21 10:07

    SQLだけで完結せず、外部のプログラム(PHPやPython等)を使うという選択肢はNGなのでしょうか。

    キャンセル

  • cnx

    2016/09/21 14:33

    こちらで変更できるのがSQLだけなもので、PHPなどを使わずに出来ればと思っています。

    キャンセル

回答 2

checkベストアンサー

+1

ここで、inserted と nameの組み合わせ毎にグルーピングした上で、@aurl, @burl, @curl(中身は文字列で'http://%/default.html'など部分一致用条件)に類似せずtag=0を満たす最小のidを取得します。

まず、目的の id を抽出してから、url を変換すれば、UNION を使う必要はないのでは?

そうして得られたurlについて?, #以降を割愛した状態で一覧を得たいと思っています。 

url変換も式を工夫すればシンプルにできます。
url に 検索文字をあえて付加しておくことで、ifによる場合分けを不要にしてます。

SELECT 
  left(url, instr(concat(left(url, instr(concat(url, '?'), '?')-1) ,'#'), '#')-1) url
FROM master
WHERE
  id in (
    SELECT
      min(id)
    FROM
      master
    WHERE
      url not like @aurl
      and url not like @burl
      and url not like @curl
      and tag = 0
    GROUP BY
      inserted, name
);

追記
CASE式を使ったほうが読みやすいかも。

SELECT 
 CASE
   WHEN url like '%#%' THEN left(url, instr(url, '#')-1)
   WHEN url like '%?%' THEN left(url, instr(url, '?')-1)
   ELSE  url END url
FROM master
 以下略

前者と後者では若干結果が異なります。
前者は # と ? が両方含まれている場合、先の出てきたもの以降を切り捨てます。
後者は、# のほうを優先してそれ以降を切り捨てますので ? が残る場合があります。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/09/21 17:13

    なるほど。いらない文字を結合して例外を回避する方法ですね。
    こちらの書き方で一定の簡潔な書き方が出来て、UNIONも不要となり処理が5秒弱に短縮されました。
    ありがとうございました。

    キャンセル

+1

URLの#や?より前の部分を正規化して別テーブルに保存し
idとしてintで管理すれば相当効率良くなると思います

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2016/09/21 14:36

    コメントありがとうございます。元のデータがスマフォアプリのログとして上がってくる構造になっています。
    どんなURLが含まれているか受けるまで想定できず、受けたらそのまま挿入するという仕組みが確立しており、その部分のPHPなりを修正することが出来ません。

    キャンセル

  • 2016/09/21 14:49

    もちろん投入されてからでも定期処理を活用すれば正規化は可能です
    ただしもしテーブル構造を変えられないのであればどうしようもないですが・・・

    逆に正規化しないでifなどで場合分けをした場合
    パフォーマンスは期待できません

    キャンセル

  • 2016/09/21 14:53

    もしくはトリガーを利用して、データ投入時に、もとテーブルの主キーと
    URLの組み合わせを外部テーブルに自動的に記録していく手もあります。
    (トリガーの使用が許されていればですが)

    キャンセル

  • 2016/09/21 16:52

    なるほど。トリガーを使うことは出来そうですね。phpMyAdminレベルの使用は可能なので恐らく出来ると思います。事前処理を行うことで集計時間の負荷を分散するということは常に考えた方が良いですね。

    キャンセル

同じタグがついた質問を見る

  • MySQL

    7110questions

    MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

  • SQL

    3075questions

    SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。