WEBスクレイピング：正規表現にはどの言語？

Question

webスクレイピングの技術を高度に習得したく正規表現を猛勉強中です。

質問；正規表現の力を最高に引き出せる言語はどの言語でしょうか？
perlがそれだと考えていますが、皆さまの意見を聞かせてください。

言語の趨勢やモジュールの豊富さ等判断する観点はいろいろだと思いますが。
何卒よろしくお願いいたします。

Answer 1

正規表現と言っても、いくつかの種類に分かれます。

• POSIX

伝統的な正規表現。AWKなどはこれ。古い。マルチバイト文字全く考慮されていない。
C++(STL<regex>), PHP(ereg_* [PHP7.0から削除]), AWK

• PCRE(Perl互換)

Perlで採用されたPOSIXを拡張した正規表現。独立したライブラリPCREとして使用可能。UTF-8以外のマルチバイト文字を使う事は想定されていないし、UTF-8の場合でも1文字を1文字として認識してくれない。
C/C++(PCRE), Perl(バイト文字列の場合), PHP(preg_*)

• PCRE相当(Unicode文字列として処理)

元々のPCREそのものではないが、だいたい同レベルの正規表現。言語そのものがUincodeで処理しているため、マルチバイト文字対応とかは関係無い。
Java, Python3, JavaScript, C#, C++(STL<regex>でECMAScriptを選択), Perl(デコード済みのテキスト文字列の場合), Perl6?

• 鬼車(および鬼雲)

Rubyで採用されたPCREを拡張した正規表現。マルチバイト文字対応で、日本語の文字も1文字は1文字として認識できる。Shift_JISの文字列をエンコードせずにそのまま解釈したい場合は、これ以外はたぶんないと思う。
C/C++(Oniguruma, Onigumo), Ruby, PHP(mb_ereg_*)

POSIXとPCREと鬼車でのマルチバイト文字に対する処理の違いは、PHPでのそれぞれの関数での違いを見ると良いでしょう。(PHP7.0以降はeregが削除されていますので、PHP5.6などで確認してください)

<?php
echo "「a」の場合\n";
$a = "a";
var_dump(ereg('^.$', $a));
var_dump(preg_match('/^.$/', $a));
var_dump(mb_ereg_match('^.$', $a));
echo "「あ」の場合\n";
$a = "あ";
var_dump(ereg('^.$', $a));
var_dump(preg_match('/^.$/', $a));
var_dump(mb_ereg_match('^.$', $a));

出力結果

「a」の場合
int(1)
int(1)
bool(true)
「あ」の場合
bool(false)
int(0)
bool(true)

日本語を扱う場合、JavaやPython3等の場合は、そもそもUnicode(内部的にはUTF-16の場合もある)として処理してしまうので、正しく処理できます(ただし、U+10000以上でサロゲートペアになっている場合はうまくいかないかもしれない)。しかし、Unicodeではなく、文字コードそのままで処理したいというのであれば、RubyやPHP(mb_erge_)を使う必要があるでしょう。Perl(6より前かつテキスト文字列にデコードしない場合)やPHP(preg_)は日本語の処理に難点があるので、避けた方が良いと思われます。

なお、Javaの正規表現はとても書きづらいためお勧めしません。参考: 正規表現リテラルは本当に必要なのか？

Comments

[YsMana]

> UTF-8の場合でも1文字を1文字として認識してくれない。
とありますが、少なくともPerlは1文字を1文字として認識しているように思います。
私の文章の意図の取り違えでしょうか。

use strict;
use utf8;
my $x = "あいうえお";
if( $x =~ m/^(.)/ ){
print "$1\n"; #==> あ
}

[raccy]

> YsManaさん
`use utf8;`を使った場合、文字列リテラル(UTF-8であることが前提)を内部的にはUnicode文字列に変換して扱っていますので、動作的にはJavaやPython3と同じになると思われます。UTF-8な文字列(バイト列)に対して直接正規表現の処理を行うときは、1文字を1文字として扱えないと言うことです。

[YsMana]

確かに（UTF-8の）バイト列に対しては1文字を1文字として扱えませんね。
ただ、Perlでバイト列に対して正規表現や文字列関数を使うのは基本的にやってはいけないことだと思います。
(文字列として扱うのは必ずdecodeしてからにするべき。)

やってはいけないことをやって日本語処理に難点があるというのは語弊があるかなと。

[raccy]

「デコードしない場合」と追記しておきました。

[退会済みユーザー]

＞YsManaさん
(文字列として扱うのは必ずdecodeしてからにするべき。)とありますがなぜですか？

[YsMana]

> (文字列として扱うのは必ずdecodeしてからにするべき。)とありますがなぜですか？
そうしないと文字列としてではなくバイト列として扱われてしまうからです。

・追記
参考になりそうなページをいくつか上げておきますね。
Perlによる日本語コード変換のメモ（第二版）
http://hikoboshi.org/perl/utf8.html
Perl: 文字コードとutf8フラグについて - @bayashi Wiki
https://bayashi.net/wiki/perl/unicode
Perl の内部形式に関する考察
http://www.vividcode.info/perl/internalformat.xhtml

Answer 2

ご質問の意図からは少し外れますが、
スクレイピングの手段としての正規表現ですよね？

でしたら、（ホスト）言語間の多少の差を気にするより、
「XPath」（とDOM）も習得した方がオススメです。

手段が複数あるとやりやすい方でやれるから、
結果的にコードが簡明になることが多いです。

もう少し言うと、正規表現は単純なときは手軽ですが、
複雑になったときに読み書きが苦しいですよね。

XPathやDOMは、階層構造を持っているので、
冗長ですが複雑なときに順を追って読み書きしやすいです。

そもそも、XPathも言語なので、正規表現の実装の違いだけで、
言語ひとつ分を埋めるほどの差を付けるのは難しいです。
ですから、正規表現とXPathを使い分ける方が強力だと思います。

Comments

[退会済みユーザー]

ありがとうございます。恥ずかしながらXPathを初めて知りました。ありがとうございます！

Answer 3

Webページのスクレイピングでは、よほど簡単なページで無い限りは、正規表現で無くHTMLパーサーを使います。そのあたりご存じでなければ、下記の本などが参考になります。
「Rubyによるクローラー開発技法」

正規表現のPerl拡張は多くの言語で取り入れられているので、Perl拡張の正規表現を使える言語であれば、どれでも同じです。Perl Ruby PHPなど。

スクレイピングをするのであれば、上記の良書があることも有り、Rubyがお勧めです。

Comments

[退会済みユーザー]

他の言語でPerlと同じ正規表現が使えるということですね！参考になります！

Answer 4

正規表現が使える関数があれば基本的にどの言語でも同じなのでは？

Comments

[退会済みユーザー]

関数というのは拡張モジュールのことですか？

[CodeLab]

拡張モジュールというのをどういう意味で使っていらっしゃるのかわかりませんが、多くの言語で正規表現を扱うための何らかの仕組みが入っていると思いますし、無くても外部のライブラリで実現できるものがほとんどだと思います。

ただ、WebスクレイピングでHTMLをパースするのに正規表現を使うのは非常に面倒ですのでやめておいたほうが無難です。
HTMLやXMLを分解するためのパーサーライブラリが各言語でいろいろあるはずなので、そういったものを利用すべきです。

Answer 5

jQueryで有名なセレクタを使う手もあるかもしれません。
Javaの場合、JsoupというOSSライブラリでjQuery風のセレクタが使えます。
他の言語でもセレクタでスクレイピングできるのかもしれませんね。

Comments

[退会済みユーザー]

わかりました。ありがとうございます！

Answer 6

正規表現といえばPerlでしょうけど、PHPもPCREすなわちPerlのコンパチで動くので
同等の能力は期待できるかもしれません。

Comments

[退会済みユーザー]

そうですね。現在はpcreを拡張した鬼車(鬼雲)が一番優秀なようですね。ありがとうございます。