pythonの正規表現のパターンに変数を割り当てる場合について

Question

###Pythonの正規表現においてパターンを利用した検索（match）の際に変数の利用
引数として検索したい文字列、検索対象のリストを受取り、リストのなかで先頭の文字が検索したい文字列
にマッチした要素のみを戻り値として返す関数があったとします。（今回大文字小文字を区別しません）

import re

def autocomplete(input, dictionary):
    ans_arr=[]
    pattern = input・・・①

    for input in dictionary:
        if  re.match(pattern,input,re.IGNORECASE) != None:
           ans_arr.append(input)
        
    return ans_arr

###質問内容

あまり他のサイトで見かけないのですが、patternをある変数として代入するソースの①の部分は
一般的に良い方法なのでしょうか。
また仮にこのような方法でpatternを指定出来た場合、パターンの先頭にｒをつける raw文字列を用いてエスケープシーケンスを無効にするのはどのようにコードを掛けばよいのでしょうか。

どなたか知識のある方、回答の方よろしくお願いします。

Answer 1

（回答への質問への回答が長くなったので、回答欄に書きます）

何度も質問すみません。
まずpattern = r\t はraw文字列となり、'%r'ではrepr()での結果が帰ってくるということで宜しかったでしょうか。
そして結論としては、変数で正規表現のパターンを受け取った場合、その変数に格納されている文字列をraw文字列に変換する方法は無いということでしょうか。

repr() はそのとおりです。
「文字列をraw文字列に変換する」ということ自体がありえないのです。

正規表現に使えるメタ文字は http://docs.python.jp/3/library/re.html に掲載されていますが、よく使うのは\sでしょう。さらに、\n, \t などの文字リテラルにおけるエスケープ文字も使用できます。ここで、以下の正規表現パターンを定義したとします。

>>> a = 'abc\ndef\sghi'

これをrepr(a)すると以下のようになります。

>>> print(repr(a))
'abc\ndef\\sghi'

\n と \s で扱いが違っているのが分かります。これはaに代入する前の段階、文字列リテラルをPythonが解釈した時点で"\n" (2文字分)を1文字文の改行コードに変換し、"\s" はそのまま2文字文の文字列として解釈しているためです。"\s"というエスケープ文字はPythonにはないため、sの前のバックスラッシュをそのまま文字として認識したためです。では、raw文字列だとどうなるか。

>>> b = r'abc\ndef\sghi'
>>> print(repr(b))
'abc\\ndef\\sghi'

bに代入する前の文字列の解釈を行うときに、バックスラッシュをバックスラッシュとして解釈するのがraw文字列です。そのため、reprで見ると\nと\sでバックスラッシュの扱いが一緒です。

このように、通常の文字列として解釈するか、raw文字列として解釈するかで、データが異なっています。そしてrawだったかどうかの情報は変数に（文字列データに）保持されていません。 r'' というのはソースコードの読み取り方の指示であって、「raw文字列」というデータフォーマットではありません。なので、raw文字列に変換、という考え方はできません。

もし、raw文字列とするべき文字列を通常の文字列リテラルで書いてしまっているのであれば、ソースコードを修正するべきです。それが出来なくて、どうしてもバックスラッシュの扱いを変更したいのだとしたら、str.replace等を使って、そのような標準エスケープ文字を1つずつ変換するしかありません。しかし、今回のコードでは、input変数に「正しく書かれた正規表現パターン」が渡されてきても変換してしまうので、この方法は使えないでしょう。

結論として、この関数に「正しい正規表現パターンを渡す」以外の方法はありません。

Answer 2

横から失礼します。

Python 以外のプログラミング言語のユーザーには割と知られている話なのですが、一般的な Python ユーザーは、正規表現の利用を可能な限り避けようとする－－これはかなり控えめな言い方です－－傾向があります。

そのため、Python ユーザーに正規表現を使ったコードについて直接質問しても最初から re.escape() を教えてくれる可能性はかなり低いと思われます。

もしどうしても Python の正規表現について質問なさりたいのでしたら、まずはできる限り他の言語のユーザー、例えば Perl ユーザーの回答者に Perl で正規表現を使って同様の処理を実現するコードをどう書けば良いのかを質問してみてください。

それから、Python ユーザーに他の言語のユーザーに回答して貰ったコードを提示して、

このコードと同様の処理を Python で書くにはどうすれば良いのでしょうか？

と質問してみるのです。すると一般的な Python ユーザーは嬉々として、

最も偉大にして崇高なる Python は正規表現のような愚昧な機能を使って読みに堪えないコードを書かずとも、素晴らしきリスト内包表記を使って、

def autocomplete(text, keywords):
    upper_cased_text = text.upper()
    return [keyword for keyword in keywords
            if keyword.upper().startswith(upper_cased_text)]

のように簡潔に記述することができるのである。

のような内容を得意気に回答してくれた後に、このような処理に正規表現を使うと関数を呼び出す度に正規表現パターンのコンパイルが行われるので効率が良くないことを延々と説明してくれるはずです。

ぜひお試しください。

Answer 3

patternをある変数として代入するソースの①の部分は 一般的に良い方法なのでしょうか。

正規表現を誰でも入力できる場合、脆弱性をつかれる可能性があります。
信頼できるならいいんじゃないでしょうか。

また仮にこのような方法でpatternを指定出来た場合、パターンの先頭にｒをつける raw文字列を用いてエスケープシーケンスを無効にするのはどのようにコードを掛けばよいのでしょうか

できません。
r'' は文字リテラルの解釈方法の指示なので、Pythonが.pyを読み込んだ時点でデータが確定します。

Comments

[kon_ta]

回答有難うございます。
他の回答者様のコメントより、pattern='%r'%input　とした場合、変数の中身を確認してみたところ
raw文字列っぽくなっていると感じたのですが、正規表現のmatchに引っかかりませんでした。
これは今回回答で頂いたように、Pythonを読み込んだ時点でデータが確定しまうためうまくいかないという解釈で宜しかったでしょうか。

[shimizukawa]

違います。
`'%r' % input` で書いている `'%r'` はrepresentationの略であって、rawではありません。representationは、データを人間が見やすいように表示してやろう、というくらいの意味です。
representationは、「たまたま」raw文字列と同じように見える「こともある」くらいのものです。

[kon_ta]

何度も質問すみません。
まずpattern = r\t はraw文字列となり、'%r'ではrepr()での結果が帰ってくるということで宜しかったでしょうか。
そして結論としては、変数で正規表現のパターンを受け取った場合、その変数に格納されている文字列をraw文字列に変換する方法は無いということでしょうか。

[shimizukawa]

（回答欄に書きます）

Answer 4

matchに渡すpatternを変数にするのは問題ないと思います。
raw文字列もそのまま変数に渡してしまっても問題ないですが、挙動に関しては下記のサイトが参考になるかもしれません。

http://d.hatena.ne.jp/pyxis-dev/20080229/1204290507

本筋とは外れてしまいますが、引数にinputという名前を指定していますが、これはPythonの予約語なので避けたほうがよいでしょう。

Comments

[kon_ta]

回答有難うございます。
raw文字列をそのまま引数に渡す、という手法ではなく、引数として渡された変数に格納された文字列を
関数側でraw文字列にするのは難しいでしょうか？

[driller]

spamという変数があったとして、このような書き方があるようです

spam = '\t'
raw_spam = '%r'%spam

[shimizukawa]

だめです。%rはそのような使い方のために用意されていません。

>>> raw_spam
"'\\t'"
>>> raw_spam == r'\t'
False

[driller]

なるほど、同じように見えても別物なんですね

[shimizukawa]

文字列リテラルのrepresentationとして、シングルクォートも含まれてるんですよ。

>>> len('\t')
1
>>> len(r'\t')
2
>>> len(repr('\t'))
4