wikiextractorを実行しようとするとエラーが起きる

Question

前提

環境：python 3.11
wikiextractorを使いたい

実現したいこと

wikiextractorでwikiの全文データを加工し、jsonデータとして抽出したいのですが、それ以前の問題でwikiextractorを実行しようとするとエラーが起きてしまいます。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "<frozen runpy>", line 198, in _run_module_as_main
  File "<frozen runpy>", line 88, in _run_code
  File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/site-packages/wikiextractor/WikiExtractor.py", line 66, in <module>
(中略)
  File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/re/_parser.py", line 841, in _parse
    raise source.error('global flags not at the start '
re.error: global flags not at the start of the expression at position 4

該当のソースコード

python3 -m wikiextractor.WikiExtractor jawiki-latest-pages-articles.xml.bz2

試したこと

色々なサイトに載っている方法を一通り試しましたが、エラーが解決しませんでした。
wikiの全文データ(wikiextractor.WikiExtractor jawiki-latest-pages-articles.xml.bz2)はダウンロード完了
そして、wikiextractorのダウンロードもpip install wikiextractorと、githubからダウンロードするやり方２通り試し、完了しています。

Comments

[quickquip]

肝心の部分が省略されています。エラーになっているWikiExtracorの箇所は読まなかったのですか?

[piyokomaru]

確認してみたところ、以下のようなコードになっていました。
これはimportする際にエラーが起きているということなのでしょうか？
File "/Library/Frameworks/Python.framework/Versions/3.11/lib/python3.11/site-packages/wikiextractor/WikiExtractor.py", line 66, in <module>
from .extract import Extractor, ignoreTag, define_template, acceptedNamespaces

Answer 1

外部ライブラリでエラーがでた時に自分で調査をできない人は、まだPython3.11を使う必要はありません。
3.10系にしましょう。それで回避できます。
（3.11だとimportするだけでエラーになりますが、3.10では大丈夫です）

---

https://github.com/attardi/wikiextractor/blob/v3.0.6/wikiextractor/extract.py#L378

ExtLinkBracketedRegex = re.compile(
    '\[(((?i)' + '|'.join(wgUrlProtocols) + ')' + EXT_LINK_URL_CLASS + r'+)\s*([^\]\x00-\x08\x0a-\x1F]*?)\]',
    re.S | re.U)

https://docs.python.org/ja/3/library/re.html#index-16

バージョン 3.11 で変更: This construction can only be used at the start of the expression.

Comments

[piyokomaru]

3.10に戻して実行してみたところ、できました！丸一日かけても自分では解決できなかったので....本当に感謝です！ありがとうございます！！！！