Pyhtonで datasets ライブラリー取得のエラー

Question

実現したいこと

環境: Ubuntu 24.04 (単独のLinux専用機で、Windowsから立ち上げたものではありません)
言語: Python 3.8

pip install datasets

で

from datasets import load_dataset
ds = load_dataset('globis-university/aozorabunko-clean')

をローカルマシンの Python3.8 で実行したい。

発生している問題・分からないこと

最初、のエラーは、

 load_dataset('globis-university/aozorabunko-clean')

の行で、

ValueError: Invalid pattern: '**' can only be an entire path component

とでましたが、何度もバージョンを変えたり、condaコマンドなども使って datasetsをインストールしなおしていると、

from datasets import load_dataset

の行で、

AttributeError: module 'pyarrow' has no attribute '__version__'

というエラーが出るようになりました。
Google Colaboratory で試してみると問題ありませんでした。
最初のエラーの再現もできません。解決策を教えてください。

該当のソースコード

Ubuntu22.04で

pip install datasets

を実行。
Python 3.8で

from datasets import load_dataset
ds = load_dataset('globis-university/aozorabunko-clean')

を実行。

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

pip install datasets
pip install datasets==2.10.1
pip install -U datasets
conda install datasets
```などです。

### 補足
特になし

Comments

[meg_]

> とでましたが、何度もバージョンを変えたり、condaコマンドなども使って datasetsをインストールしなおしていると、
同一Python環境へのpipとcondaの併用は非推奨ですがそこは問題ないでしょうか？

[8524ba23]

https://teratail.com/help/question-tips#questionTips36
https://teratail.com/help/question-tips
https://github.com/huggingface/datasets/issues/6737
は読みましたか？
読んだ結果を本文に反映ください。解決のヒントを探れるかもしれません。

[teefpc]

conda との併用は、まずかったと思います。

[teefpc]

Python 3.10で同様の処理を行うと動きました。バージョンの違いからかもしれません。
もしPython3.8で動いている方がいらっしゃれば、datasetsのバージョンを教えて下さい。

[melian]

先週、GitHub のリポジトリに同様の issue の報告がありました。

Invalid pattern: '**' can only be an entire path component · Issue #6737 · huggingface/datasets
https://github.com/huggingface/datasets/issues/6737

fsspec パッケージが古いため、最新版にアップデートすることで修正できるとのことです。ただ、Python3.8 で有効なのかどうかは不明です。

pip install -U fsspec

[teefpc]

ありがとうございます。試してみます。

[teefpc]

不思議です。Python 3.8 の環境で、
```Shell Script
pip install datasets
```
```Python3.8
from datasets import load_dataset
ds = load_dataset('globis-university/aozorabunko-clean')
```
を実行できるようになっていました。Hugging Faceのファイルの更新は昨年ですので、こちらの環境の問題であった可能性が高いです。
いろいろご指南してくださり、どうもありがとうございました。

Answer 1

新規作成したPython 3.8 の環境で、

pip install datasets

from datasets import load_dataset
ds = load_dataset('globis-university/aozorabunko-clean')

を実行できるようになっていました。