教科書の手順でのテキストファイルが開けません

Question

教科書の中のテキストを読み込むコードなのですが、テキストファイルを教科書内のものではない別のものにすると読み込めなくなりました。
やはりテキストデータの違いによるものなのでしょうか・・・、

from janome.tokenizer import Tokenizer
import os, glob

# Janomeを使って形態素解析を行う
ja_tokenizer = Tokenizer()

#日本語を分かち書き
def ja_tokenize(text):
    res = []
    lines = text.split("\n")
    #lines = lines[2:] # 最初の２行はヘッダー情報なので捨てる
    for line in lines:
        malist = ja_tokenizer.tokenize(line)
        for tok in malist:
            ps = tok.part_of_speech.split(",")[0]
            if not ps in['名詞', '動詞', '形容詞']: continue
            w = tok.base_form
            if w == "*" or w == "":  w = tok.surface
            if w == "" or w == "\n": continue
            res.append(w)
        res.append("\n")
    return res

# テストデータを読み込み
root_dir = './Isojintext'
for path in tqdm(glob.glob(root_dir+"**/*.txt", recursive=True)):
        if path.find("LICENSE") > 0:  continue
        print(path)
        path_wakati = path + ".wakati"
        if os.path.exists(path_wakati): continue
        text = open(path,"r").read()
        words = ja_tokenize(text)
        wt = " ".join(words)
        open(path_wakati, "w", encoding="utf-8").write(wt)

混み込めていたテキスト一例
./newstext

読み込めなかったテキスト一例
./Isojintext

エラー内容

 0%|          | 0/23 [00:00<?, ?it/s]
./Isojintext/eq_0312.txt

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-
88-171f9eae8e3f> in <module>()
      6         path_wakati = path + ".wakati"
      7         if os.path.exists(path_wakati): continue
----> 8         text = open(path,"r").read()
      9         words = ja_tokenize(text)
     10         wt = " ".join(words)

OSError: [Errno 22] Invalid argument

エラー内容２

0%|          | 0/23 [00:00<?, ?it/s]
./isojintext/eq_0312.txt

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-25-15e4194c1e08> in <module>()
      7         if os.path.exists(path_wakati): continue
      8         f = open(path, "r")
----> 9         text = f.read()
     10         words = ja_tokenize(text)
     11         wt = " ".join(words)

OSError: [Errno 22] Invalid argument

Answer 1

tqdm(glob.glob(root_dir+"**/*.txt", recursive=True))をpathに設定していることが原因ではないでしょうか。pathに設定するべきなのは```glob.glob(root_dir+"**/*.txt", recursive=True)

とりあえず、tqdm()を外して```for i in glob.glob(root_dir+"**/*.txt", recursive=True)```
としてみてはいかがでしょうか。

Comments

[James1201]

ありがとうございます。
ご指摘いただいた通りやってみましたが、エラー内容は変わりませんでした・・・。

Answer 2

----> 8 text = open(path,"r").read()
で
OSError: [Errno 22] Invalid argument
なので、問題があるのは恐らくpathです。

とりあえず、macは大文字小文字区別しないので、そこで問題になり得るか・・・？　'./Isojintext'を'./isojintext'にして、ディレクトリ名の方も変更して走らせてみてください。
駄目だったら、

f = open(path,"r")
text = f.read()

二行に分けてどっちが駄目なのか特定しましょう。

Comments

[James1201]

ありがとうございます。
ご指摘の通り修正したところ、エラー内容が上記「エラー内容２」のようになりました。
これは、そもそもファイルが読み込めていないということでしょうか・・・

[hayataka2049]

パスは大丈夫だけど、読もうとすると駄目ですか・・・
ちなみに、どれくらいのファイル容量ですか？

[James1201]

2.93GBです・・・！

[hayataka2049]

これかもしれません・・・！
https://stackoverflow.com/questions/48122798/oserror-errno-22-invalid-argument-when-reading-a-huge-file
https://bugs.python.org/issue24658

[hayataka2049]

え、ということは2.93GB級のがisojintext以下にたくさんあるという理解で良いですか？　それとも複数あるファイルの合計が2.93GB?

[James1201]

親身に考えて下さって有難うございました・・・！
はい、３,４GBクラスのテキストファイルが30個くらいあるという状況です。
訳あって今回のコードは一旦使わないことになったので、BAにして締めさせていただきます・・・！

[James1201]

回答が遅れて申し訳ありません！

[hayataka2049]

あっ、そうですか
一応100文字ずつ読むとか、一行ずつ読むとかで処理できる可能性はあるので、今後必要になったら参考にしてください

[James1201]

有難うございます！m(_ _)m