Sudachiで量が多いテキストデータを係り受け解析したい

Question

実現したいこと

Sudachiで係り受け解析をしたいです。

発生している問題・分からないこと

Exception: Tokenization error: Input is too long, it can't be more than 49149 bytes, was 123481
を解決できません。

該当のソースコード

import spacy

nlp = spacy.load('ja_ginza')

with open('pdf_j.txt','r',encoding='utf-8') as f:
    text=f.read().strip()

doc=nlp(text)
for sent in doc.sents:
    for token in sent:
        print(
            token.i,
            token.lemma_,
            token.tag_,
            token.dep_,
            token.head.i,
            token.head.text,
            token.rank
        )
print('EOS')

import spacy

nlp = spacy.load('ja_ginza')

with open('pdf_j.txt','r',encoding='utf-8') as f:
    text = f.read().strip()

max_len = 4000
segments = []
for i in range(0, len(text), max_len):
    segment = text[i:i + max_len]
    segments.append(segment)

docs = []
for segment in segments:
    doc = nlp(segment)
    docs.append(doc)

combined_doc = spacy.tokens.Doc(nlp.vocab)

for sent in combined_doc.sents:
    for token in sent:
        print(
            token.i,
            token.lemma_,
            token.tag_,
            token.dep_,
            token.head.i,
            token.head.text,
            token.rank
        )

print('EOS')

import spacy

nlp=spacy.load('ja_ginza')

with open('pdf_j.txt','r',encoding='utf-8') as f:
    text=f.read().strip()

max_len=4000
uni_seguments=[]

segments=[]
for i in range(0,len(text),max_len):
    segment=text[i:i+max_len]
    segments.append(segment)

for segment in segments:
    doc=nlp(segment)
    uni_seguments.append(doc)

all_doc=spacy.tokens.Doc.from_docs(uni_seguments)


for sent in all_doc.sents:
    for token in sent:
         print(token.i,
              token.lemma_,
              token.tag_,
              token.head.i,
              token.head.text,
              token.dep_
            )
print()

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

始めのコードでは
Exception: Tokenization error: Input is too long, it can't be more than 49149 bytes, was 123481
とエラーが出ました。

次のコードでは
EOS
のみ出力されました。

最後のコードではすべて出力されるのですが、
冒頭にUserWarning: [W102] Skipping unsupported user data 'sub_tokens:
が出力されます。
加えて、どのコードでも
"tokens" はモジュール "spacy" の既知のメンバーではありません
というメッセージが出ます。

補足

環境は
VSCode
Python 3.10.12
spacyのVersion　3.2.0
ginza-5.1.3 ja_ginza-5.1.3
です。
参照したコードは
https://zenn.dev/hyga2c/articles/ginza5_largetext
です。

Answer 1

最後のコードの冒頭に２行追加してUserWarningは出なくなりました。
「"tokens" はモジュール "spacy" の既知のメンバーではありません」というメッセージは変わらずあり、

「reportAttributeAccessIssue [ブール値または文字列、オプション]: 属性アクセスに関連する診断を生成または抑制します。この設定のデフォルト値は です。"error"」
への対処法は不明なままですが、その後の処理で特にエラーが出なかったので、とりあえず今回はこれで良しとすることにしました。

import warnings#追加
warnings.filterwarnings('ignore',category=UserWarning)#追加

import spacy
nlp=spacy.load('ja_ginza')

with open('pdf_j.txt','r',encoding='utf-8') as f:
    text=f.read().strip()

max_len=4000
uni_seguments=[]

segments=[]
for i in range(0,len(text),max_len):
    segment=text[i:i+max_len]
    segments.append(segment)

for segment in segments:
    doc=nlp(segment)
    uni_seguments.append(doc)

all_doc=spacy.tokens.Doc.from_docs(uni_seguments)


for sent in all_doc.sents:
    for token in sent:
         print(token.i,
              token.lemma_,
              token.tag_,
              token.head.i,
              token.head.text,
              token.dep_
            )
        
print()