PHPとMecabで大量解析する方法

Question

下記の方法でPHPを通してMECABにデータを投げて、形態素解析しています。

https://teratail.com/questions/1435

しかしながら、投げるデータが１０万文字とか大きくなると、値が帰ってきません。

どうやらこの方法ですと、４０００文字までが限界の様です。

文字数に制限されない形で解析するにはどうすればよいのでしょうか？

◯Windows
◯PHP ver.5.x
◯文字数：１２万文字（改行無しのいち列データ）

よろしくお願いします。

Answer 1

実際に使っていないので、的外れかも知れません。

どこかのバッファが詰まっている可能性がありそうです。

mecabの入力バッファはデフォルトで8192バイトのようなので、
文字コードが分からないとなんとも言えませんが、
1文字が2バイトの計算で、4000文字というのは
mecabの入力バッファ溢れと考えても、大まかには計算が合います。

mecabの-bオプションでバッファサイズを投げるデータのバイト数以上に
してやると、改善する可能性があると思います。