7GBのテキストファイル、中身を確認したいができない……

Question

WikipediaのInfoboxのデータを見たいと思い、下記のブログにしたがってコードを動かしました。
https://tech-blog.link-u.co.jp/2018/11/29/wikipedia-dump-scraping/
ただし、11行目の検索ワードを「Single」にしています。

INFOBOX_SEARCH_WORD = 'Infobox Single'

その結果、ローカルに約7GBの.jsonファイルが生成されました。

ファイルの中身は、

json.dump(dict_array, jf, ensure_ascii=False)

から、jsonをテキストにしたファイルが生成されていると理解しています。

中を確認したいと思い、

head /Users/hacosato/wiki_infobox_Infobox_Single.json

をやってみたところ、

head: Error reading /Users/hacosato/wiki_infobox_Infobox_Single.json

となりました。うまく書き出されていないのでしょうか。

そこで、

fin =open('/Users/hacosato/test.json', 'rt')
print(fin.readline())
fin.close()

をやってみましたが、重いのかこんどは動きませんでした…。

ほかに中を確認する方法はありますか？

GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin18)
Python 3.6.5

Comments

[takasima20]

head で文字数指定したら?

[quickquip]

回答に直結しないのですが、メモリの使用量は見てないですか? 実メモリは16GBぐらいあるのでしょうか? 8GBしか積んでいないということでしょうか?

[otn]

file /Users/hacosato/wiki_infobox_Infobox_Single.json
の結果はどうなりますか？

[hacosato]

> head で文字数指定したら?
-cをつけたらできました！ ありがとうございます！

> 実メモリは16GBぐらいあるのでしょうか?
32GBもありました！ ありがたい！

> file /Users/hacosato/wiki_infobox_Infobox_Single.json
/Users/hacosato/wiki_infobox_Infobox_Single.json: UTF-8 Unicode text, with very long lines, with no line terminators
こんなこと教えてくれるコマンドがあるんですね！ ありがとうございました！

[otn]

> with very long lines, with no line terminators
やはり、1行が膨大だからのようですね。

Answer 1

長い行を折り返す（改行を挿入する）コマンドがあります。

fold -w 80 ファイル名
→ 80カラムで折り返す

fold -s -w 80 ファイル名
→ 80カラムを越えない空白位置で折り返す

ただ、1行が7GBだともしかすると駄目かもしれないので、その場合は、

dd cbs=80 conv=unblock < ファイル名

で。ただしddだと文字単位じゃなくてバイト単位で切るので、日本語のような複数バイト文字があると文字の途中に改行文字が挿入されますので読めない文字になります。また、折り返し後に行末のスペースが削除されます。

Answer 2

jsonファイルを作成したときに、何らかの理由でファイルが壊れたかもしれません。macOSの「ディスクユーティリティ」でファイルシステムに破損がないか確認し、必要であれば修復して再度試してみてください。

（より可能性が高い原因として）jsonファイルに改行コードが無い場合があります。jsonファイル中で適当に改行コードが無いと、１行ごとにデータを取り出せるようなバッファリング付きの読み出し方ではいつまで経っても終わらない可能性があります。指定バイト読み出すddコマンドが利用できますので、これで試してみてください。

# ファイル先頭からブロックサイズ100バイトで1カウント、つまり100バイト読み出す。
$ dd bs=100 count=1 if=/Users/hacosato/wiki_infobox_Infobox_Single.json

Comments

[hacosato]

ddコマンドでうまくできました！
どうやらおっしゃる通り、jsonファイルに改行がなかったようです。
考えてみたらJSON Linesじゃないんだしそりゃそうだよな……。

Answer 3

MacOSならUnix系OSなので
split
というファイルを分割するコマンドがありますが、使えませんか？

【 split 】コマンド――ファイルを分割する
https://www.atmarkit.co.jp/ait/articles/1711/24/news016.html

（注意）MacOSのsplitは、Linuxのとは微妙にオプションが違います。

Comments

[hacosato]

こんなコマンドが！
やってみたらできました〜。
いきなり等分にすると10000ファイルとかになって怖かったので、100分割してからそのうち1つをさらに100分割しました。

ありがとうございます！