cutコマンドを用いた文字の抽出

Question

実現したいこと

X.txt (約120MB) からcutコマンドの-c optionを用いて特定の範囲の文字を抽出する。

起きていてる問題

$ cut -c 45307-122131173 X.txt > Y.txt

上記のコマンドを実行したが、headで確認したところ中身は改行のみで文字が抽出されてこない。（Y.txtは約２MBでした。）

$ head Y.txt










$

関係してくるかわからないのですが、X.txtの中身は「N」がしばらく連続し、それに続いてランダムな文字列となっています。上記に記載の抽出したい特定の範囲 45307-122131173 はこの連続した「N」とランダムな文字列にまたがっています。）

$ head X.txt
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN

原因が分かる方いらっしゃいましたら、ご教授のほどよろしくお願いいたします。

Comments

[otn]

cut -b でどうなりますか？

Answer 1

まず、 cut -c が今回の目的に合っていないのではないかと思います。
cut -c は以下のような動作をします。

$ cat a.txt 
apple
orange
grape

$ cat a.txt | cut -c2-4
ppl
ran
rap

例えば、ファイルの10バイト目から5バイト欲しい場合は

$ cat a.txt | tail -c+10 | head -c5
nge
g

のように head と tail を組み合わせるのが良いと思います。

Answer 2

示されているheadの出力結果。改行のみが約２MB延々と続くY.txtが出来たという報告。考え合わせると、入力データは60文字ごとに改行が入ってるんじゃないですか？ そうであればcutのこの位置指定は意味を成しませんね。

tr -d "\n" X.txt | cut -c 45307-122131173 > Y.txt

こんな感じでどうですか。

余りに元ファイルがでかすぎるとメモリ不足とかの問題が出るかもしれません。その場合はちょっと面倒だけど一行読んでは累積読み込み文字数をカウントするなどの処理が必要になるでしょう。

Comments

[anndonut]

45307-122131173という範囲はどういった意味を持ちますか？多分バイトで指定して切り出したいという意図があるのかと思いますけど。もしそうなら改行を@(など)に変換してcutし@を改行に戻すのがいいのかと思います。

Answer 3

Linux Mint上でcutコマンドをいろいろいじめて見ましたがテキストファイルについては堅牢でした。「なので」適当な.mp3ファイルを入力してみたところ、改行だけのファイルができました。X.txtのなかにテキストで解釈できない部分が存在するものと思います。file X.txtと入力してASCII textと表示されない場合はクロです。

Comments

[piko22]

file X.txtを実施したところ、ASCII textと出ました、、。もし他にもアイディアをお持ちでしたら教えてください。