pasteでディレクトリ内の全てのtxtファイルを結合

Question

ディレクトリ内に1300個のtxtファイルが入っています。
全てのtxtファイルを列方向につなげて一つのtxtファイルにしたいです。
pasteを使えば複数のファイルを列方向に結合できますが、1300個を一括で結合できる方法はありますか？

Answer 1

paste *.txtでいいのでは？
ファイルの順番はファイル名を辞書順でソートした順になります。

1.txt 2.txt 10.txtのようなネーミングなら、
paste ?.txt ??.txt ???.txt ????.txt
とか、
paste $(ls -v) （数字順ソート）
とか。

「こういうファイル名体系で、こういう順で連結したい」というのが上記以外なら、補足して下さい。

#追記
同時ファイル数オープンの上限の回避で、1回1000を上限にpasteする。

rm -f *.wk
ls -1 *.txt | xargs -n 1000 sh -c 'paste > $$.wk $*' sh
paste *.wk > output
rm *.wk

Comments

[iziz]

ありがとうございます。順番はなんでも大丈夫です。
頂いたコマンドで確かにいけそうなんですが、too many open filesというエラーで1000個めくらいで終わってしまいます。多すぎる場合はどうすれば良いのでしょうか？

[otn]

ああ、失礼しました。openファイル数は1024上限だと思います。
なるほど。
では、KojiDoiさんの回答のように分割して行う必要がありますね。

[iziz]

なるほど、でも1024未満ならこの方法でサクッとできるわけですね。勉強になりました！またよろしくお願いいたします。

[otn]

標準入力、出力、エラー出力があるので、入力は1021になるはずです。

[iziz]

paste: sample_1021.txt: Too many open files
と表示されてるので、おっしゃる通りでした。
補足もありがとうございます。Linux初心者なので色々お聞きしたいのですが、ls -vというコマンドはどういう指示になるのでしょうか？

[otn]

1 ～ 20 の数字のファイルがあるとして、ls だと 1 10 11 ～ 18 19 2 20 3 4 5 6 7 8 9 の順になります。辞書順です（あ、ああ、あい、～～、あん、い、いあ、～～～）。
ls -v だと数字の順になります。v は version の v 。ファイル名にバージョン番号が付いていることはよくあるので。

[iziz]

ありがとうございます。
paste $(ls -v)は、ディレクトリにある全てのファイルに対して実行されるのでしょうか？
どこにもtxtとか指定していないということは、そういうことなのかと思い。

[otn]

ああ、そうですね。書き漏れです。ls -v *.txt

Answer 2

方法はありますか？

bashのforループを使えばできます。ちゃんとテストしていませんが、たぶん次のような感じで。

filelist=(`ls -v`)
cp ${filelist[0]} out.txt
for a in ${filelist[@]:1}; do
  paste out.txt $a > out0.txt
  mv out0.txt out.txt
done

Comments

[iziz]

ありがとうございます。
bashでfor文使ったことないので、各行の意味を教えて頂けないでしょうか？
何となくは分かるのですが。
あと、これはbash上に直接入力するコマンドでしょうか？スクリプトではなくて。

[KojiDoi]

コマンドラインで入力できないことはないですが、まあ普通はスクリプトファイルにしますね。
filelistはbashの「配列」です。詳しいことはマニュアルを見てください。

[iziz]

filelistにtxtファイル全部を配列として与えて、一つ目のファイルfililist[0]をout.txtとして出力して、for文使って二つ目以降のファイルを'a'として取り出して、pasteでout.txtと結合して、out0.txtで保存。次にout.txtの中身をout0.txtで上書きする。これを最後のファイルまで繰り返して、最終的に全ファイルが結合したファイルにするという感じの動作ですか？

[iziz]

ファイル名を連番に変えて、pythonでこういうコード書いてもうまくいきそうなんですが、原理はたぶん同じですよね？

import pandas as pd

df_base = pd.read_table('sample_001.txt',header=None,index_col=0)
for n in range (2,1358):
　df = pd.read_table(f'sample_{n:03}.txt', index_col=0,header=None)
　df_joined = pd.concat([df_base,df],axis=1)
　df_base = df_joined
df_base.to_csv('all_FPKMs_merged.txt',sep='\t')

[KojiDoi]

そのとおりです。
ファイル数が少ないなら、otnさんが最初に示したような方法でもいいですが、ファイルのオープン数上限があるし、スクリプトファイルではなくコマンドラインでの操作となると、今度はコマンドラインの文字数の上限に引っかかる可能性を懸念しなくてはなりません。

[iziz]

良くわかりました、勉強になりました、ありがとうございます！
余談ですが、KojiさんもBiologyをやられてるんですね。
僕も今Bioiformaticsを勉強していて、今はTCGAのRNA seqのデータをDLして、そのデータを整理している状況です。これからPCAとかtSNEとかやってみようと思っています。
また色々教えて下さい。