linuxのtabの一括削除

Question

前提・実現したいこと

windows上でエクセルをUnicodeでテキストデータとして保存し、
VirtualBoxで仮想マシンにファイル共有ををしました。OSはCentOSです。
現在ファイルにはtabによる空白がたくさんあり、一括削除をしたいです。

発生している問題・試したこと

＃ tr -d ' ' < test1-4.txt > test1-4
を行うと、何も変換されなかった。

＃ tr -d \t < test1-4.txt > test1-4
を行うと、何も変換されなかった.

＃ tr -d '\t' < test1-4.txt > test1-4
を行うとtabが文字化けを起こしただけだった。

補足情報（FW/ツールのバージョンなど）

windows10
CentOS Linux release 7.5.1804 (Core)

追記(文字化けについて)

   1       1       5       1               11B                                                                                                                                                                                                                                                 

2 0 2 1 2 1 215
3 0 3 1 6 1 31D
4 0 4 1 1 1 413
5 0 5 1 3 1 517

というものが

0㄀^@1㔀^@1^@11B^@^@^@^@^@^@^@^@^@^@^@^@^@^@ഀ਀　^@2㄀^@2㄀^@㈀㄀㔀^@^@^@^@^@^@^@@
^@^@^@^@^@^@^@^@
2 0㌀^@1㘀^@1^@31D^@^@^@^@^@^@^@^@^@^@^@^@^@^@ഀ਀　^@4㄀^@1㄀^@㐀㄀㌀^@^@^@^@^@^@^^
@^@^@^@^@^@^@^@^@
3 0㔀^@1㌀^@1^@517^@^@^@^@^@^@^@^@^@^@^@^@^@^@ഀ਀　^@6㄀^@4㄀^@㘀㄀㤀^@^@^@^@^@^@^^
@^@^@^@^@^@^@^@^@
4 0㜀^@1㈀^@1^@715^@^@^@^@^@^@^@^@^@^@^@^@^@^@ഀ਀　^@8㄀^@5㄀^@㠀㄀䈀^@^@^@^@^@^@^^
@^@^@^@^@^@^@^@^@
5 0㤀^@1㜀^@1^@91F^@^@^@^@^@^@^@^@^@^@^@^@^@^@ഀ਀　^@10㄀^@6㄀^@䄀㄀䐀^@^@^@^@^@^@@
^@^@^@^@^@^@^@^@^@
6 0㄀㄀^@1㌀^@1^@B17^@^@^@^@^@^@^@^@^@^@^@^@^@^@ഀ਀　^@12㄀^@5㄀^@䌀㄀䈀^@^@^@^@^@^@@
^@^@^@^@^@^@^@^@^@

という状態になります

hexdump -c test1-4で

0000000 377 376 0 \0 \0 1 \0 \0 1 \0 \0 5 \0 \0 1 \0
0000010 \0 \0 1 \0 1 \0 B \0 \0 \0 \0 \0 \0 \0 \0 \0
0000020 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0
0000030 \0 \0 \0 \0 \0 \r \0 \n \0 0 \0 \0 2 \0 \0 1
0000040 \0 \0 2 \0 \0 1 \0 \0 \0 2 \0 1 \0 5 \0 \0
0000050 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0

od -tx1 test1-4で

0000000 ff fe 30 00 00 31 00 00 31 00 00 35 00 00 31 00
0000020 00 00 31 00 31 00 42 00 00 00 00 00 00 00 00 00
0000040 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
0000060 00 00 00 00 00 0d 00 0a 00 30 00 00 32 00 00 31
0000100 00 00 32 00 00 31 00 00 00 32 00 31 00 35 00 00
0000120 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
0000140 00 00 00 00 00 00 00 00 00 00 00 00 0d 00 0a 00
0000160 30 00 00 33 00 00 31 00 00 36 00 00 31 00 00 00

となりました。(冒頭から一部抜粋しています)

Answer 1

Windowsで、「Unicode」というとUTF-16というエンコーディングを意味しますが、それでしょうか？
それであれば、Linuxの一般的な文字列処理コマンドでは処理できません。
一旦UTF-8に変換して処理します。

iconv -f utf-16 -t utf-8 test1-4.txt | tr -d '\t' | iconv -f utf-8 -t utf-16 > test1-4

上記例では、タブ削除後にUTF-16に戻しましたが、Linux上ではずっとUTF-8で処理して本当に必要な段階でUTF-16にするのが良いです。

Comments

[退会済みユーザー]

恥ずかしながら、excelの「名前を付けて保存」でUnicodeテキストで保存した状態で、UTF-16なのかは考えておりませんでした。
この方法でtabは削除されました！ありがとうございます。

Answer 2

sed -e "s/\t//g" < test1-4.txt > test1-4

これで削れません？

Comments

[退会済みユーザー]

回答していただきありがとうございます。
試してみると文字化けを起こした状態になってしまいました。

Answer 3

Ctrl-v [TAB] を入力するとタブ文字そのものがコンソールで入力できますので、 tr -d "[TAB文字]" を試してみてください。

Comments

[退会済みユーザー]

回答して頂きありがとうございます。
Ctrl + v + tab でタブが入力されることは初めて知りました。

[退会済みユーザー]

しかしながら、
tabが文字化けを起こしただけになってしまいました。
また''を外してみると、オペラントが存在しないとなってしまいました。

[mather]

具体的にはどんな文字化けになったのですか？
hexdump -C や od -tx1 などで文字コード表示をしてみるとよく分かるのではないかと思います。

[退会済みユーザー]

ありがとうございます。
とりあえず質問欄を更新いたしました。

hexdempやodについては後で調べさせていただきます！