ターミナルで文字コードを変換して保存

Question

windowsからteratarmを使いlinuxに接続しています。

teratarmでcatコマンドを使いファイルを確認すると下記のように表示されます。

$cat text.txt
\u30ec\u30b6\u30fc

こちらを
$cat text.txt |
python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")'
と入力すると

$cat text.txt |
python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")'
レザー

と表示されます。
文字コードを直した状態で保存したいのですが、

CP  text.txt |
python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")'  text2.txt

としたのですが、コピーされませんでした。
どのようにすれば文字コードを直した状態で複製できますか？

また、できればpythonを使わずに文字コードを変換できると望ましいので、別のやり方があれば教えてください。

よろしくお願いします。

Answer 1

リダイレクトについて学びましょう。

python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")' < text.txt > text2.txt

あと、これは「文字コード変換」ではありません。
decode("unicode-escape")という処理名から分かる通り、「エンコードされた物のデコード」です。

Comments

[kuniatsu]

文字コード変換ではなくエンコードですね。ありがとうございます。勉強になります。

コピーはできたのですがPythonのエラーが出てしまい結局コピーできづじまいになっています。
もしPythonに明るければ引き続きこちらの質問をもご協力頂けると嬉しいです。
https://teratail.com/questions/110521

Answer 2

pythonはわからないですが、保存しないとだめだと思いますよ
`>'が足りてないだけだと思います

cat text.txt |python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")' > test2.txt

Comments

[kuniatsu]

>が必要なのですね。大変勉強になりました。
1番シンプルで分かりやすかったです。

コピーはできたのですがPythonのエラーが出てしまい結局コピーできづじまいになっています。
もしPythonに明るければ引き続きこちらの質問をもご協力頂けると嬉しいです。
https://teratail.com/questions/110521

Answer 3

$ sudo apt install nkf
OR
$ sudo yum install nkf

$ cat text.txt|sed -E 's/\u(....)/\&#x\1;/g'|nkf --numchar-input -w > new.txt

追記
JDKがインストールされているなら、以下でも変換出来ます。尚、JDK 1.9では以下のコマンドは廃止された模様。

$ cat text.txt|$JAVA_HOME/bin/native2ascii -reverse > new.txt

Comments

[otn]

nkfだと、このデコードは出来ないですね。

[nullpon]

訂正しました。

[otn]

nkfのバージョンが古いとデフォルト出力はiso-2022-jpなので、-w が必要ですね。

[nullpon]

追加しました。

[kuniatsu]

私の説明不足で申し訳ありません。自社の環境のルールでnkfが入れられませんでした。

また、コピーはできたのですがPythonのエラーが出てしまい結局コピーできづじまいになっています。
もしPythonに明るければ引き続きこちらの質問をもご協力頂けると嬉しいです。
https://teratail.com/questions/110521

[nullpon]

追記しました。

Answer 4

一般にnkfなのでしょうけど、使用不可ということでperl

cat test.txt|perl -ne 'use strict;use warnings;binmode(STDOUT, ":utf8");s/\u([0-9a-fA-F]{4})/chr(hex($1))/eg;print;'

Answer 5

できればpythonを使わずに文字コードを変換できると望ましいので、別のやり方があれば教えてください。

こちらについて提案します。Pythonを使いたくない理由が「なんども実行するので、短いコマンドで済ませたい」ということなのでしたら、「何度も実行しそうなスクリプトはとっておけばよい」のではないでしょうか？

#
# 質問にあるpython -c ...の中身をudecode.pyにして~/binに置いておくと・・・
#
$ cat ~/bin/udecode.py
#!/usr/bin/python
from sys import stdin
print stdin.readline().decode("unicode-escape")
#
# 実行権限も付けておく
#
$ ls -l ~/bin/udecode.py
-rwxr-xr-x 1 keiji None 89 1月  24 20:52 /home/ksoh/bin/udecode.py
#
# 普通にコマンドとして使う
#
$ cat text.txt | udecode.py > text2.txt
$ cat text2.txt
レザー

一時的にしか使わないのなら一々こういうことをする必要もないと思いますが・・・

Comments

[kuniatsu]

シンプルな実行方法ありがとうございます。しかし、全体のコピー方法がうまく行きませんでした。
もしPythonに明るければ引き続きこちらの質問をもご協力頂けると嬉しいです。
https://teratail.com/questions/110521