質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
bash

bash(Bourne-again-Shell)は sh(Bourne Shell)のインプリメンテーションに様々な機能が追加されたシェルです。LinuxやMac OS XではBashはデフォルトで導入されています。

AWK

AWKは、UNIX 上で開発されたプログラミング言語で、CSVファイルなどのテキストファイルの処理を目的にデザインされています。

Q&A

解決済

2回答

2554閲覧

awkコマンドで1列目が重複する行を削除したい(最終行を残したい)

flushlever

総合スコア1

bash

bash(Bourne-again-Shell)は sh(Bourne Shell)のインプリメンテーションに様々な機能が追加されたシェルです。LinuxやMac OS XではBashはデフォルトで導入されています。

AWK

AWKは、UNIX 上で開発されたプログラミング言語で、CSVファイルなどのテキストファイルの処理を目的にデザインされています。

0グッド

0クリップ

投稿2020/11/19 07:15

前提・実現したいこと

CentOS8でfreeradiusを構築中です。
ユーザ・パスワード・attributeが記載されているcsvファイルからfreeradiusのusers書式への日次変換処理を行おうとしています。
カンマ区切りをスペース区切りに変換するなどの簡単な置換処理はうまくいってるのですが、重複ユーザの削除に苦慮しています。
というのもcsvファイルには事情があって同一ユーザで2行以上存在している場合があります。

発生している問題・エラーメッセージ

ユーザが重複している場合は一番最後に登場する行(最下行)を採用したいと考えていますが、そのやり方がわかりませんでした。
awkコマンドで実現しようとしています。

該当のソースコード

csvファイルからカンマなどを削除して重複行を削除する直前までの状態
aaaaa Cleartext-Password:="password1", Filter-Id:="1001"
bbbbb Cleartext-Password:="password2", Filter-Id:="1002"
ccccc Cleartext-Password:="password3", Filter-Id:="1003"
ddddd Cleartext-Password:="password4", Filter-Id:="1004"
aaaaa Cleartext-Password:="password5", Filter-Id:="1005"
aaaaa Cleartext-Password:="password6", Filter-Id:="1006"

awkコマンド実行後は以下になるようにしたい
bbbbb Cleartext-Password:="password2", Filter-Id:="1002"
ccccc Cleartext-Password:="password3", Filter-Id:="1003"
ddddd Cleartext-Password:="password4", Filter-Id:="1004"
aaaaa Cleartext-Password:="password6", Filter-Id:="1006"

試したこと

一番最初に登場する行を採用する場合↓
aaaaa Cleartext-Password:="password1", Filter-Id:="1001"
bbbbb Cleartext-Password:="password2", Filter-Id:="1002"
ccccc Cleartext-Password:="password3", Filter-Id:="1003"
ddddd Cleartext-Password:="password4", Filter-Id:="1004"
については以下でできることを確認しています。
awk '!colname[$1]++{print $1 " " $2 " " $3}'

補足情報(FW/ツールのバージョンなど)

CentOS Linux release 8.2.2004
bash

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

これでどうだろう?

tac input.txt | awk '!colname[$1]++{print $1 " " $2 " " $3}' | tac > output.txt

投稿2020/11/19 08:28

KojiDoi

総合スコア13669

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

flushlever

2020/11/19 09:24

回答いただきありがとうございます! 意図した結果になりました! 単純にひっくり返せば私が記載したコマンドでできたのですね。勉強させていただきます(^-^)
guest

0

ベストアンサー

一度全部記憶する必要がありますよね。
行の順序を保存しなくていいなら簡単です。

awk

1{X[$1]=$1 " " $2 " " $3}END{for(i in X) print X[i]}

投稿2020/11/19 07:40

otn

総合スコア84423

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

flushlever

2020/11/19 09:22

早急に回答いただきありがとうございます! 意図した結果になりました。 今後のawkの勉強素材とさせていただきます(^^;)
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問