Bash CSVファイルから、配列を列で読み込んで作成する

Question

少し前に、配列の質問を投稿したものです。毎回配列を書き込むのは大変なので、下のようなCSVファイルを作成して、A= A1, A2,…のうちのどれか、B=B1, B2, …のうちのどれか、のように、ある１列ずつを読み込んで、配列を作ろうとしています。（下に示す例は、A2, B2までしか書いていません。）
AにA1を取り込む場合ですが、

#filename source4.csv
A1 A2 B1 B2
M11 M21 T16 T55
M12 M22 T16 T55
M13 M23 T16 T55
M14 M24 T16 T55

#!/bin/bash
A=()
while IFS=, read -r c1 _ _ _; do
echo $c1
#echoは読み込めたかのチェック
A+=("$c1")
done<source4.csv

で、配列Aは作れるのですが、ヘッダ行が最初の要素に入ってしまいます。それから、一番最後の行の、M14が読み込まれません。
（$ echo ${A[@]}　で、結果　A1 M11 M12 M13　となります。$ echo ${c1}は、M14なのに、なぜ？）

ヘッダを除く方については、whileの前をパイプでつないで、sed -e 1dを入れたり、
sed -e 1d $filename |

catが使えないかと、やっているのですが、
cat $filename |

sed -e 1dで、echoはヘッダ行を除いて最後の行まで走るのですが、配列Aは形成されていない様子です。（$ echo ${A}や、$ echo ${A[@]}で、何も出現しません。この時に、$ echo ${c1}では、M14が表示されます。）

ヘッダ行を除いて配列を作る方法、最後の行まで読む方法について、教えていただけないでしょうか。よろしくお願いいたします。（Bashは、最新の5.1にアップグレードしています。）

Answer 1

Bash の mapfile を使う方法もあります。

#!/bin/bash

function extract_first_item {
  local -a c
  IFS=, read -r -a c <<< "$2"
  A+=("${c[0]}")
}

declare -a A
mapfile -t -c 1 -s 1 -C extract_first_item < source4.csv

echo "${A[@]}"

#
M11 M12 M13 M14

追記

$ declare -a A=($(tail -n +2 source4.csv | cut -d, -f1))
$ echo "${A[@]}"
M11 M12 M13 M14

# GNU grep
$ grep --version
grep (GNU grep) 3.7

$ declare -a B=($(grep -Pzo -e '\n\s*\K(.+?)(?=\s*,)' source4.csv | tr '\0' '\n'))
$ echo "${B[@]}"
M11 M12 M13 M14

Comments

[n2022]

mapfileコマンドは存在を知りませんでした。自分のPCでも走ることを確認しました。ありがとうございました。

[n2022]

ありがとうございました。次回から、質問はコードを挿入する、機能を使うなどして、わかりやすく書くように心がけます。今後ともよろしくお願いいたします。

[otn]

mapfile って、配列に保存する値をコールバックの中で変更できれば使い手があるのにと思います。

Answer 2

パイプを使うと、while～doneはサブシェルで実行されるのでその中で代入したシェル変数はサブシェル終了時点（つまりwhile終了時点）に消えます。
サブシェルにしないために、パイプでなくプロセス置換（<(～～～)）を使います。

最後の行が読めないのは、ファイル末尾に改行コードが無いからでしょう。
ファイル末尾に改行コードを入れるためにsedじゃなくてawkを使います。

A=()
while IFS=, read -r c1 _ _ _; do
echo $c1
#echoは読み込めたかのチェック
A+=("$c1")
done < <(awk 'NR>1' source4.csv)

declare -p A

Comments

[otn]

別解としては、
A=( $(awk -F, 'NR>1{print $1}' source4.csv) )
とか、
A=( $(sed 1d source4.csv | cut -d, -f1) )

[n2022]

ありがとうございます。別解で１行で書けることに驚きました。awkをもっと使えるようにならないといけないと思いました。

[n2022]

otnさん、melianさん、ありがとうございました。現在の私の力では、sedもしくはawkによる1行コマンドを使えるようにするところが精一杯、タイトルにbashをいれてしまいましたが、別解の１行コマンドの方を使ってゆこうと思います。また、今回は急いでいたので、コマンド類をコード表記して質問する時間がありませんでしたが、次からはコードに挿入して質問するように気をつけます。