while文にiconvの結果を流し込むと処理が必ず飛び飛びになる

Question

#!/bin/bash
# @param input_file input file name
# @param prefix C-Preprocesser-Macro-Function name
# @param need_double_quote_index...
function convert_csv(){
  # argument
  readonly input_file=$1
  readonly prefix=$2
  shift 2
  local need_double_quote_index=($@)

  readonly need_double_quote_index_len=${#need_double_quote_index[@]}
  #write BOM
  echo -en '\xef\xbb\xbf'
  local line_string
  local is_first_line=1
  while read -r line_string; do
    if (( 1==is_first_line )); then
      is_first_line=0
      echo "//PREFIX,${line_string:0:-1},POSTFIX"
    else
        IFS_BACKUP=$IFS
        IFS=','
        elements=($line_string)
        IFS=$IFS_BACKUP
        local re="${prefix}(,"
        local i=0
        local j=0
        local e
        local tmp
        # debug print
        echo "${line_string}" >&2
        for e in "${elements[@]}"; do
          if (( i < need_double_quote_index_len && j == need_double_quote_index[i] )); then
            # ダブルクオートで囲う必要がある時
            re="${re}\"${e}\","
            (( i++ ))
          else
            read -p "Press [Enter] key to start backup..."
            tmp=$(echo "${e}" | sed -e 's/\//./')
            re="${re}${tmp},"
          fi
          (( j++ ))
        done
        echo "${re:0:-1},)"
    fi
  done < <(iconv -f cp932 -t UTF-8 "${input_file}")
}
echo "converting csv..."
# convert_csv './ships.csv' 'SHIP' 1 > 'KCS_CUI/source/ships_test.csv'
convert_csv './slotitems.csv' 'WEAPON' 1 2 > 'KCS_CUI/source/slotitems_test.csv'
echo "done."

こういうコードを書いたのですが
https://github.com/YSRKEN/KanColleSimulator_KAI/blob/2fae104567b8c26029fbf46c49a178f05dd445c1/csv_convert.sh

実行結果が必ず

$./csv_convert.sh
converting csv...
1,12cm単装砲,主砲,0,1,0,0,1,0,0,0,0,1
13,61cm三連装魚雷,魚雷,0,0,5,0,0,0,0,0,0,1
25,零式水上偵察機,水上偵察機,0,0,0,1,1,2,1,0,5,0
37,7.7mm機銃,対空機銃,0,0,0,0,2,0,0,1,0,0
49,25mm単装機銃,対空機銃,0,0,0,0,4,0,0,1,0,0
61,二式艦上偵察機,艦上偵察機,0,0,0,0,1,0,3,0,7,0
73,増設バルジ(大型艦),追加装甲(大型),9,0,0,0,0,0,0,-3,0,0
85,3.7cm FlaK M42,対空機銃,0,1,0,0,8,0,1,0,0,0
97,九九式艦爆(熟練),艦上爆撃機,0,0,0,7,1,4,2,0,2,0
109,零戦52型丙(六〇一空),艦上戦闘機,0,0,0,0,9,0,1,1,0,0
121,94式高射装置,高射装置,0,0,0,0,3,0,0,1,0,0
133,381mm/50 三連装砲,主砲,0,20,0,0,2,0,-3,-1,0,4
145,戦闘糧食,戦闘糧食,0,0,0,0,0,0,0,0,0,0
157,零式艦戦53型(岩本隊),艦上戦闘機,0,0,0,0,12,0,2,4,3,0
169,一式陸攻,陸上攻撃機,0,0,10,12,2,2,0,0,3,0
181,零式艦戦32型,艦上戦闘機,0,0,0,0,5,0,0,2,0,0
501,5inch単装砲,主砲,0,1,0,0,0,0,0,0,0,1
513,21inch魚雷前期型,魚雷,0,0,2,0,0,0,0,0,0,1
525,深海棲艦偵察機,水上偵察機,0,0,0,1,1,1,0,0,5,0
537,12.7mm機銃,対空機銃,0,0,0,0,2,0,0,0,0,0
549,深海復讐艦攻,艦上攻撃機,0,0,13,0,4,5,2,0,5,0
561,深海解放陸爆,艦上爆撃機,0,0,0,11,3,5,1,0,3,0
done.

のようにとびとびになります。csv自体は

装備ID,装備名,種別,装甲,火力,雷撃,爆装,対空,対潜,命中,回避,索敵,射程
1,12cm単装砲,主砲,0,1,0,0,1,0,0,0,0,1
2,12.7cm連装砲,主砲,0,2,0,0,2,0,0,0,0,1
3,10cm連装高角砲,主砲,0,2,0,0,7,0,0,0,0,1
.
.
.
190,38.1cm Mk.I連装砲,主砲,0,18,0,0,1,0,1,0,0,3
191,QF 2ポンド8連装ポンポン砲,対空機銃,0,1,0,0,10,0,0,0,0,0
192,38.1cm Mk.I/N連装砲改,主砲,0,19,0,0,3,0,2,0,0,3
501,5inch単装砲,主砲,0,1,0,0,0,0,0,0,0,1
502,5inch連装砲,主砲,0,2,0,0,0,0,0,0,0,1
503,3inch単装高角砲,主砲,0,1,0,0,1,0,0,0,0,1
.
.
.
568,16inch三連装砲,主砲,0,24,0,0,3,0,4,0,0,3
569,深海偵察飛行艇,水上偵察機,0,3,0,0,1,2,8,0,9,0
570,高速深海魚雷 mod.2,魚雷,0,0,13,0,0,0,3,0,0,1

のようになっています。
https://github.com/YSRKEN/KanColleSimulator_KAI/blob/2fae104567b8c26029fbf46c49a178f05dd445c1/slotitems.csv

期待する動作としては、while文でcsv一行ずつ処理をしたいのですが、何が問題なのでしょうか？

また、WindowsのMSYS2で実行するとLinuxで実行したときより遥かに多く時間がかかるので、おそらくWindowsにfork()がないためだとは思うのですが、コード中のどの辺が重くなっている要因でしょうか？

Answer 1

何をするスクリプトかよくわからないですが、readがwhile readの所と、read -p "Press [Enter] key to start backup..."の所と、2カ所かあるのでそれぞれデータを読み込んでいるのでは？
キー入力したいなら、</dev/ttyとか付けてください。

Comments

[yumetodo]

あ・・・。本当だ。ありがとうございます。

重くなる原因についてはなにか気がついた点などありますでしょうか？

[otn]

時間が掛かるが正常終了するのでしょうか？

[yumetodo]

しますね。

[yumetodo]

Linuxで1分以内なのに30分近くかかりましたが。

[otn]

とりあえず、bash -x でどこで時間が掛かっているのかみるのでしょうか。

[yumetodo]

わかりました。
tmp=$(echo "${e}" | sed -e 's/\//./')
のようにしていた部分ですが、外部コマンド呼び出しが重かったようです。
${elements[$j]//\//.}
のように変数展開で書き直すことで劇的に高速化できました！

デバッグ機能便利ですね・・・。

[yumetodo]

https://github.com/YSRKEN/KanColleSimulator_KAI/pull/174/commits/14d402898172d8dc2742d88849794541c540a9e6