質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう！

質問する

ただいまの
回答率

88.20%

複数のデータからキーが一致したデータを削除して次に渡す方法

解決済

回答 2

投稿 ・編集

  • 評価
  • クリップ 1
  • VIEW 740
dousuruyo

dousuruyo

score 26

前提・実現したいこと

BASHです
ただ、ロジック、というかアルゴリズム、というか考え方自体を知りたいです！
最初のデータを示すと、以下のことを実現したいと思ってます

in
aa bb date no cd price qty
test 2101813 20170906 001602 2132650430401 0.00 1
test 2101813 20170906 001602 2132650430401 0.00 1
test 2101813 20170906 001602 2132650430401 0.00 1

test 2101813 20170906 001603 2132650430401 0.00 1
test 2101813 20170906 001603 2132650430409 0.00 1
test 2101813 20170906 001603 2132650431301 0.00 1

test 2101813 20170906 001604 2132650430401 0.00 -1
test 2101813 20170906 001604 2132650430401 0.00 -1

out
aa bb date no cd price qty
test 2101813 20170906 001602 2132650430401 0.00 1

test 2101813 20170906 001603 2132650430401 0.00 1
test 2101813 20170906 001603 2132650430409 0.00 1
test 2101813 20170906 001603 2132650431301 0.00 1

aa,bb,date,cdをキーとして、(price*qty)がちょうどマイナスとプラスで絶対値が一致するデータを相殺して表示しないようにしたいです
なお、キーが一致するレコードは複数存在しうります

マイナスデータはあぶれたぶんはそのまま次の処理に渡すイメージ、
プラスデータも同様
マイナスデータに対応した個数分プラスデータもあわせて削除するイメージです
マイナスやプラスデータはどの場所にあってもおかしくないです
マイナスデータ及びそれに対応したプラスデータは一種類とは限りません

コードはすいませんが、現場独自のコマンドを多用している状態なので、ここでは載せられません

この部分のロジックをどうやって実現するかで、詰まっています
見づらいと思いますが、すいませんがロジックや考え方を教えていただけるとありがたいです

現状困っている点

現状は、マイナスデータを最初にすべて抽出して、それを回したwhileループ中で、
マイナスデータとキーがすべて一致する、かつ、price*qtyの絶対値が一致する
というデータの行数を一行取得して、その後awk中のexitで次のwhileループに入る、という形をとっています

ただ、これだとキーが重複するレコードがマイナス、プラスともに複数あった場合に、プラスのほうのデータを一つしか相殺することができないので困ってます・・ 

while 必要なカラム（qtyがマイナスであるレコードの各カラム） ; do
 cat 元データ |
 awk '
  if(キー値がすべてwhileループで回っているそれと一致すること){
   prc=((%price*%qty))
   prc_minus=(("'"$price"'"*"'"$qty"'"*-1))
   if(prc==prc_minus){print NR" t";print "'"$nr"'"" t";exit;}
##ここでexitすることで次のwhileループへ行く
  }
 '
done > 行数と削除フラグを持った中間ファイル

イメージ上記のように組んでいる現状です。。

補足情報(言語/FW/ツール等のバージョンなど)

bashで使ってます！

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

more_vert2 件の質問への追記・修正依頼

質問への追記・修正、ベストアンサー選択の依頼

  • showkit

    showkit

    2017/10/18 12:13

    bash とおっしゃっているのは、シェルスクリプトを組みたいということですか？

    キャンセル

  • dousuruyo

    dousuruyo

    2017/10/18 13:02

    はい、shellscropt上で上記のデータ加工をしたい場合のロジックを知りたい、というとこです

    キャンセル

回答 2 件

link

checkベストアンサー

+1

ご質問の出力例は間違っている気がします。(price*qty)の値がちょうどマイナスと書かれてますが、例にあるpriceは全部0.00なので乗算した結果は全部0ですよね・・・

そのため、次のように仮定したコードを書いてみました。

  • (price*qty)ではなくqtyの値だけに着目
  • 最初に出現した一致データを削除対象にする
  • 先頭行はそのまま出力
  • 7フィールドでない行は無視

filter.awk 

NR == 1 { print ; next }
NR != 1 && NF == 7 {
  aa=$1
  bb=$2
  date=$3
  cd=$5
  price=$6
  qty=$7
  k=aa","bb","date","cd
  v1=qty
  v2=-v1
  if (!head[k,v2]) {
    append(k,v1,NR)
    a[NR]=$0
  } else {
    dropHead(k,v2)
  }
}
END { for(r in a) if (a[r]) print a[r] }

function append(k,v,r) {
  if (!head[k,v]) {
    head[k,v]=tail[k,v]=r
  } else {
    cdr[tail[k,v]]=r
    tail[k,v]=r
  }
}

function dropHead(k,v   ,h) {
  h=head[k,v]
  if (h==tail[k,v]) {
    head[k,v]=tail[k,v]=0
  } else {
    delete a[h]
    head[k,v]=cdr[h]
  }
}
$ awk -f filter.awk < in
aa bb date no cd price qty
test 2101813 20170906 001602 2132650430401 0.00 1
test 2101813 20170906 001603 2132650430401 0.00 1
test 2101813 20170906 001603 2132650430409 0.00 1
test 2101813 20170906 001603 2132650431301 0.00 1

もしprice*qtyの値の正負の一致で処理したいのなら、上のawkスクリプトのv1への代入の右辺を変えればよいと思います。

最後に自分のは素朴な感じの実装ですし充分注意深くコーディングできているかどうか保証の限りではないです。またもっとスッキリと実現できる方がいらっしゃる気がします。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/10/18 14:00

    サンプルまで貼り付けてくださって、回答ありがとうございます！

    すいませんが、どういったロジックの処理を行っているのか、簡単に説明していただけないでしょうか？＞＜
    ちょっと処理が難しすぎてすぐにはわからない・・

    早速、できる形で組み込んでみて動きを見させてもらいます！

    キャンセル

  • 2017/10/18 14:34 編集

    awkの配列は連想配列であることはご存知と思います。本回答は特定のaa,bb,date,cd,qtyについて該当する行番号(NR)のリストを覚えておく（以下の３つの配列変数によって）という考え方です。

    head[aa,bb,date,cd,qty]はリストの先頭の行番号
    head[aa,bb,date,cd,qty]はリストの末尾の行番号
    cdr[r]はr行目と同じaa,bb,date,cd,qtyとなるような次のレコード番号

    行の内容自体はa[行番号]に覚えてます。appendで要素(行番号)を末尾に追加、dropHeadで先頭要素を削除するとともに削除する要素にあたる行の内容をaからdeleteするという感じです。

    キャンセル

  • 2017/10/18 14:57

    丁寧にご説明ありがとうございます！
    結局、自分のbashの中にawkの部分を組み込んで流してみたのですが、ヘッダーカラムしか取り出せず、原因も詳しくは追えませんでした。。

    ただ、確認したところキーの一つ、「cd」が一意だったようで勘違いしていたので、キーが一意なら今までのロジックで実現できそう…ということになりました。。

    色々とありがとうございました！

    キャンセル

link

0

bashで作成してみました　値を変えています。 

#!/bin/sh
ar=()
br=()
IFS_BK=$IFS
IFS=$'\n'
while read dt
do
  if [ ${dt##* } -ge 0 ]; then
     ar+=($dt)
  else
     br+=($dt)
  fi
done<<EOF
test 2101813 20170906 001602 2132650430401 5.00 2
test 2101813 20170906 001602 2132650430401 5.00 3
test 2101813 20170906 001602 2132650430401 5.00 4
test 2101813 20170906 001603 2132650430401 5.00 5
test 2101813 20170906 001603 2132650430409 6.00 6
test 2101813 20170906 001603 2132650431301 8.00 7
test 2101813 20170906 001604 2132650430401 5.00 -2
test 2101813 20170906 001604 2132650430401 5.00 -3
EOF

for aw in ${ar[@]}
do
    ak=$(echo $aw |cut -d\  -f1,2,3,5)
    an=$(echo $aw |cut -d\  -f6,7|sed "s/ / \* /"|bc)
    for bw in ${br[@]}
    do
        bk=$(echo $bw |cut -d\  -f1,2,3,5)
        bn=$(echo $bw |cut -d\  -f6,7|sed -e"s/ / \* /" -e"s/$/ \* -1/"|bc)
        if [ "$ak" == "$bk" -a $(echo "$an == $bn"|bc) -eq 1 ]; then
            continue 2
        fi
    done
    echo $aw
done

for bw in ${br[@]}
do
    bk=$(echo $bw |cut -d\  -f1,2,3,5)
    bn=$(echo $bw |cut -d\  -f6,7|sed -e"s/ / \* /" -e"s/$/ \* -1/"|bc)
    for aw in ${ar[@]}
    do
        ak=$(echo $aw |cut -d\  -f1,2,3,5)
        an=$(echo $aw |cut -d\  -f6,7|sed "s/ / \* /"|bc)
        if [ "$ak" == "$bk" -a $(echo "$an == $bn"|bc) -eq 1 ]; then
            continue 2
        fi
    done
    echo $bw
done

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/10/20 16:34

    遅くなってすいません、回答ありがとうございます！
    今回はまた仕様が変わったのでせっかくソースを書いていただいたところすいませんが、直接はそのソースをこちらで使っているものに組み込むことはできませんが、
    現在の仕様のほうに応用して組み込んでみます
    ありがとうございました！

    キャンセル

15分調べてもわからないことは、teratailで質問しよう！

  • ただいまの回答率 88.20%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる
質問する

関連した質問

同じタグがついた質問を見る

SNSアカウントでログイン

teratailアカウントでログイン

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る