python csv 最小値計算（条件付き）

Question

pythonを用いて二つのcsvファイルから最小値を見つけ、見つけた最小値同士を足し算したスクリプトが以下となります。

import pandas as pd

filename = pd.read_csv('OD(1).csv', encoding="SHIFT-JIS")

listA = []
listB = []
listC = []

listA = filename['OriginID']
listB = filename['DestinationID']
listC = filename['Shape_Length']

min_ik=99999

leng = len(listA)
leng = len(listB)

for n in range(leng):
if listC[n]<min_ik:
min_ik=listC[n]
num = n
print("最小値は"+str(min_ik)+"であり"+"この時の経路は"+str(listA[num])+"-"+str(listB[num]))

filename = pd.read_csv('OD(2).csv', encoding="SHIFT-JIS")
listD = []
listE = []
listF = []

listD = filename['OriginID']
listE = filename['DestinationID']
listF = filename['Shape_Length']

min_kj=99999

leng = len(listD)
leng = len(listE)

for n in range(leng):
if listF[n]<min_kj:
min_kj=listF[n]
num = n
print("最小値は"+str(min_kj)+"であり"+"この時の経路は"+str(listD[num])+"-"+str(listE[num]))

lik = min_ik
lkj = min_kj

lij = lik + lkj
print(lij)

OD(1).csvの中身は以下の通り
[OriginID,DestinationID,Shape_Length][1,A,10][2,B,15][3,A,5]

OD(2).csvの中身は以下の通り
[OriginID,DestinationID,Shape_Length][A,X,100][A,Y,50][B,Z,30]

上記の内容だと
最小値は5でありこの時の経路は3-A
最小値は30でありこの時の経路はB-Z
35
となります。

これに条件としてOD(1).csvのDestinationIDとOD(2).csvのOriginIDが同じもの同士を計算し、最小値を出したいとしたときに（if分を使用することになるかと思いますが）どのような文を追加することで、得たい結果になりますでしょうか。

具体的には、
OD(2).csvの[B,Z,30]は固定で、OD(1).csvの中の[ ,B, ]というものの中から最小値を出したいと考えております。
今回であれば
最小値は15でありこの時の経路は2-B
最小値は30でありこの時の経路はB-Z
45
という結果を得たいです。

基本的な内容で申し訳ございませんが、ご教授いただけたら幸いです。
よろしくお願いいたします。

Comments

[jckkvs]

https://teratail.com/help/question-tips

Answer 1

在、pandas をCSVの読み込みのみで使用しているようですが、この手の処理を行うのであれば、全ての処理をpandas上で行った方が楽です。

import pandas as pd

df1 = pd.DataFrame([[1,'A',10],[2,'B',15],[3,'A',5]],
                   columns=['OriginID','DestinationID','Shape_Length'])

df2 = pd.DataFrame([['A','X',100],['A','Y',50],['B','Z',30]],
                   columns=['OriginID','DestinationID','Shape_Length'])

df = pd.merge(df1, df2, left_on='DestinationID', right_on='OriginID', how='outer', suffixes=('_1st', '_2nd'))
df['Total'] = df['Shape_Length_1st'] + df['Shape_Length_2nd']
min_row = df.loc[df['Total'].idxmin()]
print(f"最小値は{min_row['Total']}であり、この時の経路は {min_row['OriginID_1st']} - {min_row['DestinationID_1st']} - {min_row['DestinationID_2nd']}")

# 最小値は45であり、この時の経路は 2 - B - Z

やっている処理を頭から簡単に説明すると

df1

OriginID	DestinationID	Shape_Length
1	A	10
2	B	15
3	A	5

df2

OriginID	DestinationID	Shape_Length
A	X	100
A	Y	50
B	Z	30

df1とdf2をDestinationID列とOriginID列の値でマージ(how='outer')

OriginID_1st	DestinationID_1st	Shape_Length_1st	OriginID_2nd	DestinationID_2nd	Shape_Length_2nd
1	A	10	A	X	100
1	A	10	A	Y	50
3	A	5	A	X	100
3	A	5	A	Y	50
2	B	15	B	Z	30

トータルの距離を計算しTotal列を追加

OriginID_1st	DestinationID_1st	Shape_Length_1st	OriginID_2nd	DestinationID_2nd	Shape_Length_2nd	Total
1	A	10	A	X	100	110
1	A	10	A	Y	50	60
3	A	5	A	X	100	105
3	A	5	A	Y	50	55
2	B	15	B	Z	30	45

Total列が最小の行を抽出

df['Total'].idxmin() にて Total列が最小の行のIndex値が得られる

OriginID_1st	DestinationID_1st	Shape_Length_1st	OriginID_2nd	DestinationID_2nd	Shape_Length_2nd	Total
2	B	15	B	Z	30	45

という処理となります

---

【追記】
2番目に小さい距離を求める方法と

２番めに小さい距離を求めるには、idxmin() のような関数は使えませんので、一度 DataFrameを Totalの大きさによってソート(DataFrame.sort_values()してから、そのデータフレームの２行目を取得するとよいと思います。)

import pandas as pd

df1 = pd.DataFrame([[1,'A',10],[2,'B',15],[3,'A',5]],
                   columns=['OriginID','DestinationID','Shape_Length'])

df2 = pd.DataFrame([['A','X',100],['A','Y',50],['B','Z',30]],
                   columns=['OriginID','DestinationID','Shape_Length'])

df = pd.merge(df1, df2, left_on='DestinationID', right_on='OriginID', how='outer', suffixes=('_1st', '_2nd'))
df['Total'] = df['Shape_Length_1st'] + df['Shape_Length_2nd']

# Totalにてソート（昇順）
sorted_df = df.sort_values('Total')
print(sorted_df)
# ２行目（２番目に小さい値）を取得
second_row = sorted_df.iloc[1]
print(f"2番目に小さい値は{second_row['Total']}であり、この時の経路は {second_row['OriginID_1st']} - {second_row['DestinationID_1st']} - {second_row['DestinationID_2nd']}")
# 2番目に小さい値は55であり、この時の経路は 3 - A - Y

Comments

[退会済みユーザー]

ご丁寧に教えていただきありがとうございます。ここで使用したcsvファイルは数が少なくpd.DataFrame([[1,'A',10],[2,'B',15],[3,'A',5]],
columns=['OriginID','DestinationID','Shape_Length'])
のようにすべて書き出すことが可能かと思いますが、csvのデータが1000など大きくなった場合,
filename = pd.read_csv('OD(1).csv', encoding="SHIFT-JIS")のようにcsvファイルを指定してあげればよいのでしょうか？
初歩的なことをお聞きし、申し訳ございません。
よろしくお願いいたします。

[magichan]

はいその通りです。
今回はCSVデータを使う場合は pd.read_csv() にて読み込みます。（その場合、CSVデータの１行目が列名として扱われます。）
行数が多くても基本的に行うことは同じですので、
df = pd.read_csv(...)
のようにCSVを読み込んだあと
print(df)
のようにデータの内容を表示して、データの内容を確認ながら処理を行うと良いかと思います。

[退会済みユーザー]

ご返信ありがとうございます。
お忙しい中、ご丁寧な対応ありがとうございました。

[退会済みユーザー]

お忙しいところ申し訳ございません。
もう一点よろしいでしょうか。
今回は最小値を求めるスクリプトでしたが、2番目に小さい値、３番目に小さい値・・・・となった場合にはどのように変更すればよろしいでしょうか。（DestinationID_1stとOrigin_ID2stが同じであれば、OrijinIDが今回（OrijinID:2）と異なるものでも結構です。）
＝教えていただいた図でいうTotal：55を出力したいです。
よろしくお願いいたします。

[magichan]

追記しました

[退会済みユーザー]

お忙しいところ、ありがとうございます。
教えていた内容で解決いたしました。

Answer 2

そもそもminを求めたい場合、forで回さず、argminを利用した方が良いです。
そしてやりたい事は、以下のような感じでしょうか。

import pandas as pd
import numpy as np

df = pd.DataFrame([[1,'A',10],[2,'B',15],[3,'A',5]])
df2 = pd.DataFrame([['A','X',100],['A','Y',50],['B','Z',30]])
print(df)
print(df2)

idx = np.argmin(df2.iloc[:,2].values)
print(idx)

v = df2.iloc[idx]
print(v[0])
key = v[0]

v = df.iloc[:,1]
v = df[df.iloc[:,1]==key]
print(v)