大容量のデータフレームの列を付け加える方法

Question

n1=[2,4,6,1]
v1=['I','my','me','mine']

というリストと

1 You
2 I
3 Your
4 my
5 You
6 me

というdataframeがある時に、

1 You  _
2 I    $
3 Your _
4 my   $
5 You  _
6 me   $

という列を付け加えたい。
###dataframeの0列目の番号とn1リストの中にある要素、dataframeの1列目の単語とv1のリストの中にある要素が一致する時に$など記号を入れる。そのほかは、"_"とする.

for k in range(0,len(n1)):
    for i in range(0,len(df)):
        if df.iloc[i][0] == n1[k] and df.iloc[i][1] == v1[k]:
           df.iloc[i][2] = "$"
        else:
           df.iloc[i][2] = "_"

としたのですが、データフレーム の行数が多すぎて全然終わりません。
他に良い方法を教えていただきたいです。

Comments

[meg_]

タグの「リストボックス」は何ですか？

[meg_]

・「$」と「&」はどういう対応でしょうか？
・質問のコードは動きますか？（エラー出ませんか？）

[nasudeng]

質問の意図が不明瞭です。
行いたい操作と、目的として得たいデータフレームの構造を明記された方が、回答もつきやすいかと思います。

なお行数が多くて処理が終わらないとのことですが、
私は5列×20000行のデータフレームを以前扱った際、問題なく処理できました。
（Google ColaboratoryでのJupytor notebook環境）

処理したいデータを含めたコードを公開いただけますか？
（実行結果もしくはエラーメッセージも含む）

[emiime]

@meg_
「$」と「&」はどういう対応でしょうか？<-誤字です！すみません！
・質問のコードは動きますか？（エラー出ませんか？）
エラーはでなく、ずっと処理が終わらない状態です！
jupyter　notebookで動かしています、

[emiime]

誤字が多くすみません！編集しました

[emiime]

@nasudeng
６万行でした。データを分割した方が良いですかね

Answer 1

【追記】質問の意図を勘違いしていましたので再回答します。　※下記は例です。

list1 = [i for i in range(60000)]
df = pd.DataFrame({'A':list1})
df.head()
#   A
#0  0
#1  1
#2  2
#3  3
#4  4

a=[2,4,1]
b=[0,2]
df.loc[(df.index.isin(a)) & (df['A'].isin(b)), 'B'] = '$'
df.fillna('_', inplace=True)
df.head()
#   A  B
#0  0  _
#1  1  _
#2  2  $
#3  3  _
#4  4  _

---

あるpandas.DataFrame(60000行)の奇数行に「_」偶数行に「$」の列を追加する例です。

list1 = [i for i in range(60000)]
df = pd.DataFrame({'A':list1})
list2 = ['_','$'] * 30000
df['B'] = pd.Series(list2)
df.head(10)
#   A  B
#0  0  _
#1  1  $
#2  2  _
#3  3  $
#4  4  _
#5  5  $
#6  6  _
#7  7  $
#8  8  _
#9  9  $
>>>

Comments

[nasudeng]

質問からは奇数行なら"_"、偶数行なら"$"を追加したいという意図は読み取れません。
何に対する回答なのでしょうか。

[meg_]

何か勘違いしていましたね。回答し直します。

[emiime]

ありがとうございます！！

Answer 2

修正ありがとうございます。

dataframeに対し全行調査するのは大変なのでn1を使っていきましょう。

以下はdataframeのi行0列はi+1であるという前提で考えています。

まずdataframeに”_”のみからなる列を追加しましょう。
あとは以下の繰り返し処理を行うのみです。

1. n1のi番目の要素を取得する。⇒変数line_num
2. dataframeのiat[line_num-1,1]とv1のi番目の要素を比較する
3. 2がTrueであれば、dataframeのiat[line_num-1,2]を"$"に書き換える

n1=[2,4,6,1]
v1=['I','my','me','mine']

list1 = [1,2,3,4,5,6]
list2 = ["You","I","Your","my","You","me"]
df = pd.DataFrame({"col0":list1,"col1":list2})
print(df)

   col0  col1
0     1   You
1     2     I
2     3  Your
3     4    my
4     5   You
5     6    me

n1,v1,dfを宣言

df["col2"]="_"
print(df)

   col0  col1 col2
0     1   You    _
1     2     I    _
2     3  Your    _
3     4    my    _
4     5   You    _
5     6    me    _

"_"からなる列を追加

for ii in range(len(n1)):
  line_num = n1[ii]
  if df.iat[line_num-1,1] == v1[ii]:
    df.iat[line_num-1,2] = "$"
print(df)

   col0  col1 col2
0     1   You    _
1     2     I    $
2     3  Your    _
3     4    my    $
4     5   You    _
5     6    me    $

上述の繰り返し処理

---

この書き方なら実行速度はn1の長さに依存するので、時間がかかりすぎるということはないと思います。
dataframeの構造に合わせて、iatで指定する行、列の番号は適当に書き換えてください。

Comments

[emiime]

ありがとうございます！助かりました！