DafaFrameから特定の文字を含む要素を見つけ、その要素に別の名前を与える

Question

下記の２つのテキストファイルがあります。

<gene_name.txt>
ens_gene ext_gene
1 ENSG00000210049 MT-TF
2 ENSG00000211459 MT-RNR1
3 ENSG00000210077 MT-TV
4 ENSG00000210082 MT-RNR2
5 ENSG00000209082 MT-TL1
... ... ...
67136 ENSG00000284921 AC004852.4
67137 ENSG00000285440 AC004852.6
67138 ENSG00000285110 AC004852.5
67139 ENSG00000285363 MTRF1LP2
67140 ENSG00000285114 GSDMC

[67140 rows x 2 columns]

<test_FPKM.txt>
0
0 ENSG00000242268.2
1 ENSG00000270112.3
2 ENSG00000167578.15
3 ENSG00000273842.1
4 ENSG00000078237.5
... ...
60478 ENSG00000105063.17
60479 ENSG00000231119.2
60480 ENSG00000280861.1
60481 ENSG00000123685.7
60482 ENSG00000181518.3

[60483 rows x 1 columns]

test_FPKM.txtの各行からgene_name.txtのens_geneと同じ名前を探し、見つかった場合に該当するext_geneを紐付ける、という作業をしています。
下記のコードを書いてみましたが、一応正しく動いていそうです。

import pandas as pd

df = pd.read_table('test_FPKM.txt',index_col=0)
df2 = pd.read_table('gene_name.txt',index_col=0)

df_gene = pd.DataFrame(df2.iloc[:,0])
gene_name_list = []
for n in range (len(df)):
    a = df_gene.iloc[n,0]
    for p in range (len(df)):
        b = df.iloc[p,0]
        if a in b:
            gene_name = df2.iloc[n,1]
            gene_name_list.append(gene_name)
print(gene_name_list)

実行結果→
$ gene_name_for_FPKM.py
['MT-RNR1', 'MT-TL1', 'MT-ND1', 'MIR8081', 'RNU1-47P', 'RNU6-919P', 'RN7SL193P', 'AC006963.1', 'RNA5SP183', 'AC006960.1', 'AC096917.1', 'RNVU1-2A', 'RN7SL541P']

２つのファイルは行数が異なります。
また、<test_FPKM.txt>に含まれる文字列は、<gene_name.txt>のens_gene列に小数点以下の数字が付与されています。

ただ、全本のファイルはそれぞれ65,000行くらいあり、全体のデータで処理すると動きません。
もっと効率良いコードにするにはどのように改変すればよいか、教えていただければと思います。
また、Linuxコマンドでもできそうな気がするのですが、ご存知のかたいたらよろしくお願いいたします。

Comments

[shimiken]

merge関数ではダメですか？

[shimiken]

↑Rの関数です

[iziz]

ありがとうございます。merge関数使ったことないので、調べておきます。
また、説明が悪かったのですが、２つのファイルは共通点はありますが、行数も異なり部分的に一致する文字列が含まれるという状況です。
この場合はmerge関数は使えないのかなと思ったのですが、可能でしょうか？

[shimiken]

行数異なっていてもmerge関数は使えます。
ただ、部分一致では今回の目的のためにそのままmerge関数は使えません。
ENSG00000242268.2をピリオドで区切って、
ENSG00000242268と2に分ければ完全一致させることができるので、merge関数でいけると思います。

[iziz]

ありがとうございます。split使えばなんとかいけそうですのでやってみます。

Answer 1

mergeで書くか、

>>> import pandas as pd
>>> a = pd.DataFrame({"A":["aiueo", "abc"], "B":["123", "456"]})
>>> b = pd.DataFrame({"Data":["aiueo", "abc", "def"]})
>>> b.merge(a, left_on="Data", right_on="A")
    Data      A    B
0  aiueo  aiueo  123
1    abc    abc  456

mapで書くか、

>>> tab = a.set_index("A")
>>> b["Data"].map(tab["B"])
0    123
1    456
2    NaN
Name: Data, dtype: object

Comments

[iziz]

ありがとうございます。merge関数もmap関数も使ったことないので勉強しておきます。
他の方にも回答させて頂きましたが、merge関数は共通文字列が含まれるか判定して、含まれる場合に対応する値を追加する機能はあるのでしょうか

Answer 2

下記のコードで解決できました。ありがとうございました。

df = pd.read_table('test_FPKM.txt',index_col=0)
df2 = pd.read_table('gene_name.txt',index_col=0)
dfs=df.sort_values('0')
df2s=df2.sort_values('ens_gene')
>>> dfs
                        0
51435  ENSG00000000003.13
57921   ENSG00000000005.5
53855  ENSG00000000419.11
43302  ENSG00000000457.12
54619  ENSG00000000460.15
...                   ...
53680   ENSGR0000275287.3
22858   ENSGR0000276543.3
11371   ENSGR0000277120.3
28847   ENSGR0000280767.1
19235   ENSGR0000281849.1

[60483 rows x 1 columns]
>>> df2s
              ens_gene    ext_gene
18950  ENSG00000000003      TSPAN6
18862  ENSG00000000005        TNMD
38595  ENSG00000000419        DPM1
26993  ENSG00000000457       SCYL3
27032  ENSG00000000460    C1orf112
...                ...         ...
56126  ENSG00000288584    Z97205.3
4672   ENSG00000288585  AC010184.1
19040  ENSG00000288586  AL357874.3
16487  ENSG00000288587  AL645933.5
38985  ENSG00000288588  AC116317.2

[67140 rows x 2 columns]

# rename index in numerical order to use concat method
name = list(range(0,len(dfs)))
name2 = list(range(0,len(df2s)))
dfs.index = name
df2s.index = name2
df_df2 = pd.concat([dfs,df2s],axis=1)

df_df2
                        0         ens_gene    ext_gene
0      ENSG00000000003.13  ENSG00000000003      TSPAN6
1       ENSG00000000005.5  ENSG00000000005        TNMD
2      ENSG00000000419.11  ENSG00000000419        DPM1
3      ENSG00000000457.12  ENSG00000000457       SCYL3
4      ENSG00000000460.15  ENSG00000000460    C1orf112
...                   ...              ...         ...
67135                 NaN  ENSG00000288584    Z97205.3
67136                 NaN  ENSG00000288585  AC010184.1
67137                 NaN  ENSG00000288586  AL357874.3
67138                 NaN  ENSG00000288587  AL645933.5
67139                 NaN  ENSG00000288588  AC116317.2

[67140 rows x 3 columns]

#remove rows including NaN
df_df2 = df_df2[df_df2.GC_sample != null]