ID変換プログラムの作成

Question

###前提・実現したいこと
PythonやPerlを用いて、IDを変換するプログラムを作成したいです。

下記のような3行データがあった場合、
そのうちA、B、Cを対応表にある001, 002, 003に変換したいです。

データ
ID1 CITY
A 東京
B 大阪
C 福岡

対応表
ID1 ID2
A 001
B 002
C 003

hashやdictionaryを使えばよさそうとのウェブサイトはありましたが、
理解できませんでした。

参考になるサイト等ご教授願います。
何卒よろしくお願い申し上げます。

Comments

[m.ts10806]

「理解できませんでした」というのはどのサイトのどの部分がどう理解できなかったのでしょうか？参考にしたサイトURLを記載の上、理解できた範囲・不明な範囲を明確に記述してください。https://teratail.com/help/question-tips#questionTips2-1 また「データ」「対応表」はデータベースを利用しているのであればデータベースの種類とバージョンを記載してください。もしかしたらSQL実行だけで済む話かもしれませんし。

Answer 1

pythonは詳しくないので、perlでごく素朴に……。
ID対応表をhashに丸ごと読み込み、次にデータファイルを読み取り、IDを付け替えて標準出力に吐き出すperlスクリプトを書いてみました。

windows10マシン(CPU=i5-2400@3.10Ghz, RAM=8.00GB)上のcygwinで、IDを100万件まで増やして実行してみましたが、全部で3秒ぐらいで終わりました。

コトがIDの付け替えにとどまっている限り、データの量に関してはあまり神経質になる必要はないのではないかと思いました。もちろんこれよりもけた違いにデータが「大量」であるとか、この後にいろいろ重たい処理をするとかであれば話も変わってくるでしょうが。

これで間に合わない規模の大容量データをperlでお手軽に扱うとすれば、GDBMという選択肢もあると思います（参考サイト）。

#!/usr/bin/perl -w
use strict;
use warnings;

my %id;

my $datafile="data.txt";
my $idfile  ="idtable.txt";

# read id-association table
open(my $fhi, "<", $idfile) or die;
while(<$fhi>){
  chomp;
  my($id1,$id2)=split;
  $id{$id1}=$id2;
}

# read main data and output
open($fhi, "<", $datafile) or die;
while(<$fhi>){
  chomp;
  my($id,$name)=split;
  print join("\t", $id{$id}, $name),"\n";
}

Answer 2

hashやdictionaryを使えばよさそうとのウェブサイトはありましたが、

理解できませんでした。

いい線行ってます :)
それを使うのが無難です。

私個人としてはDive Into Python 3をよく勧めていますが、もしかしたら不足部分があると思いますので、実際に質問文を例に辞書データを作るソースコードをここに挙げてみます。

# Dictionary 定義
city_dict = {
    "A": "東京",
    "B": "大阪",
    "C": "福岡"
}

number_dict = {
    "A": 1,
    "B": 2,
    "C": 3
}

print(city_dict["B"]) #=> 大阪 が表示される。
print(number_dict["C"]) #=> 3 が表示される。

---

しかしながら、shengさんはどうせなら一つの辞書にまとめたいと思うかもしれません。
大丈夫です。Pythonに関しては辞書の入れ子構造も可能です。（おそらくPerlも可能だと思いますが）

city_and_id2_dict = {
    "A": {
        "city": "東京",
        "id2": 1
    },
    "B": {
        "city": "大阪",
        "id2": 2
    },
    "C": {
        "city": "福岡",
        "id2": 3
    }
}

print(city_and_id2_dict["A"]["city"]) #=> 東京 が表示される
print(city_and_id2_dict["C"]["id2"] #=> 3 が表示される

という感じで辞書を使います。

わからないところがあればお気軽にコメントでおっしゃってください ;)

Comments

[sheng]

manzyun様

早速のご回答ありがとうございます。
ご提示いただいたプログラムを確認することができました。
しかし私の最初の質問に不足がありましたので、もう少しお手伝いいただけますと助かります。

データと対応表が例に示したような3行ではなく大量にあり、
csvデータとしてimportが必要な場合の対応方法について、
ご教授いただけないでしょうか。

何卒よろしくお願い申し上げます。

[manzyun]

CSVに関して言えば、普通にファイルを1行ずつ読んで、カンマ区切りごとに辞書の各項目にappendするというのも一つですが、すでにPythonではCSVのライブラリがあるようですね。

https://docs.python.jp/3/library/csv.html

後は愚直にfor文で各行の列を辞書にappendするなり、内包表記というテクニックを使って辞書を作るのも手ですが、どちらを使うかはお任せします。

ソースがどうしても思いつかない場合はまたご相談ください。