比較サイトを作る上で同一商品の特定をするには？

Question

やりたいこと

ruby on railsでアプリを作成しており、amazon、楽天、yahooなどから商品情報を取得し、同一商品の価格を比較したいと考えています。

わからないこと

サイトから商品情報を取得する際、APIを公開しているサイトであれば、そのAPIを利用する。
そうでないサイトはスクレイピングして商品情報を取得するということは調べてわかりました。

しかし、amazonや楽天、その他サイトでは同じ商品であっても商品名が違います。

例えば、

~~ - 楽天での商品タイトル：DRC ロマネ・コンティ[1923] ~~
~~ - Amazonでの商品タイトル:Romanee Conti ロマネ・コンティ 1975 DRC (Domaine de la Romanee Conti) ~~

また、Amazonは独自の商品コード（ASIN）で商品管理をしているようで、サイト間で共通のIDのようなものはなさそうでした。

なので、webページを開き、情報を見た限りでは、どの箇所を見て同一商品を特定し、価格比較などをしているのかわかりませんでした。

価格ドットコムなどの商品比較サイトはどの部分を見て他のサイト同士の同一商品の特定をしているのでしょうか？

追記

上記の例が間違っていましたので、修正しました。

例
楽天の商品タイトル：ディーアップ(D.U.P) アイラッシュ ポイントフィット 400 ミディアム・8mm(1セット)【ディーアップ(D.U.P)】
Amazonの商品タイトル：D-UP アイラッシュ ポイントフィット 400 ミディアム・8mm

Comments

[coco_bauer]

1923年に作られた”DRC ロマネ・コンティ[1923]”と、1975年に作られた"Romanee Conti ロマネ・コンティ 1975 DRC"は、全く別物です。多くのワインには製造年が書かれていて、同じシャトーのワインでも年によって評価'(値段)が大きく変わる程度の知識がないと無理じゃないでしょうか。

[退会済みユーザー]

アイディア募集の丸投げになっています。

Answer 1

無理です。
楽天YahooがAmazonに勝てない理由でもあります。

Answer 2

JAN/EANコード。
これを使ってもAmazon内だけでも同一商品・別仕様が大量にあるので完璧な特定は難しい。
特にマケプレは出品者が入力したデータのはずなのでそもそも間違ってることもある。
AmazonのAPIはASINだけでなくJANでも取得できるので試せば分かる。

Comments

[o.hiro]

回答ありがとうございます。
AmazonのAPIを使ってみようと思います！

Answer 3

価格.COMは自社サービスで展開しています。
ショップの登録と、比較情報への掲載は登録制であったと思います。

Comments

[o.hiro]

回答ありがとうございます。
価格ドットコムの掲載に関しては登録制なんですね。

今回はすでにAmazonや楽天にある同一商品の比較をしたいと考えております。
同一商品ではあるものの、商品名が違う例を追記しましたので、何かアドバイスなどがあればまた、回答いただけると大変嬉しいです。

[退会済みユーザー]

固有名詞を認識し、その単語を列挙してみてはいかがでしょうか。
単語の一致率が○％以上であれば同一製品というような。

以下記事で固有表現の抽出をしていたと思いますので、参考になれば・・・
https://qiita.com/Hironsan/items/a5acf1d121926666907b