異なるDataframeの結合（Merge）について

Question

異なるDataframe同士の結合についてです。
Mergeを使う方法については、下記のページなどを参考にしました。
図解！Pandas DataFrameのmergeによる結合(JOIN)

やりたいこと：
①　CSVの表を読み込み

name	data	company
山田	10月1日	ビープラ商事清水様来訪
鈴木	10月2日	ガイア不動産高橋様来訪
佐藤	10月8日	ABC案件進捗確認会議
清水	10月14日	マックス保険太田様来訪（高橋同席）
高橋	10月24日	マックス保険進捗会議
山田	10月25日	ギャラクシー物産訪問事前打ち合わせ（小泉部長）
鈴木	10月30日	ガイア不動産案件進捗会議

②　読み込んだ表の、特定のカラム（'company'）を抽出し、inputで入力した内容（例えば'不動産'）に類似する値と、その一致率をカラムにした新たなDataframeをつくる

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.metrics.pairwise import cosine_similarity
from janome.tokenizer import Tokenizer
import MeCab
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

docs=df['company'].to_string(index=False)
docs = str(docs)
docs = docs.splitlines()
tagger = MeCab.Tagger('-Owakati')
docs = [tagger.parse(sentence).strip() for sentence in docs]

vectorizer = CountVectorizer(token_pattern=u'(?u)\b\w+\b')
transformer = TfidfTransformer()

tf = vectorizer.fit_transform(docs) 
tfidf = transformer.fit_transform(tf) 

v = input()# '不動産'などの言葉を入力

sample = str(v)
sample_tf = vectorizer.transform([tagger.parse(sample).strip()])
sample_tfidf = transformer.transform(sample_tf)
similarity = cosine_similarity(sample_tfidf, tfidf)[0]
topn_indices = np.argsort(similarity)[::-1][:30]
list_df = pd.DataFrame()
for sim, tweet in zip(similarity[topn_indices], np.array(docs)[topn_indices]):
    tmp_se = pd.Series("({:.2f}): {}".format(sim, "".join(tweet.split())))
    list_df = list_df.append(tmp_se, ignore_index=True )
list_df.rename(columns={0: 'company'}, inplace=True)
df2=list_df['company'].str.split(':', expand=True)
df2.head()
df3=df2.rename(columns={0: '一致率',1: 'company'}, inplace=False)
df3.head()

一致率	company
(0.50)	ガイア不動産高橋様来訪
(0.47)	ガイア不動産案件進捗会議
(0.00)	マックス保険進捗会議
(0.00)	ABC案件進捗確認会議

③最初にCSVで読み込んだデータフレームを、companyのカラムをkeyにして結合する

print(pd.merge(df, df3, left_on='company', right_on='company'))

すると、Empty DataFrame　Columns: [name, date, company, 一致率]　Index: []
と出てきてしまいます。
下記のような結果を期待していたのですが・・・
|一致率|company|name|data
|:--|:--:
|(0.50)|ガイア不動産高橋様来訪|鈴木|10月2日
|(0.47)|ガイア不動産案件進捗会議|鈴木|10月30日
|(0.00)|マックス保険進捗会議|高橋|10月24日
|(0.00)|ABC案件進捗確認会議|佐藤|10月8日

途中の分かち書きで、'company'の値が変わってしまったからではないかと思い、チェックをしたのですが、差がみつけられず、日曜日が終わってしまいまして、こちらで質問をさせていただいた次第です。
申し訳ありませんが、どなたかご教授いただけますと、幸いに存じます。

Comments

[Orlofsky]

URLは https://teratail.com/help/question-tips#questionTips3-7 の [リンク] で [リンク先のタイトル](http...) に修正してください。

[hiroikawa55]

ご依頼のありました、リンク先の表示方法を修正いたしました。

Answer 1

df3['company'] は

"({:.2f}): {}".format(sim, "".join(tweet.split()))

にて書き出したデータを

list_df['company'].str.split(':', expand=True)

と分割したものなので、当然２つ目のデータ(company)には ({:.2f}): {} の : の後のスペースが残ります。
（すべてのCompany列の頭にスペースが入っている状態になっている）

ですので修正点としては

df3['company'] = df3['company'].str.strip()
print(pd.merge(df, df3, left_on='company', right_on='company'))

としてスペースを取り除く、もしくはデータ作成時に

tmp_se = pd.Series("({:.2f}):{}".format(sim, "".join(tweet.split())))

とスペースを入れないようにすると良いのではないでしょうか

Comments

[hiroikawa55]

できました・・。スペースが入っていたのですね・・・。orz
コードが動いた時は、ようやく自分がやりたかったことができて、控えめに言っても感動しました。本当にありがとうございました。