pandasでダブルクォーテーションをシングルクォーテーションに変換したい

Question

実現したいこと

pandasで読み込んだcsvの項目にあるダブルクォーテーションをシングルクォーテーションに変換したいです。
ダブルクォーテーションは二重三重になっています。
読み込むcsvは下記のようなデータだと仮定します。

取引先コード	取引先名	属性
100	"""A""LINE LTD"	A
200	ABC商事	B
300	あいうえお産業	B

"""A""LINE LTD" --> 'A' LINE LTD
と変換したいです。

発生している問題・エラーメッセージ

replaceを使って試したのですが、ダブルクォーテーションのままで何も変化がありません。

該当のソースコード

import pandas as pd
df = pd.read_table(csv,  sep='\t',  encoding='utf-8')
df['取引先名'].replace('""',"'", inplace=True)

試したこと

import pandas as pd
import numpy
df = pd.read_table(csv,
                        sep='\t',
                        encoding='utf-8',
                        converters={
                            "取引先名": lambda x: str(x.replace('""', "'"))
                            }
                        )

補足情報（FW/ツールのバージョンなど）

os: Windows
python: 3.8.1