HttpWebRequest で p12ファイルの証明書を使いたい

###前提・実現したいこと
p12ファイルの証明書を使ってリクエストを送信。

###発生している問題・エラーメッセージ

接続が切断されました: SSL/TLS のセキュリティで保護されているチャネルに対する信頼関係を確立できませんでした。

###該当のソースコード

Dim req As HttpWebRequest = HttpWebRequest.Create("https://IPアドレス:443/～～") 
req.Method = "POST"
req.ContentType = "application/x-www-form-urlencoded"
req.ContentLength = postDataBytes.Length 

Dim x509 As New X509Certificate2
x509 = New X509Certificate2(ReadFileAsBytes(My.Application.Info.DirectoryPath & "\証明書\ファイル名.p12"), "パスワード", X509KeyStorageFlags.MachineKeySet) 
req.ClientCertificates.Add(x509) 

Dim reqStream As System.IO.Stream = req.GetRequestStream()←ここでエラー

###試したこと
試しにパスワードを一文字消してみたところ、当然ながら x509 = のところで別のエラーになりました。

相手側から貰ったファイルを使用しているので証明書ファイルそのものが間違っていることはないと思います。
一体なにがいけないのでしょう？
アドレスが名前ではなくIPで書いていることが何か関係しくるのでしょうか？