計算量が同じはずなのに定数倍とは思えないほどの計算量の差が出ます

#発生している問題
第6回情報オリンピック本選の過去問第三番を解いている際に発生しました。この問題は概して言うとx-y平面内にあるn(<=3000)個の点の座標が与えられ、それらのうち4点がなす正方形の面積の最大値を求めよと言うものです。着想した解法は想定解と同じで、n個の点のうち異なる2個の組み合わせ全通りに対して、そこから時計回りおよび反時計回りに正方形をなすような残りの2点が存在するかを判定していく、ということを思いつきました(計算量はO(n^2logn)となり間に合うはずです)。しかし、実装の段階になって問題が生じました。
前述の「時計回りおよび反時計回りに正方形をなすような残りの2点が存在するか」を判定する際に、予めn個の座標をpair<long long (x座標), long long (y座標)>をkeyとするmapとして格納しておきました。そして書いたコードが以下(関係ないdefine等は削ってあります。元のコードはこちら)です。

C++
1#include <iostream>
2#include <algorithm>
3#include <vector>
4#include <queue>
5#include <string>
6#include <cstring>
7#include <utility>
8#include <set>
9#include <stack>
10#include <climits>
11#include <cmath>
12#include <iomanip>
13#include <unordered_map>
14#include <map>
15#include <boost/multiprecision/cpp_int.hpp>
16 
17#define rep(i,n) for(int i=0, i##_len=(n); i<i##_len; ++i)
18#define rep1(i,n) for(int i=1, i##_len=(n); i<=i##_len; ++i)
19#define reps(i,s,n) for(int i=s, i##_len=(n); i<i##_len; ++i)
20#define all(x) (x).begin(),(x).end()
21#define MEMSET(v, h) memset((v), h, sizeof(v))
22typedef long long ll;
23
24 
25int main(void){
26    ll n;
27    cin>>n;
28    vector<pair<ll, ll> > cols;
29    map<pair<ll, ll> , ll> ma;
30    rep(i,n){
31        ll x, y;
32        cin>>x>>y;
33        cols.push_back({x, y});
34        ma[{x, y}]++;
35    }
36    ll Maxima=0;
37    rep(i, n-1) reps(j, i+1, n){
38        ll dx=cols[j].first-cols[i].first;
39        ll dy=cols[j].second-cols[i].second;
40
41　　　　　//以下mapによる判定処理
42        if(ma[{cols[i].first-dy, cols[i].second+dx}]!=0 && ma[{cols[j].first-dy, cols[j].second+dx}]!=0){
43            Maxima=max(Maxima, dx*dx+dy*dy);
44        }
45        if(ma[{cols[i].first+dy, cols[i].second-dx}]!=0 && ma[{cols[j].first+dy, cols[j].second-dx}]!=0){
46            Maxima=max(Maxima, dx*dx+dy*dy);
47        }
48
49    }
50    cout<<Maxima<<endl;
51    return 0;
52}

こちらのコードは実行時間3314 ms、メモリ使用量235980 KBになりました。計算量解析と反し、これらはどちらも問題の制限を超えており、不正解になります。
一方、他の方提出したコードを参考に、上記のコードの「mapによる判定処理」にあたる部分で、mapの要素に直接アクセスするのではなく、map.count()によって要素が存在するかを判定したコードに直してみました。それが以下(これも関係ないdefine等は削ってあります。元のコードはこちら)になります。

C++
1#include <iostream>
2#include <algorithm>
3#include <vector>
4#include <queue>
5#include <string>
6#include <cstring>
7#include <utility>
8#include <set>
9#include <stack>
10#include <climits>
11#include <cmath>
12#include <iomanip>
13#include <unordered_map>
14#include <map>
15#include <boost/multiprecision/cpp_int.hpp>
16
17#define rep(i,n) for(int i=0, i##_len=(n); i<i##_len; ++i)
18#define rep1(i,n) for(int i=1, i##_len=(n); i<=i##_len; ++i)
19#define reps(i,s,n) for(int i=s, i##_len=(n); i<i##_len; ++i)
20#define all(x) (x).begin(),(x).end()
21#define MEMSET(v, h) memset((v), h, sizeof(v))
22typedef long long ll;
23
24int main(void){
25    ll n;
26    cin>>n;
27    vector<pair<ll, ll> > cols;
28    map<pair<ll, ll> , ll> ma;
29    rep(i,n){
30        ll x, y;
31        cin>>x>>y;
32        cols.push_back({x, y});
33        ma[{x, y}]++;
34    }
35    ll Maxima=0;
36    rep(i, n-1) reps(j, i+1, n){
37        ll dx=cols[j].first-cols[i].first;
38        ll dy=cols[j].second-cols[i].second;
39
40        //以下はmapによる判定処理(修正版)
41        if(ma.count({cols[i].first-dy, cols[i].second+dx}) && ma.count({cols[j].first-dy, cols[j].second+dx})){
42            Maxima=max(Maxima, dx*dx+dy*dy);
43        }
44        if(ma.count({cols[i].first+dy, cols[i].second-dx}) && ma.count({cols[j].first+dy, cols[j].second-dx})){
45            Maxima=max(Maxima, dx*dx+dy*dy);
46        }
47
48    }
49    cout<<Maxima<<endl;
50    return 0;
51}

要するに、ma[座標]!=0によって判定していたものを、ma.count(座標)に書き換えただけです。これらはどちらもC++のレファレンスによるとO(log n)で計算できるはずで、計算時間に大きな改善が見られるとは思えません。しかし、こちらのコードは、全く同一のテストケースに実行時間619 ms、メモリ3868 KBと大幅に改善しました。これは十分に正解になる値です。ただアクセスの仕方を変えただけなのに、メモリ使用量が桁が二つ違うのは異常に思えます。

この計算量の差は一体どこから生じるのでしょうか？詳しい方、ご教授いただけるとありがたいです。よろしくお願い申し上げます。

#環境
Atcoderのオンラインジャッジシステムで、コンパイラはC++ (GCC 9.2.1)です。

※追記　解決しました。3方ともご回答ありがとうございました。ベストアンサーを選ばなければ解決済みにならないようなので、どれも同様に解決に役立ちましたが、最も回答の早かったものをベストアンサーにさせていただきます。