AWSGlue to AWSRDS(postgre) データカタログのクローラー実行時の「ERROR : Internal Service Exception」について

Question

実現したいこと

AWSRDS(postgre) のデータカタログをクローラーを実行し作成したい。

発生している問題・分からないこと

AWSGlueのクローラーを走らせると約9分ほどで、failedとなってしまいます。
エラーログは「ERROR : Internal Service Exception」と表示されます。

ここに関して、AWSのre:Postのこの部分「https://repost.aws/ja/knowledge-center/glue-crawler-internal-service-exception」を参照して、色々試行錯誤していますが、なかなか解決ができません。

JDBC接続の設定をしていて、S3にJDBCドライバーを配置してVPCエンドポイントを開けています。

re:Postの内容として
RDSの構造はかなり一般的で特殊な文字があったりなどはないと思ってはいます。（もちろんそこにミスもあるかもしれませんが）

エラーメッセージが「ERROR : Internal Service Exception」のため、原因の特定が難しいのですが、知見のある方アドバイスをお願いできればと思います。

該当のソースコード

特になし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

AWS公式のre:Postを参照したが、量も多くなかなか解決ができない。

補足

特になし

Comments

[mike2mike4]

接続が上手くいって無くてタイムアウトしているかもしれません。
AWS GlueのCloudWatchログを確認し、エラーが発生した詳細な部分を特定してください。

[y.c.0524]

誠にありがとうございます。
やはり接続がうまくいってない可能性が高いのですね。

走らせたcrawlerの「View CloudWatch Logs」を見ると、
「ERROR : Internal Service Exception」この文字しか表示されないのですが、
より詳細に確認できるようなCloudWatch設定などもあったりするのでしょうか？

あまりその辺も詳しくなく、特に何の設定はしていないのですがCrawler runsから「View CloudWatch Logs」というのに飛ぶことができたので、それでみている状況でした。

[mike2mike4]

うーん、Glueは昔ちょっと触っただけなのでクリティカルに言えないのですが……
GlueからRDSにアクセスできるようにセキュリティグループポート5432が開いていますか？

[y.c.0524]

返信、ありがとうございます。
セキュリティグループの設定は別の者に色々設定してもらったのですが、みたところ一応RDSのセキュリティグループのインバンドとアウトバウンドのポート範囲はともに「5432」とはなっておりました。

ただこの辺りがちょっと気になりますね、もう少し調査してみます。
また他にも気になるところがありましたらご教授お願いします。

Answer 1

AWSのサポートにお伺いをして無事に解決しました。

原因はVPCにGlueがアクセスするエンドポイントがないことが原因だったようです。
ご協力いただいた皆様、誠にありがとうございました。
まだ勉強中の身でございまして、また色々とご質問をさせていただきたいと思います。