質問編集履歴
2
誤字
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -52,7 +52,7 @@
|
|
|
52
52
|
|
|
53
53
|
<template>
|
|
54
54
|
|
|
55
|
-
|
|
55
|
+
nodes hostname1:27017,hostname2:27017,hostname3:27017
|
|
56
56
|
|
|
57
57
|
replica_set rs0
|
|
58
58
|
|
1
質問内容を具体的にしました
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,11 +1,111 @@
|
|
|
1
|
-
|
|
1
|
+
Fluentdを使ってAWSのEC2上に構築したmongoDBにデータを転送することはできるのですが、mongoDB互換のマネージドサービスであるDocumentDBにデータを転送することができません。
|
|
2
2
|
|
|
3
3
|
|
|
4
4
|
|
|
5
|
+
下記は/var/log/test/bulk/に保存したjsonファイルをmongoDBに転送する際のtd-agent.confです。
|
|
6
|
+
|
|
7
|
+
```
|
|
8
|
+
|
|
9
|
+
<source>
|
|
10
|
+
|
|
11
|
+
@type tail
|
|
12
|
+
|
|
13
|
+
path /var/log/test/bulk/*
|
|
14
|
+
|
|
15
|
+
tag bulk.*
|
|
16
|
+
|
|
17
|
+
format json
|
|
18
|
+
|
|
19
|
+
time_key time
|
|
20
|
+
|
|
21
|
+
time_format '%F %T.%N %z %Z'
|
|
22
|
+
|
|
5
|
-
|
|
23
|
+
pos_file /var/log/test/run/log-json.pos
|
|
24
|
+
|
|
25
|
+
read_from_head true
|
|
26
|
+
|
|
27
|
+
refresh_interval 5s
|
|
28
|
+
|
|
29
|
+
</source>
|
|
6
30
|
|
|
7
31
|
|
|
8
32
|
|
|
9
|
-
|
|
33
|
+
<match bulk.**>
|
|
10
34
|
|
|
11
|
-
|
|
35
|
+
@type record_reformer
|
|
36
|
+
|
|
37
|
+
tag test.${tag_parts[-3]}.${tag_parts[-2]}
|
|
38
|
+
|
|
39
|
+
</match>
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
|
|
43
|
+
<match test.**>
|
|
44
|
+
|
|
45
|
+
@type copy
|
|
46
|
+
|
|
47
|
+
<store>
|
|
48
|
+
|
|
49
|
+
@type forest
|
|
50
|
+
|
|
51
|
+
subtype mongo_replset
|
|
52
|
+
|
|
53
|
+
<template>
|
|
54
|
+
|
|
55
|
+
host hostname1:27017,hostname2:27017,hostname3:27017
|
|
56
|
+
|
|
57
|
+
replica_set rs0
|
|
58
|
+
|
|
59
|
+
database ${tag_parts[-2]}
|
|
60
|
+
|
|
61
|
+
collection ${tag_parts[-1]}
|
|
62
|
+
|
|
63
|
+
user ********
|
|
64
|
+
|
|
65
|
+
password ********
|
|
66
|
+
|
|
67
|
+
replace_dot_in_key_with __dot__
|
|
68
|
+
|
|
69
|
+
<buffer>
|
|
70
|
+
|
|
71
|
+
@type file
|
|
72
|
+
|
|
73
|
+
path /var/log/test/buffer-mongo/${tag_parts[-2..-1]}
|
|
74
|
+
|
|
75
|
+
chunk_limit_size 8m
|
|
76
|
+
|
|
77
|
+
queued_chunks_limit_size 64
|
|
78
|
+
|
|
79
|
+
flush_interval 1s
|
|
80
|
+
|
|
81
|
+
</buffer>
|
|
82
|
+
|
|
83
|
+
</template>
|
|
84
|
+
|
|
85
|
+
</store>
|
|
86
|
+
|
|
87
|
+
</match>
|
|
88
|
+
|
|
89
|
+
```
|
|
90
|
+
|
|
91
|
+
|
|
92
|
+
|
|
93
|
+
DocumentDBに転送する際は、上記のconfファイルのhostをクラスターのエンドポイントに変更しましたが、下記のエラーが発生しました。
|
|
94
|
+
|
|
95
|
+
|
|
96
|
+
|
|
97
|
+
```
|
|
98
|
+
|
|
99
|
+
2021-09-14 10:26:55 +0900 [warn]: #0 failed to flush the buffer. retry_time=0 next_retry_seconds=2021-09-14 10:26:56 +0900 chunk="5cbea78155b58ec0810e9fde94aa2355" error_class=Mongo::Error::NoServerAvailable error="No server is available matching preference: #<Mongo::ServerSelector::Primary:0x70233136498300 tag_sets=[] max_staleness=nil> using server_selection_timeout=30 and local_threshold=0.015"
|
|
100
|
+
|
|
101
|
+
```
|
|
102
|
+
|
|
103
|
+
|
|
104
|
+
|
|
105
|
+
DocumentDBはTLSが有効になっているため、[rds-combined-ca-bundle.pem](https://s3.amazonaws.com/rds-downloads/rds-combined-ca-bundle.pem)を指定しTLSを有効にする必要があるとのかな？と思ってるのですが、その方法がわかりません。
|
|
106
|
+
|
|
107
|
+
([リンク先](https://docs.aws.amazon.com/ja_jp/documentdb/latest/developerguide/connect_programmatically.html)を参考にPythonでDocumentDBへの書き込みテストを行ったときに、TLSを無効にすると上記のエラーが発生しました。)
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
|
|
111
|
+
TLSを有効にしてDocumentDBにデータを書き込む方法を教えて頂けますでしょうか？
|