PaceMakeプロセスが一部正常に起動できずPacemaker自体の再起動が繰り返し発生する

Question

###前提・実現したいこと
事象
pacemakerの起動に失敗してしまいます。
Pacemaker起動時にstonith-ngのプロセスがexitedしてしまい、
stonith-ngの再起動に失敗しており、クラスタを正常に起動することができません。

問題の切り分け方法等、ご存知の方いらっしゃいましたら教えて下さい。

環境
RedHat6.4(x86_64)
pacemaker-1.1.13-1.el6.x86_64
corosync-2.3.4-1.el6.x86_64

###発生時のログ

下記のログの
error: pcmk_child_exit～が問題なのではないかと思ております。

crmd[3008]: info: corosync_node_name: Unable to get node name for nodeid 1
crmd[3008]: notice: get_node_name: Defaulting to uname -n for the local corosync node name
crmd[3008]: info: crm_get_peer: Node 1 is now known as AAAAAA
crmd[3008]: warning: crm_get_peer: Node names with capitals are discouraged, consider changing 'AAAAAA' to something else
crmd[3008]: info: peer_update_callback: AAAAAA is now (null)
cib[3003]: info: cib_process_request: Forwarding cib_modify operation for section status to master (origin=local/attrd/2)
cib[3003]: info: corosync_node_name: Unable to get node name for nodeid 1
cib[3003]: notice: get_node_name: Defaulting to uname -n for the local corosync node name
crmd[3008]: notice: cluster_connect_quorum: Quorum lost
stonith-ng[3004]: notice: setup_cib: Watching for stonith topology changes
stonith-ng[3004]: info: qb_ipcs_us_publish: server name: stonith-ng
stonith-ng[3004]: info: main: Starting stonith-ng mainloop
stonith-ng[3004]: info: pcmk_cpg_membership: Joined[0.0] stonith-ng.1
stonith-ng[3004]: info: pcmk_cpg_membership: Member[0.0] stonith-ng.1
stonith-ng[3004]: info: init_cib_cache_cb: Updating device list from the cib: init
stonith-ng[3004]: info: cib_devices_update: Updating devices to version 0.0.0
stonith-ng[3004]: info: unpack_nodes: Creating a fake local node
pacemakerd[2999]: error: pcmk_child_exit: The stonith-ng process (3004) exited: Key has expired (127)
pacemakerd[2999]: notice: pcmk_process_exit: Respawning failed child process: stonith-ng
pacemakerd[2999]: info: start_child: Forked child 3010 for process stonith-ng

###試したこと
・系間パスのIPアドレスにhost名を付与して起動
・IPtablesを停止して起動
・SElinuxは無効にしております

Answer 1

linux-ha のパッケージをご利用かと思います。
stonith-ng のエラーの原因はわかりませんが、ダウンロードページに記載の glib2 のアップデートは実施済みでしょうか？
BZ#113189を見ると、cib プロセスがリターンコード 127 で終了しているので、関係があるかもしれません。

また、ログには nodeid 1 しか記録がないのですが、corosync の疎通はできていますでしょうか。

(node1)# corosync-cfgtool -s
Printing ring status.
Local node ID 1
RING ID 0
        id      = (node1 のホスト名またはIPアドレス)
        status  = ring 0 active with no faults

(node2)# corosync-cfgtool -s
Printing ring status.
Local node ID 2
RING ID 0
        id      = (node1 のホスト名またはIPアドレス)
        status  = ring 0 active with no faults

  それぞれ "active with no faults" であることを確認。


# corosync-cmapctl | grep members
runtime.totem.pg.mrp.srp.members.1.config_version (u64) = 0
runtime.totem.pg.mrp.srp.members.1.ip (str) = r(0) ip(node1 のIPアドレス)
runtime.totem.pg.mrp.srp.members.1.join_count (u32) = 1
runtime.totem.pg.mrp.srp.members.1.status (str) = joined  
runtime.totem.pg.mrp.srp.members.2.config_version (u64) = 0
runtime.totem.pg.mrp.srp.members.2.ip (str) = r(0) ip(node1 のIPアドレス)
runtime.totem.pg.mrp.srp.members.2.join_count (u32) = 1
runtime.totem.pg.mrp.srp.members.2.status (str) = joined

  2つのノードが見えるか確認。

Comments

[cave777]

レスポンスが遅くなって申し訳ありません。
ご回答頂いたとおりglib2のバージョンが古いかった為に起動できませんでした。
glib2をglib2-2.28.8-5.el6.x86_64にバージョンアップすると
正常に起動することができました。

=====古いglib2
[root@AAAAA ~]# rpm -qi glib2
Name : glib2 Relocations: (not relocatable)
Version : 2.22.5 Vendor: Red Hat, Inc.
Release : 7.el6 Build Date: 2012年02月03日 05時28分43秒
Install Date: 2015年01月29日 14時07分46秒 Build Host: x86-002.build.bos.redhat.com
Group : System Environment/Libraries Source RPM: glib2-2.22.5-7.el6.src.rpm
Size : 5190068 License: LGPLv2+
Signature : RSA/8, 2012年04月10日 21時58分12秒, Key ID 199e2f91fd431d51
Packager : Red Hat, Inc. <http://bugzilla.redhat.com/bugzilla>
URL : http://www.gtk.org
Summary : A library of handy utility functions
Description :
GLib is the low-level core library that forms the basis
for projects such as GTK+ and GNOME. It provides data structure
handling for C, portability wrappers, and interfaces for such runtime
functionality as an event loop, threads, dynamic loading, and an
object system.

This package provides version 2 of GLib.
[root@AAAAA ~]#

[cave777]

ご教示いただきありがとうございました。
お礼を申し上げるのを忘れておりました。
失礼しました。