IBM AIX HACMP SG24-5131-00 Hardware User Manual page 7

5.1.3 Event Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.1.4 Event Recovery and Retry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.1.5 Notes on Customizing Event Processing . . . . . . . . . . . . . . . . . 123
5.1.6 Event Emulator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.2 Error Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.3 Network Modules/Topology Services and Group Services . . . . . . . . 124
5.4 NFS considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.4.1 Creating Shared Volume Groups . . . . . . . . . . . . . . . . . . . . . . . 125
5.4.2 Exporting NFS File Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.4.3 NFS Mounting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.4.4 Cascading Takeover with Cross Mounted NFS File Systems . . 126
5.4.5 Cross Mounted NFS File Systems and the Network Lock Manager.
128
Chapter 6. Cluster Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.1 Node Verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.1.1 Device State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.1.2 System Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.1.3 Process State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.1.4 Network State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6.1.5 LVM State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.1.6 Cluster State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.2 Simulate Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.1 Adapter Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.2 Node Failure / Reintegration . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6.2.3 Network Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
6.2.4 Disk Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.5 Application Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
Chapter 7. Cluster Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.1 Cluster Log Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.2 config_too_long . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.3 Deadman Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.3.1 Tuning the System Using I/O Pacing . . . . . . . . . . . . . . . . . . . . 146
7.3.2 Extending the syncd Frequency . . . . . . . . . . . . . . . . . . . . . . . . 146
7.3.3 Increase Amount of Memory for Communications Subsystem. . 146
7.3.4 Changing the Failure Detection Rate . . . . . . . . . . . . . . . . . . . . 147
7.4 Node Isolation and Partitioned Clusters . . . . . . . . . . . . . . . . . . . . . . 147
7.5 The DGSP Message. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.6 User ID Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
7.7 Troubleshooting Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Chapter 8. Cluster Management and Administration . . . . . . . . . . . . . 151
8.1 Monitoring the Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
v