IBM Power Systems 775 Manual page 6

1.6.6 LPARs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.6.7 Utility nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1.6.8 GPFS I/O nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
1.7 Typical connection scenario between EMS, HMC, Frame . . . . . . . . . . . . . . . . . . . . . . 58
1.8 Software stack. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
1.8.1 ISNM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
1.8.2 DB2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
1.8.3 Extreme Cluster Administration Toolkit (xCAT). . . . . . . . . . . . . . . . . . . . . . . . . . . 70
1.8.4 Toolkit for Event Analysis and Logging (TEAL). . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.8.5 Reliable Scalable Cluster Technology (RSCT) . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.8.6 GPFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
1.8.7 IBM Parallel Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
1.8.8 LoadLeveler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
1.8.9 ESSL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
1.8.10 Parallel ESSL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
1.8.11 Compilers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
1.8.12 Parallel Tools Platform (PTP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Chapter 2. Application integration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
2.1 Power 775 diskless considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
2.1.1 Stateless vs. Statelite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
2.1.2 System access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
2.2 System capabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
2.3 Application development . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
2.3.1 XL compilers support for POWER7 processors . . . . . . . . . . . . . . . . . . . . . . . . . 104
2.3.2 Advantage for PGAS programming model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2.3.3 Unified Parallel C (UPC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
2.3.4 ESSL/PESSL optimized for Power 775 clusters . . . . . . . . . . . . . . . . . . . . . . . . . 113
2.4 Parallel Environment optimizations for Power 775 . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.4.1 Considerations for using Host Fabric Interface (HFI) . . . . . . . . . . . . . . . . . . . . . 116
2.4.2 Considerations for data striping with PE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
2.4.3 Confirmation of HFI status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
2.4.4 Considerations for using Collective Acceleration Unit (CAU) . . . . . . . . . . . . . . . 126
2.4.5 Managing jobs with large numbers of tasks (up to 1024 K) . . . . . . . . . . . . . . . . 129
2.5 IBM Parallel Environment Developer Edition for AIX . . . . . . . . . . . . . . . . . . . . . . . . . 133
2.5.1 Eclipse Parallel Tools Platform (PTP 5.0) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
2.5.2 IBM High Performance Computing Toolkit (IBM HPC Toolkit) . . . . . . . . . . . . . . 133
2.6 Running workloads using IBM LoadLeveler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
2.6.1 Submitting jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
2.6.2 Querying and managing jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
2.6.3 Specific considerations for LoadLeveler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Chapter 3. Monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.1 Component monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
3.1.1 LoadLeveler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
3.1.2 General Parallel File System (GPFS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
3.1.3 xCAT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
3.1.4 DB2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
3.1.5 AIX and Linux systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
3.1.6 Integrated Switch Network Manager (ISNM). . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
3.1.7 Host Fabric Interface (HFI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
3.1.8 Reliable Scalable Cluster Technology (RSCT) . . . . . . . . . . . . . . . . . . . . . . . . . . 203
3.1.9 Compilers environment (PE Runtime Edition, ESSL, Parallel ESSL) . . . . . . . . . 206
iv
IBM Power Systems 775 for AIX and Linux HPC Solution