IBM NeXtScale System Planning And Implementation Manual page 7

4.15 Remote server management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.16 External disk storage expansion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.17 Physical specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.18 Operating systems support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Chapter 5. Rack planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.1 Power planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.1.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.1.2 PDUs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.1.3 UPS units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2 Cooling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.3 Density . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.4 Racks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.4.1 The IBM 42U 1100mm Enterprise V2 Dynamic Rack . . . . . . . . . . . 125
5.4.2 Installing NeXtScale System in other racks . . . . . . . . . . . . . . . . . . 131
5.4.3 Rack options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5 Rear Door Heat Exchanger . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
5.6 Top of rack switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
5.6.1 Ethernet switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
5.6.2 InfiniBand switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.6.3 Fibre Channel switches. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.7 Rack-level networking: Sample configurations . . . . . . . . . . . . . . . . . . . . 146
5.7.1 Non-blocking InfiniBand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.7.2 50% blocking InfiniBand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.7.3 10 Gb Ethernet, one port per node . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.7.4 10 Gb Ethernet, two ports per node . . . . . . . . . . . . . . . . . . . . . . . . 150
5.7.5 Management network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Chapter 6. Factory integration and testing . . . . . . . . . . . . . . . . . . . . . . . . 153
6.1 IBM standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
6.2 Testing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.3 Documentation that is provided. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.3.1 HPLinpack testing results: Supplied on request . . . . . . . . . . . . . . . 157
Chapter 7. Hardware management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
7.1 Managing compute nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
7.1.1 Integrated Management Module II . . . . . . . . . . . . . . . . . . . . . . . . . 160
7.1.2 Unified Extendible Firmware Interface . . . . . . . . . . . . . . . . . . . . . . 164
7.1.3 ASU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
7.1.4 Firmware upgrade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
7.2 Managing the chassis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
7.2.1 FPC web browser interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.2 FPC IPMI interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
7.3 ServeRAID C100 drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
v
Contents