Table of Contents
Advertisement
InfiniBand Switch Platform Hardware User Manual
Table of Contents
List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
About this Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Chapter 1 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.1 Installation Safety Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Environmental and Safety Recommendations . . . . . . . . . . . . . . . . . . . . 14
1.3 Chassis Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 Leaf Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 Management Package Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6 Physical Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6.1 Starting with the Rack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6.2 ESD Connection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6.3 Installation Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.6.4 Installing the Cable Holder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.6.5 Ground Connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.7 Power Connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.7.1 Powering Up the Switch Platform. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.8 InfiniBand QSFP Cable Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.8.1 Supported Approved Cables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.8.2 Cable Power Classes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.9 Hot Swap Insertion and Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.9.1 Power Supply Units . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.9.2 Leaf Boards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.9.3 Spine Boards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
1.9.4 Fan Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
1.9.5 Management Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
1.9.6 Switch Shut-Down Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Chapter 2 Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1 LED Status Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1.1 Power Supply Unit LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1.2 Leaf Board LED Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.1.3 Spine Board LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.1.4 Spine Side Panel Display LED Indicators . . . . . . . . . . . . . . . . . . . . . . . . 62
2.1.5 Management Module LED Indicators. . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.1.6 Port Connector Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.2 Air Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.3 QSFP Cable Power Budget Classification. . . . . . . . . . . . . . . . . . . . . . . . 66
2.4 Management Module Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.4.1 I2C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.4.2 CONSOLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.4.3 MGT- Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.4.4 USB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Mellanox Technologies
3
Advertisement
Table of Contents
