Table Of Contents - Nvidia DGX H100 User Manual

Contents
1 Introduction to the NVIDIA DGX H100 System
1.1 Hardware Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1 DGX H100 Models and Component Descriptions . . . . . . . . . . . . . . . . . . . . . .
1.1.2 Mechanical Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.3 Power Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.3.1 Support for 4+2 Redundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.4 DGX H100 Locking Power Cord Specification . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.5 Using the Locking Power Cords . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.6 Environmental Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.7 Front Panel Connections and Controls . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.7.1 With a Bezel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.7.2 With the Bezel Removed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.8 Rear Panel Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.9 Motherboard Connections and Controls . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.10 Motherboard Tray Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.11 GPU Tray Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Network Connections, Cables, and Adaptors . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.1 Network Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.2 Compute and Storage Networking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.3 Network Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.4 Supported Network Cables and Adaptors . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 DGX H100 System Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 DGX OS Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5 Customer Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2 Connecting to the DGX H100
2.1 Connecting to the Console . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1 Direct Connection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2 Remote Connection through the BMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 SSH Connection to the OS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3 First Boot Setup
3.1 System Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2 Post Setup Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.1 Obtaining Software Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2.2 Enabling the SRP Daemon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4 Quickstart and Basic Operation
4.1 Installation and Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.3 Obtaining an NGC Account . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4 Turning DGX H100 On and Off . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.4.1 Startup Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1
2
2
3
3
3
3
4
5
5
5
7
7
8
9
17
23
27
i