nvitop 是一个用于监控 NVIDIA GPU 使用情况的命令行工具，类似于 Linux 上的 top 命令，但专门用于展示 GPU 相关的性能数据。它提供了有关 GPU 资源利用率、内存使用、温度等信息，非常适合开发者和数据科学家在深度学习训练时实时监控 GPU 状态。

安装 nvitop

nvitop 需要安装 NVIDIA GPU 驱动以及 nvidia-smi 工具。如果你的机器已经安装了 NVIDIA 驱动和 nvidia-smi，你可以通过以下步骤安装 nvitop：

1. 通过 pip 安装：
   nvitop 可以通过 Python 的包管理工具 pip 来安装。打开终端并执行以下命令：

   pip install nvitop
   

2. 通过源码安装：
   如果你希望从源码安装，首先需要克隆 nvitop 的 GitHub 仓库：

   git clone https://github.com/ytai/nvitop.git
   cd nvitop
   pip install .
   

使用 nvitop

安装完成后，你可以在终端中直接运行 nvitop 命令来查看 GPU 的使用情况：

nvitop

nvitop 的常见功能

nvitop 会显示类似 nvidia-smi 的 GPU 状态信息，但以更易读和互动的方式呈现。它显示的主要内容包括：

• GPU 利用率：显示 GPU 核心的使用情况，通常以百分比形式表示。
• 内存使用情况：显示 GPU 内存的使用情况，包括已用内存和总内存。
• 温度：显示 GPU 的温度。
• 进程：显示每个 GPU 上运行的进程，通常包括进程 ID、GPU 内存占用和计算任务的相关信息。

实际例子

运行 nvitop 后，你会看到类似下面的信息：

$ nvitop

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.73.01    Driver Version: 460.73.01    CUDA Version: 11.2    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap| Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla V100-SXM2-16GB    Off | 00000000:00:00.0 Off |                    0 |
| N/A   39C    P8    24W / 250W |    0MiB / 16160MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

上面的信息提供了 GPU 的当前状态，包括温度、功耗、GPU 利用率、内存使用情况等。

常用的 nvitop 命令选项

• -h 或 --help：显示帮助信息。

  nvitop -h
  

• -i 或 --interactive：以交互模式启动，允许动态更新并与命令行交互。

  nvitop -i
  

• -d 或 --display：选择要显示的详细信息，如温度、功耗、内存使用等。

  nvitop -d
  

• -p 或 --process：只显示与特定进程相关的 GPU 使用情况。

  nvitop -p
  

其他常见 GPU 监控工具

除了 nvitop，你还可以使用以下工具来监控 NVIDIA GPU 的性能：

• nvidia-smi：这是 NVIDIA 提供的标准命令行工具，可以显示 GPU 使用情况、温度、内存等。nvitop 是 nvidia-smi 的增强版本。

  nvidia-smi
  

• gpustat：一个轻量级的工具，用于显示当前 GPU 使用情况，类似于 nvitop。

  pip install gpustat
  gpustat
  

小结

nvitop 是一个用于实时监控 NVIDIA GPU 使用情况的工具，提供了比 nvidia-smi 更友好的交互界面，可以帮助你快速获取 GPU 的性能和内存使用信息。你可以通过 pip 安装它，并使用其多种功能来查看和管理 GPU 状态。