测试数据

NVLINK 桥接器测试

2022-11-30 15:59:46 gx 188

测试步骤

在4 片 Tesla 的机器上,运行 cuda 样例程序 P2pbandwidthLatencyTest,测试不同卡之间是否有 P2P 通信、卡之间的传输速度;

然后每两卡之间加上桥接器,一共加两个桥接器,再测试不同卡之间是否有 P2P 通信、卡之间的传输速度;


测试环境:

    Tesla GPU*4/NVLINK桥接器*2/操作系统Ubuntu 18.04/CUDA11.6/驱动510

测试过程及结果:


不加桥接器的状态:


1.显示各显卡状态;


3-220629111536243.png

2.运行 P2pbandwidthLatencyTest,显示各卡通信状态及速度;

高性能工作站服务器找我们


可以看到:GPU0 和 GPU3 之间、GPU1 和 GPU2 之间,都是没有 P2P 通信的;

高性能工作站服务器找我们



3-220629111AS01.png


3.加上两个nvlink桥接器(下图红框所示);


高性能工作站服务器找我们


4.加上桥接器后,显示各显卡状态:

高性能工作站服务器找我们

可以看出,加上桥接器后的两卡之间实现了 P2P 通信;


3-220629111P6202.png 


3-220629111QUZ.png


3-220629111S22G.png


测试结论:

1.不加桥接器时,四张卡不能进行 P2P 通信;

2.在相邻两卡之间加上桥接器后,两卡之间可以进行 P2P 通信,而且速度有极大提升;


解决方案