在4 片 Tesla 的机器上,运行 cuda 样例程序 P2pbandwidthLatencyTest,测试不同卡之间是否有 P2P 通信、卡之间的传输速度;
然后每两卡之间加上桥接器,一共加两个桥接器,再测试不同卡之间是否有 P2P 通信、卡之间的传输速度;
测试环境:
Tesla GPU*4/NVLINK桥接器*2/操作系统Ubuntu 18.04/CUDA11.6/驱动510
测试过程及结果:
不加桥接器的状态:
1.显示各显卡状态;
2.运行 P2pbandwidthLatencyTest,显示各卡通信状态及速度;
可以看到:GPU0 和 GPU3 之间、GPU1 和 GPU2 之间,都是没有 P2P 通信的;
3.加上两个nvlink桥接器(下图红框所示);
4.加上桥接器后,显示各显卡状态:
可以看出,加上桥接器后的两卡之间实现了 P2P 通信;
测试结论:
1.不加桥接器时,四张卡不能进行 P2P 通信;
2.在相邻两卡之间加上桥接器后,两卡之间可以进行 P2P 通信,而且速度有极大提升;