为infiniband设置GPUDirect
我尝试设置GPUDirect直接在设备内存上使用infiniband动词rdma调用,而无需使用cudaMemcpy。 我有两台nvidia k80 gpu卡,每个驱动程序版本为367.27。 CUDA8已安装,Mellanox OFED 3.4还安装了Mellanox-nvidia GPUDirect插件:
-bash-4.2$ service nv_peer_mem status
nv_peer_mem module is loaded.
根据这个线程“如何使用GPUDirect RDMA与Infiniband”我拥有GPUDirect的所有需求,下面的代码应该可以成功运行。 但它并没有和ibv_reg_mr失败,出现错误“Bad Address”,好像GPUDirect没有正确安装。
void * gpu_buffer;
struct ibv_mr *mr;
const int size = 64*1024;
cudaMalloc(&gpu_buffer,size); // TODO: Check errors
mr = ibv_reg_mr(pd,gpu_buffer,size,IBV_ACCESS_LOCAL_WRITE|IBV_ACCESS_REMOTE_WRITE|IBV_ACCESS_REMOTE_READ);
要求的信息:
使用mlx5。
最后的内核日志:
[Nov14 09:49] mlx5_warn:mlx5_0:mlx5_ib_reg_user_mr:1418:(pid 4430): umem get failed (-14)
我错过了什么吗? 我需要其他数据包还是必须以某种方式在我的代码中激活GPUDirect?
nv_peer_mem模块失败的一个常见原因是与统一存储器(UVM)的交互。 你可以尝试禁用UVM:
export CUDA_DISABLE_UNIFIED_MEMORY=1
?
如果这不能解决你的问题,你应该尝试从https://github.com/NVIDIA/gdrcopy运行validation
和copybw
测试来检查GPUDirectRDMA。 如果它有效,那么你的Mellanox堆栈配置错误。