<div dir="ltr">Hi Vedran,<br><br>I tried to hard-code the device index to acc_set_active_device(#) and when I tried to use 1 node -> all cores and a particular device-ID #, somehow all the other device indices gets into the picture. This happens when using MPI.<br><br>The goal is to use 1 node, all cores and a particular device-ID # using MPI (popt). I changed the line : 199 at cp2k_runs.F and even initialized the device_ID=# in acc/include/acc.h. But somehow, the other device IDs gets in. I have tried a serial run using a particular GPU and this config worked fine. Some how, using mpirun is messing things around. <br><br>It looks like there are no other places from where a set_device_active() can be invoked other than cp2k_runs.F. Do you have an idea what could be going on?<br><br>Thanks,<br>Abhishek<br>On Wednesday, November 12, 2014 3:46:26 AM UTC-5, Vedran Miletić wrote:<blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;"><div dir="ltr">Hello Abhishek,<br><br>can you try changing line 199 in cp2k/src/start/cp2k_runs.F from:<br><br>  CALL acc_set_active_device(MOD(<wbr>para_env%mepos, acc_get_ndevices()))<br><br>to<br><br>  CALL acc_set_active_device(1)<br><br>and see if this works? You can use 2 or 3 if you prefer.<br><br>Regards,<br>Vedran<br><br>Dana utorak, 11. studenoga 2014. 20:06:42 UTC+1, korisnik Abhishek Bagusetty napisao je:<blockquote class="gmail_quote" style="margin:0;margin-left:0.8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Developers,<br><br>The cluster we use have a 4 on-node GPUs. It is apparent that the GPU-IDs are tagged as 0,1,2,3 and when GPU_ID 0 is being used by some-other application, CP2K reports in the output that  <u>CUDA Error: all CUDA-capable devices are busy or unavailable</u>. It looks like the deviceIndex is defaulted to 0 for the CUDA APIs.<br><br>Is there a way to specify a specific GPU-ID, so that memory management and/or kernel computations are performed with respect to that particular device ID ?<br><br>Thanks,<br>Abhishek <br><br><div><div><div><div><div><div><div><div><div dir="ltr"><div><div><div><div><div><div><font size="1"><span style="font-family:georgia,serif"><span style="color:rgb(0,0,255)">------------------------------<wbr>------------------------------<wbr>------------------------------<wbr>-----------------<br>Abhishek Bagusetty<br></span></span></font></div><font size="1"><span style="font-family:georgia,serif"><span style="color:rgb(0,0,255)">PhD Student, Computational Modeling & Simulation<br></span></span></font></div><font size="1"><span style="font-family:georgia,serif"><span style="color:rgb(0,0,255)">Center for Simulation and Modeling<br></span></span></font></div><font size="1"><span style="font-family:georgia,serif"><span style="color:rgb(0,0,255)">Department of Chemical & Petroleum Engineering<br></span></span></font></div><font size="1"><span style="font-family:georgia,serif"><span style="color:rgb(0,0,255)">University of Pittsburgh</span><br><span style="color:rgb(0,0,255)">Pittsburgh, PA - 15261</span></span></font></div><font size="1"><span style="font-family:georgia,serif"><span style="color:rgb(0,0,255)">Office : 920 Benedum Hall<br></span></span></font></div><span style="font-family:verdana,sans-serif"><font><span style="color:rgb(0,0,255)"></span></font></span><div><div><span style="font-family:verdana,sans-serif"><font><span style="color:rgb(0,0,255)"></span></font></span><font size="1"><span style="font-family:georgia,serif"><span style="color:rgb(0,0,255)">------------------------------<wbr>------------------------------<wbr>------------------------------<wbr>-----------------</span></span></font></div></div></div></div></div></div></div></div></div></div></div><br></div></blockquote></div></blockquote></div>