Try to switch to InfiniBand network. <div>Just forget the ethernet adapters if you are working heavy MPI workloads. <br><br></div><div class="gmail_quote"><div dir="auto" class="gmail_attr">On Tuesday, February 1, 2022 at 12:37:03 AM UTC+8 Tat wrote:<br/></div><blockquote class="gmail_quote" style="margin: 0 0 0 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">Dear all,<div>we are trying to improve the suboptimal scaling of CP2K we're experiencing on a linux cluster with several physical nodes: the execution on 2 or more nodes appears to be significantly slower than on a single one. </div><div>The system has nodes with 32-core Xeon Silver processors with hyperthreading, Gigabit ethernet and the execution is done according to the parameters provided by the plan.sh script, i.e.</div><div><br></div><div>for 1 node:</div><div><b>mpirun -np 16 -genv I_MPI_PIN_DOMAIN=auto -genv I_MPI_PIN_ORDER=bunch -genv OMP_PLACES=threads -genv OMP_PROC_BIND=SPREAD -genv OMP_NUM_THREADS=4 ~/cp2k-8.2/exe/Linux-x86-64-intelx/cp2k.psmp job.inp</b><br></div><div><b><br></b></div><div>for 2 nodes:</div><div><div><b>mpirun -r ssh -perhost 16 -host linux1,linux2 -genv I_MPI_PIN_DOMAIN=auto -genv I_MPI_PIN_ORDER=bunch -genv OMP_PLACES=threads -genv OMP_PROC_BIND=SPREAD -genv OMP_NUM_THREADS=4 ~/cp2k-8.2/exe/Linux-x86-64-intelx/cp2k.psmp job.inp<br></b></div><div><br></div></div><div>CP2K PSMP was compiled using Intel ONEAPI mpiifort 2021.3.0.</div><div><br></div><div>What could be done to improve the performance? Can network communication or SSH cause the bottleneck? </div><div>Any suggestions or references would be much appreciated.</div><div>Thanks &regards,</div><div><br></div><div>Attila</div></blockquote></div>

<p></p>

-- <br />
You received this message because you are subscribed to the Google Groups "cp2k" group.<br />
To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:cp2k+unsubscribe@googlegroups.com">cp2k+unsubscribe@googlegroups.com</a>.<br />
To view this discussion on the web visit <a href="https://groups.google.com/d/msgid/cp2k/14b8e5b2-ac3b-4fa8-810e-bb5d0ec175efn%40googlegroups.com?utm_medium=email&utm_source=footer">https://groups.google.com/d/msgid/cp2k/14b8e5b2-ac3b-4fa8-810e-bb5d0ec175efn%40googlegroups.com</a>.<br />