Like abin suggested, try using an HPC fabric such as InfiniBand or Omnipath. The main point here is about latency is too high over Ethernet for the communication patterns common in MD applications. Note, it is mostly about latency and not the transfer bandwidth (though bw is most advertised like "100G" or 200/400G). I conducted similar experiments in the past with CP2K and QE, and strong-scaling performance diminished quickly (often two nodes already needed a longer time to solution when compared to a single node/system). Of course, this depends on the workload but for instance reductions and all2all comms are the bottleneck in general.<br><br><div class="gmail_quote"><div dir="auto" class="gmail_attr">Tat schrieb am Montag, 31. Januar 2022 um 17:37:03 UTC+1:<br/></div><blockquote class="gmail_quote" style="margin: 0 0 0 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">Dear all,<div>we are trying to improve the suboptimal scaling of CP2K we're experiencing on a linux cluster with several physical nodes: the execution on 2 or more nodes appears to be significantly slower than on a single one. </div><div>The system has nodes with 32-core Xeon Silver processors with hyperthreading, Gigabit ethernet and the execution is done according to the parameters provided by the plan.sh script, i.e.</div><div><br></div><div>for 1 node:</div><div><b>mpirun -np 16 -genv I_MPI_PIN_DOMAIN=auto -genv I_MPI_PIN_ORDER=bunch -genv OMP_PLACES=threads -genv OMP_PROC_BIND=SPREAD -genv OMP_NUM_THREADS=4 ~/cp2k-8.2/exe/Linux-x86-64-intelx/cp2k.psmp job.inp</b><br></div><div><b><br></b></div><div>for 2 nodes:</div><div><div><b>mpirun -r ssh -perhost 16 -host linux1,linux2 -genv I_MPI_PIN_DOMAIN=auto -genv I_MPI_PIN_ORDER=bunch -genv OMP_PLACES=threads -genv OMP_PROC_BIND=SPREAD -genv OMP_NUM_THREADS=4 ~/cp2k-8.2/exe/Linux-x86-64-intelx/cp2k.psmp job.inp<br></b></div><div><br></div></div><div>CP2K PSMP was compiled using Intel ONEAPI mpiifort 2021.3.0.</div><div><br></div><div>What could be done to improve the performance? Can network communication or SSH cause the bottleneck? </div><div>Any suggestions or references would be much appreciated.</div><div>Thanks &regards,</div><div><br></div><div>Attila</div></blockquote></div>

<p></p>

-- <br />
You received this message because you are subscribed to the Google Groups "cp2k" group.<br />
To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:cp2k+unsubscribe@googlegroups.com">cp2k+unsubscribe@googlegroups.com</a>.<br />
To view this discussion on the web visit <a href="https://groups.google.com/d/msgid/cp2k/87c0b0de-885c-4695-add8-99188b807a60n%40googlegroups.com?utm_medium=email&utm_source=footer">https://groups.google.com/d/msgid/cp2k/87c0b0de-885c-4695-add8-99188b807a60n%40googlegroups.com</a>.<br />