<div dir="ltr"><div>It looks like the node count must a power-of-two or at least everything else between 128 and 256 nodes hits the assertion. If found this to be true down to CP2K 4.1 (I have not checked older releases yet).<br></div><div><br></div><br>Am Sonntag, 31. März 2019 20:57:29 UTC+2 schrieb Hans Pabst:<blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;"><div dir="ltr"><div>For a given workload (<a href="https://www.cp2k.org/performance#lih-hfx" target="_blank" rel="nofollow" onmousedown="this.href='https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.cp2k.org%2Fperformance%23lih-hfx\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNEQGVATzeGleN4u5mFQ_ds1TBeOSg';return true;" onclick="this.href='https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.cp2k.org%2Fperformance%23lih-hfx\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNEQGVATzeGleN4u5mFQ_ds1TBeOSg';return true;">LiHFX</a>), I was successfully running with 128 nodes (6144 cores). However, with more nodes, CP2K 6.1 release as well as v7.0-dev terminates with a runtime condition where the number of g-vectors of the PW-grid does not meet the following criterion: CPASSERT(pw_grid%ngpts_cut_<wbr>local == gpt), which is at line #1608 in CP2K/master. I ran with all preferrable node-counts beyond 128, but it always hits the assertion. I understand that one can overdecompose a workload (or otherwise hit a condition that is simply not possible for a given input). However, with LiHFX in particular, there are results published that ran successfully on way more nodes/cores. Given the latter, I wonder if I am trapped by some mistake. Do you have an advice on how to best run this workload? I was already using preferrable rank/thread combinations and of course relying on the hybrid binary (PSMP). Is there an adjustment of LIBINT settings needed (-D__LIBINT_MAX_AM=7 -D__LIBDERIV_MAX_AM1=6 -D__MAX_CONTR=4)?<br></div></div></blockquote></div>