Hi CP2K team,<div><br /></div><div>This is a duplicate of the issue I have posted on <a href="https://github.com/cp2k/cp2k/issues/4226">GitHub</a>, but let me ask again in this forum.</div><div><br /></div><div>I am trying to profile CP2K performance, esp. exact diagonalization, on A100 GPU with AMD EPYC 7763 64-core processor. For the 128 water cluster provided in benchmark (and using LDA functional), I get ~ 18 seconds per SCF cycle. As a comparison, OT takes ~ 1 seconds per cycle.<br /><br />The environment is,<br /><ul><li>using docker image: cp2k/cp2k:2025.1_mpich_generic_cuda_P100_psmp</li><li>1 GPU per node, 1 task per node, 1 GPU per task. I also set cpu-bind to none in slurm job.</li></ul>My questions are:</div><div><ul><li>Is this an expected behavior for exact diagonalization? (dozen times slower than OT per cycle) Although I understand that the algorithm is different,  direct diagonalization of ~ 5000x5000 matrix should not take more than a second on A100 GPU, as far as I tested, but it is seemingly not the case in the output. It would also be helpful if you could point out which function refers to a Fock matrix build.</li><li>When I use nsys to profile, I see heavy CPU utilization throughout the whole process. Is it possible that ELPA is using CPU instead of GPU if I did not explicitly specify? Or is it just because system is too small and GPU is under-utilized?</li><li>Is using the docker image preventing me from utilizing GPU? Will I achieve better performance if I compile manually (esp. considering different CUDA architecture for P100 vs A100)?<br /><br /></li></ul>I am attaching the output file, and a nsys profile screenshot, but can provide more details to investigate the issue.<br /><br />As a side note, I see that NGC container uses scalapack instead of GPU-accelerated ELPA for diagonalization, and it would take ~23 seconds per SCF cycle. So I guess for exact diagonalization, the newest docker image would be faster.</div><div><br /></div><div>Best,</div><div>Rui</div>

<p></p>

-- <br />
You received this message because you are subscribed to the Google Groups "cp2k" group.<br />
To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:cp2k+unsubscribe@googlegroups.com">cp2k+unsubscribe@googlegroups.com</a>.<br />
To view this discussion visit <a href="https://groups.google.com/d/msgid/cp2k/20e1d724-c638-43d3-84f0-be156481fa13n%40googlegroups.com?utm_medium=email&utm_source=footer">https://groups.google.com/d/msgid/cp2k/20e1d724-c638-43d3-84f0-be156481fa13n%40googlegroups.com</a>.<br />