<br><br>On Monday, January 23, 2012 2:59:49 AM UTC-5, Christiane Pousa Ribeiro wrote:<blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">Hi Axel,<br></blockquote><div><br></div><div>hi christiane,</div><div> </div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">I'm Christiane and the one responsible for the hwloc/libnuma support on cp2k.<br></blockquote><div><br></div><div>thanks for taking the time to look into this.</div><div> <br></div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">Concerning libnuma, the affinity support is much simpler than the one with hwloc. Only, thread/process affinity. I'll check this wrapper to see why it is not working and let you know.<br></blockquote><div><br></div><div>ok. it may be version specific, too.  </div><div><br></div><div><div>[akohlmey@g002 input]$ rpm -qif /usr/lib64/libnuma.so.1 </div><div>Name        : numactl                      Relocations: (not relocatable)</div><div>Version     : 2.0.3                             Vendor: Red Hat, Inc.</div><div>Release     : 9.el6                         Build Date: Thu Jun 17 10:46:17 2010</div></div><div> <br></div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">About hwloc, that is true that it requires the latest version because of the pci support for network cards and gpus. By default this module, only attach processes and their memory to NUMA nodes. Their threads are not pinned to any cores, so they can move within a NUMA node. There are other strategies to place MPI/threads that can be used by setting the machine_arch keys.<br></blockquote><div><br></div><div>yes, this kind of behavior is what i would have expected.</div><div>this should also help with the internal threading in OpenMPI.</div><div> </div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">Could you send me the input, machine_arch keys that you used for these tests? I've tested hwloc support on local intel/amd machines (with and without gpus) and on CRAY machines and I have no errors like that. All of them with NUMA characteristics. <br></blockquote><div><br></div><div>please have a look at the attached file. you'll see that there</div><div>are some entries that don't look right. particularly the node</div><div>names are all that of MPI rank 0.</div><div><br></div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">When you use numactl, how do you can determine the cores for threads and MPI tasks? Do you attribute processes to NUMA nodes and consequently, threads are also attached to the same set of cores of their parent?<br></blockquote><div><br></div><div>yes. our MPI installation is configured by default to have a 1:1 core to MPI</div><div>rank mapping (since there is practically nobody yet using MPI+OpenMP)</div><div>with memory affinity for giving people the best MPI-only performance.</div><div><br></div><div>at the end of the attached file i include a copy of the wrapper script,</div><div>that is OpenMPI specific (since that is the only MPI library installed).</div><div><br></div><div>overall, it looks to me like that default settings are giving a desirable </div><div>processor and memory affinity (which is great) that is consistent with</div><div>the best settings i could get using my wrapper script, but the diagnostics</div><div>seems to be off and may be confusing people, particularly technical</div><div>support in computing centers, that are often too literal and assume </div><div>that any software is always giving 100% correct information. ;-)</div><div><br></div><div>cheers,</div><div>     axel.</div><div><br></div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;">

So, if you have any suggestions, comments, we can discuss this and also solve the problems that you have found.<br clear="all"><br>-- <br>[]'s<br>Christiane Pousa Ribeiro<br> <br><br>
</blockquote>