hi urban,<div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;"><p>Actually, I also get crashes with OpenMPI--but not with MPICH2.  I<br>recompiled OpenMPI 1.4.3 with MPI user thread support, and I recompiled<br>BLACS and ScaLAPACK with it.  As soon as I use more than 1 thread (only</p></blockquote><div>i think that one went away after defining   -D__HAS_NO_OMP_3</div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;"><p>tried popt) it crashes in a BLACS call.</p><p>I'll also give the OpenMPI 1.5 development branch a try.</p></blockquote><div><br></div><div>hmm... i have this nagging feeling that there may be a race condition somewhere</div><div>and that it just doesn't show with MPICH.</div><div><br></div><div>with experimenting some more, i see that the "degree of badness" in the total</div><div>energies, for example, is rather low with using only 2 or 3 threads but gets large</div><div>with 6 or more.</div><div><br></div><div>on the other hand, i am _very_ impressed how well the threading parallelization</div><div>scales (with the .ssmp binary), even to a very large thread count (i have a few</div><div>48 core maschines to test on).</div><div><br></div><div>i hope there is an answer somewhere as to why hybrid parallelization does crash</div><div>with OpenMPI...</div><div><br></div><div>cheers,</div><div>    axel.</div><div><br></div><blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;"><p>Regards,<br>Urban</p><p>> <br>> thanks for your help,<br>>      axel.<br>> <br>> <br>>         just make sure we're on the same page. the input(s) that<br>>         are giving me the problems are the water benchmark inputs.<br>>         in tests/QS/benchmark/<br>>         <br>>         <br>>         the cp2k.?smp binaries work fine for OMP_NUM_THREADS=1,<br>>         but as soon as i enable more than one thread with cp2k.psmp<br>>         and multiple MPI tasks, i get NaNs or random energies.<br>>         cp2k.ssmp appears to be working for both intel 11.1 and<br>>         gfortran 4.4.4<br>>         <br>>         <br>>         thanks,<br>>             axel.<br>>         <br>>         <br>>                 Cheers,<br>>                 Urban.<br>>                 <br>>                 > <br>>                 > in any case, i'll give it a try.<br>>                 > <br>>                 > <br>>                 > thanks,<br>>                 >      axel.<br>>                 > <br>>                 > -- <br>>                 > You received this message because you are subscribed<br>>                 to the Google<br>>                 > Groups "cp2k" group.<br>>                 > To post to this group, send email to<br>>                 <a>cp...@googlegroups.com</a>.<br>>                 > To unsubscribe from this group, send email to cp2k<br>>                 > +<a>uns...@googlegroups.com</a>.<br>>                 > For more options, visit this group at<br>>                 > <a href="http://groups.google.com/group/cp2k?hl=en" target="_blank">http://groups.google.com/<wbr>group/cp2k?hl=en</a>.<br>>                 <br>>                 <br>> <br>> -- <br>> You received this message because you are subscribed to the Google<br>> Groups "cp2k" group.<br>> To post to this group, send email to <a>cp...@googlegroups.com</a>.<br>> To unsubscribe from this group, send email to cp2k<br>> +<a>unsu...@googlegroups.com</a>.<br>> For more options, visit this group at<br>> <a href="http://groups.google.com/group/cp2k?hl=en" target="_blank">http://groups.google.com/<wbr>group/cp2k?hl=en</a>.</p><p><br></p><p></p><p></p><p></p><p></p><p></p></blockquote></div>