<div dir="ltr">Dear Luis,<div><br></div><div>Here's the way we are doing it: Suppose that I have  5 walkers running with 10 nodes and 28 processors per node:</div><div><br></div><div>First, my master input file is:</div><div><br></div><div><p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">&GLOBAL</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  PROJECT SnF.450C.mwalk</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  PROGRAM FARMING</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  RUN_TYPE NONE</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">&END GLOBAL</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215); min-height: 22px;"><span style="font-variant-ligatures: no-common-ligatures"></span><br></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">&FARMING</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215); min-height: 22px;"><span style="font-variant-ligatures: no-common-ligatures"></span><br></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  NGROUP 5</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  GROUP_PARTITION 56 56 56 56 56</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  MAX_JOBS_PER_GROUP 1</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215); min-height: 22px;"><span style="font-variant-ligatures: no-common-ligatures"></span><br></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    DIRECTORY dir0</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    INPUT_FILE_NAME cn0.in</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &END JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    DIRECTORY dir1</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    INPUT_FILE_NAME cn1.in</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &END JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    DIRECTORY dir2</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    INPUT_FILE_NAME cn2.in</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &END JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    DIRECTORY dir3</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    INPUT_FILE_NAME cn3.in</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &END JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    DIRECTORY dir4</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    INPUT_FILE_NAME cn4.in</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &END JOB</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &RESTART</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    &EACH</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">      MD 1</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">    &END EACH</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">  &END RESTART</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">&END FARMING</span></p></div><div><span style="font-variant-ligatures: no-common-ligatures"><br></span></div><div><span style="font-variant-ligatures: no-common-ligatures">So far, this looks just like what you are doing (however, I don't see the GROUP__PARTITION directive in your input file). Presumably, your input files for each walker (cn0.in, cn1.in etc.) each have a section</span></div><div><span style="font-variant-ligatures: no-common-ligatures"><br></span></div><div><span style="font-variant-ligatures: no-common-ligatures"><p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">       &MULTIPLE_</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ERS</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">         NUMBER_OF_</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ERS 5</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">         </span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ER_ID 1</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">         &</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ERS_FILE_NAME</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">           ../</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">_DATA_FILES/</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ER_1.data</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">           ../</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">_DATA_FILES/</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ER_2.data</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">           ../</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">_DATA_FILES/</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ER_3.data</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">           ../</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">_DATA_FILES/</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ER_4.data</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">           ../</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">_DATA_FILES/</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ER_5.data</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">         &END</span></p>
<p style="font-stretch: normal; font-size: 18px; line-height: normal; font-family: Courier; color: rgb(0, 0, 0); background-color: rgb(255, 239, 215);"><span style="font-variant-ligatures: no-common-ligatures">        &END MULTIPLE_</span><span style="font-variant-ligatures: no-common-ligatures; background-color: #e6e600">WALK</span><span style="font-variant-ligatures: no-common-ligatures">ERS</span></p><div><span style="font-variant-ligatures: no-common-ligatures"><br></span></div><div><span style="font-variant-ligatures: no-common-ligatures">Where WALKER_ID is 1, 2,3, 4 or 5.  Note that I have created a directory WALK_DATA_FILES in the master directory (where mwalk.in resides).   If all that is there, then perhaps the problem is the way the job is run.</span></div><div><span style="font-variant-ligatures: no-common-ligatures"><br></span></div></span></div><div>On our hpc system, each node has 28 processors.  Since I want each walker to use  56 processors, I submit the job asking for 10 nodes with 28 cpus per node (or 10 nodes, with 28 tasks per node and 1 cpu per task).   I have no idea how the system partitions the processors over the nodes, however.  It could be that walker 1 uses nodes 1 and 2, walker 2 uses nodes 3 and 4, etc.  Or they could be randomly distributed over the nodes.  I have no idea.  However,  with this approach, I seem to always get a linear scaling with the number of nodes (the cpu time used per timestep used by each walker).  </div><div><br></div><div>Make sure that each walker is doing its own thing (as seen in the <span style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px;">*-HILLS-LOCAL.metadynLog file in each walker directory) and that the walkers are communicating with each other (as</span><span style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px;"> </span><span style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px;">seen in the *-HILLS.metadynLog file that is replicated in each walker directory).</span></div><div><br></div><div>I hope this is helpful;  let me know if this works on your system, or if you find a better way!</div><div><br></div><div>Dave Sherman</div><div><br><br>On Wednesday, January 24, 2018 at 11:13:23 PM UTC, lar...@lbl.gov wrote:<blockquote class="gmail_quote" style="margin: 0;margin-left: 0.8ex;border-left: 1px #ccc solid;padding-left: 1ex;"><div dir="ltr">Dear all,<div><br></div><div>I am running a multiple walker metadynamics simulation using FARMING. Specifically, I use 6 replicas and submit the FARMING job to 6 nodes with 68 cores each (see the file <i>inp</i> attached here). The simulation runs fine, but I don't seem to be able to speedup the calculation using more than one node per walker (i.e. per individual job). I tried submitting the job to twice as many nodes, hoping that cp2k would assign 2 nodes per replica, but that doesn't speed the simulation at all. I have also tried using  "GROUP_PARTITION 136 136 136 136 136 136" but that doesn't work either. I know there is an issue because when I run a simple simulation (i.e. no farming) of the same system I see a very clear speedup when going from 1 to 2 nodes.</div><div><br></div><div>Any ideas on how to make this work?</div><div><br></div><div>Thanks!</div><div>Luis</div></div></blockquote></div></div>