<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 18px; font-family: Calibri, sans-serif; ">
<div>Dear Manhui,</div>
<div><br>
</div>
<div>Thank you for the reply.  We have 48GB or 96GB RAM nodes, always with 47GB swap partition. The memory should be allocated by Torque accordingly to user's request. If he uses more memory in MolPro than requested from the batch queuing system, the job gets
 terminated automatically ( a different kind of error to see, for getting SIGTERM, and the event logged for us).</div>
<div><br>
</div>
<div>The particular job ran on four 48GB nodes, four processes each (3 compute, 1 data server as it was SF version) and requested 98 GB of RAM  which is not enough, but the job didn't reach the state of being killed for using too much, but just failed to allocate,
 right?</div>
<div><br>
</div>
<div>SHMMAX is a per-node value for SystemV shared memory. Some old versions of GA used to depend on it. I should've think that for using SF it is irrelevant, unless MolPro uses also SystemV internally. </div>
<div><br>
</div>
<div>On the other hand we do not allow for virtual memory overcommit. Could MolPro want to allocate a large Virtual memory, much larger than the Residential  memory ? </div>
<div><br>
</div>
<div>
<div>
<div>
<div>-- </div>
<div>Grigory Shamov</div>
</div>
<div>HPC Analyst, Westgrid/Compute Canada</div>
<div>E2-588 EITC Building, University of Manitoba</div>
<div>(204) 474-9625</div>
<div><br>
</div>
<div><br>
</div>
</div>
</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<span style="font-weight:bold">From: </span>Manhui Wang <<a href="mailto:wangm9@cardiff.ac.uk">wangm9@cardiff.ac.uk</a>><br>
<span style="font-weight:bold">Date: </span>Friday, 31 January, 2014 12:03 PM<br>
<span style="font-weight:bold">To: </span>Grigory Shamov <<a href="mailto:Grigory.Shamov@umanitoba.ca">Grigory.Shamov@umanitoba.ca</a>><br>
<span style="font-weight:bold">Cc: </span>"<a href="mailto:molpro-user@molpro.net">molpro-user@molpro.net</a>" <<a href="mailto:molpro-user@molpro.net">molpro-user@molpro.net</a>><br>
<span style="font-weight:bold">Subject: </span>Re: [molpro-user] gmainv1 failure to allocate - what to do?<br>
</div>
<div><br>
</div>
<div>
<div bgcolor="#FFFFFF" text="#000000">Dear Grigory,<br>
<br>
<div class="moz-cite-prefix">On 31/01/14 15:07, Grigory Shamov wrote:<br>
</div>
<blockquote cite="mid:CF111858.2E8F0%25Grigory.Shamov@ad.umanitoba.ca" type="cite">
<pre wrap="">Dear MolPro users,


I have compiled MolPro with Intel 12 and auto-built MVAPICH2. (I had to
substitute MVAPICH2-2.0b instead of the unavailable tar ball of
MVAPICH2-1.9 in the processs; also to decrease optimization to -O2; I
attach my CONFIG. I understand it picked I8 array indexes, right?).

When our user ran it on a large task, with -m 1000m he got the following
error:

Multipassing necessary in transformation. To avoid, increase memory by
3561.33 Mwords.
 ? Error
 ? 2-ext paging plus 3-ext ints not yet working (kintb)!
 ? The problem occurs in cckint

Then, I told him to increase the memory, but with -m 4600m it fails in a
different way:


gmainv1 failure to allocate 4600230002
gmainv1 failure to allocate 4600230002
gmainv1 failure to allocate 4600230002
gmainv1 failure to allocate 4600230002</pre>
</blockquote>
How much memory does the machine have? If you want to run Molpro job with <br>
-m 4600m <b>with 4 processes</b>, actually you are requesting 4600*1000000 words(1 word = 8 bytes) per process.<br>
The total requested memory is 137 GB (4600*1000000 * 8 * 4).<br>
<blockquote cite="mid:CF111858.2E8F0%25Grigory.Shamov@ad.umanitoba.ca" type="cite">
<pre wrap="">I've googled this problem, and have seen some answers related to SHMMAX
value. On our cluster we have it increase though:

cat /proc/sys/kernel/shmmax
68719476736</pre>
</blockquote>
This is around 64GB.<br>
<br>
Could you please check if the requested memory exceeds the hard memory limit on the machine?<br>
<br>
<br>
Best wishes,<br>
Manhui<br>
<blockquote cite="mid:CF111858.2E8F0%25Grigory.Shamov@ad.umanitoba.ca" type="cite">
<pre wrap="">
Could you please suggest, how does one avoid this problem,? Also, I did
use the default limits when compiling (number of atoms etc.) -- if that is
the reason, which limits should be increased? Thank you very much!


</pre>
<br>
<fieldset class="mimeAttachmentHeader"></fieldset> <br>
<pre wrap="">_______________________________________________
Molpro-user mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Molpro-user@molpro.net">Molpro-user@molpro.net</a><a class="moz-txt-link-freetext" href="http://www.molpro.net/mailman/listinfo/molpro-user">http://www.molpro.net/mailman/listinfo/molpro-user</a></pre>
</blockquote>
<br>
<pre class="moz-signature" cols="72">-- 
-----------
Manhui  Wang
School of Chemistry, Cardiff University,
Main Building, Park Place,
Cardiff CF10 3AT, UK
</pre>
</div>
</div>
</span>
</body>
</html>