<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri","sans-serif";}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Molpro users,<o:p></o:p></p>
<p class="MsoNormal">I recently upgraded from the 2012.1.0 to the 2012.1.3 binaries and now get an error message, see below, when I try to run a multi-node job (it works fine on one node). The job below was running fine before I killed it to do the upgrade,
so it isn’t an input problem. Has anyone run into this problem with 2012.1.3? Any ideas on how to fix it? Any help would be greatly apprecieated.<o:p></o:p></p>
<p class="MsoNormal">Thanks in advance,<o:p></o:p></p>
<p class="MsoNormal">Bob<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">gimli /home/qg/calcs>molpro -n 12 -N qg:gimli:4,qg:legolas:4,qg:aragorn:4 dzpro.inp &<o:p></o:p></p>
<p class="MsoNormal">[2] 31782<o:p></o:p></p>
<p class="MsoNormal">gimli /home/qg/calcs>Fatal error in PMPI_Comm_dup: A process has failed, error stack:<o:p></o:p></p>
<p class="MsoNormal">PMPI_Comm_dup(175)...................: MPI_Comm_dup(MPI_COMM_WORLD, new_comm=0x1928e4c0) failed<o:p></o:p></p>
<p class="MsoNormal">PMPI_Comm_dup(160)...................:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Comm_dup_impl(55)...............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Comm_copy(1552).................:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Get_contextid(799)..............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Get_contextid_sparse_group(1064):<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_impl(719).............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_intra(201)............:<o:p></o:p></p>
<p class="MsoNormal">allreduce_intra_or_coll_fn(110)......:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_intra(539)............:<o:p></o:p></p>
<p class="MsoNormal">MPIDI_CH3U_Recvq_FDU_or_AEP(667).....: Communication error with rank 4<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_intra(212)............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Bcast_impl(1369)................:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Bcast_intra(1199)...............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Bcast_binomial(220).............: Failure during collective<o:p></o:p></p>
<p class="MsoNormal">Fatal error in PMPI_Comm_dup: A process has failed, error stack:<o:p></o:p></p>
<p class="MsoNormal">PMPI_Comm_dup(175)...................: MPI_Comm_dup(MPI_COMM_WORLD, new_comm=0x1928e4c0) failed<o:p></o:p></p>
<p class="MsoNormal">PMPI_Comm_dup(160)...................:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Comm_dup_impl(55)...............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Comm_copy(1552).................:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Get_contextid(799)..............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Get_contextid_sparse_group(1064):<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_impl(719).............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_intra(201)............:<o:p></o:p></p>
<p class="MsoNormal">allreduce_intra_or_coll_fn(110)......:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_intra(362)............:<o:p></o:p></p>
<p class="MsoNormal">dequeue_and_set_error(888)...........: Communication error with rank 4<o:p></o:p></p>
<p class="MsoNormal">MPIR_Allreduce_intra(212)............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Bcast_impl(1369)................:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Bcast_intra(1199)...............:<o:p></o:p></p>
<p class="MsoNormal">MPIR_Bcast_binomial(220).............: Failure during collective<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">===================================================================================<o:p></o:p></p>
<p class="MsoNormal">= BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES<o:p></o:p></p>
<p class="MsoNormal">= EXIT CODE: 1<o:p></o:p></p>
<p class="MsoNormal">= CLEANING UP REMAINING PROCESSES<o:p></o:p></p>
<p class="MsoNormal">= YOU CAN IGNORE THE BELOW CLEANUP MESSAGES<o:p></o:p></p>
<p class="MsoNormal">===================================================================================<o:p></o:p></p>
<p class="MsoNormal">[proxy:0:0@gimli] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:886): assert (!closed) failed<o:p></o:p></p>
<p class="MsoNormal">[proxy:0:0@gimli] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status<o:p></o:p></p>
<p class="MsoNormal">[proxy:0:0@gimli] main (./pm/pmiserv/pmip.c:206): demux engine error waiting for event<o:p></o:p></p>
<p class="MsoNormal">[mpiexec@gimli] HYDT_bscu_wait_for_completion (./tools/bootstrap/utils/bscu_wait.c:76): one of the processes terminated badly; aborting<o:p></o:p></p>
<p class="MsoNormal">[mpiexec@gimli] HYDT_bsci_wait_for_completion (./tools/bootstrap/src/bsci_wait.c:23): launcher returned error waiting for completion<o:p></o:p></p>
<p class="MsoNormal">[mpiexec@gimli] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:217): launcher returned error waiting for completion<o:p></o:p></p>
<p class="MsoNormal">[mpiexec@gimli] main (./ui/mpich/mpiexec.c:331): process manager error waiting for completion<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[2] Exit 255 molpro -n 12 -N qg:gimli:4,qg:legolas:4,qg:aragorn:4 dzpro.inp<o:p></o:p></p>
<p class="MsoNormal">gimli /home/qg/calcs><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">Dr. Bob Quandt Office: 324 SLB
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">Department of Chemistry Phone: (309) 438-8576
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">Illinois State University Fax: (309) 438-5538<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">Normal, IL 61761-4160 email:
<a href="mailto:quandt@ilstu.edu"><span style="color:black">quandt@ilstu.edu</span></a><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black"> <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">Nihil tam absurde dici potest, quod non dicatur ab aliquo philosophorum.
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">- Marcus Tullius Cicero (106-43 BC)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:black">=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>