<div dir="ltr"><p class="MsoNormal" style="line-height:150%"><font face="courier new, monospace"><span lang="HE" style="line-height:150%">Hi, </span><span style="line-height:normal"> </span></font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">Our system had crashed again.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">Here are the exact details and there are logs and corefile attached.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">We use 6 kamailio servers over 3 sites.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">All the servers are connecting to 1 DB server running MYSQL 5.6.12.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">The sql server supplies 2 things for kamailio servers.</font></p>

<p class="" style="margin:0cm 0cm 0.0001pt 36pt;direction:ltr"><font face="courier new, monospace">1.  
<span dir="LTR"></span>Some SQLOPS
that the servers need.</font></p>

<p class="" style="margin:0cm 0cm 0.0001pt 36pt;direction:ltr"><font face="courier new, monospace">2.  
<span dir="LTR"></span>The
data for the MTREE, HTABLE, CARRIERROUTE etc..</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">We use "kamctl" command in shell script to reload the data
for the modules every 1 minute. In normal times, the reload takes about 2-3 sec
each minute.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">When the sql server is down, the queries and reloads fail and it is
OK.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">Yesterday, we had a different failure on the sql server – The server
is set ona centos 6.2 that is under a VM cluster. The VM cluster had some disk
writing errors, and the sql server could not write or read fast enough.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">On 3 of the 6 servers (one at each site) kamailio crashed.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">I have no idea why. When the sql server is down, it does not happen.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">I attached all 6 servers log, 1 server core file, 1 server
var/log/messages and the mysql slow-query log.</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">Any ideas how to handle this?</font></p><p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"><br></font></p><p class="MsoNormal" style>
<font face="courier new, monospace">kamailio version 3.3.2</font></p><p class="MsoNormal" style><br></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace"> </font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">BR,</font></p>

<p class="MsoNormal" style="direction:ltr"><font face="courier new, monospace">Uri</font><font face="Arial, sans-serif" style="font-size:14pt"></font></p></div>