
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 TRANSITIONAL//EN">

<HTML>

<HEAD>

  <META HTTP-EQUIV="Content-Type" CONTENT="text/html; CHARSET=UTF-8">

  <META NAME="GENERATOR" CONTENT="GtkHTML/4.8.4">

</HEAD>

<BODY>

Hello all<BR>

<BR>

We are observing an issue in one kamailio proxy we use.<BR>

The consecuence of an unknow cause is that the private memory of some UDP receiver processes in where we listen from a particular IP, seems to be draining along the time while processing traffic. Quite "slowly" but maybe aroung 200K in 3-4hours, depending on the moment of the day.<BR>

<BR>

This is quite weird for us, because it seemed like it was caused by some particular traffic profile, since we have several IP listening (8 children each) and we only see the issue in the UDP receiver processes of some of those IPs. Besides we have moved the kamailio service listening on the same IP to several different physical servers, and the behaviour is the same.<BR>

We look at it ussing pkg.stats kamcmd command and for instance if we track one of the process affected<BR>

pid: 23784<BR>

rank: 53<BR>

used: 2838616<BR>

<B>free: 13005408</B><BR>

real_used: 3771808<BR>

<BR>

pid: 23784<BR>

rank: 53<BR>

used: 2842584<BR>

<B>free: 12999280</B><BR>

real_used: 3777936<BR>

<BR>

This 2 outputs were taken with 10min diff between each other.<BR>

<BR>

But we dont know where or how to look at it.<BR>

We have been these last days trying to search for patterns to allocate some particular traffic source causing something weird, but no luck.<BR>

We have checked all the SIP INVITE messages looking for anything weird at any field but no luck, besides we sometimes see some bad headers with blank spaces in the uri or thing like that but those cases we have an error and we dont think it can cause a memory leak.<BR>

Shared memory seems to be stable.<BR>

<BR>

We also have checked the config we are using and we have been discarding possible issues since we dont think the $var variables we are using could cause that issue (but you never know....)<BR>

<BR>

We tried to debug the kamailio on one affected IP compiling it with DBG_SYS_MALLOC , and doing the dump of the pkg mem status when the kamailio was restarted and no traffic was processed, and also when it had traffic processed. in this last case, we removed traffic, waited for 20min and made the dump<BR>

<BR>

i attach you both files, we have the debug logs, but they are very big to be passed here, and we dont know what to look for :)<BR>

<BR>

could you please give us some guidance or clue to at least start to searching for something that can cause this issue?<BR>

<BR>

thanks  alot and regards<BR>

david

</BODY>

</HTML>