<html>

<head>

    <base href="https://wiki.asterisk.org/wiki">

            <link rel="stylesheet" href="/wiki/s/en/2176/25/9/_/styles/combined.css?spaceKey=AST&amp;forWysiwyg=true" type="text/css">

    </head>

<body style="background: white;" bgcolor="white" class="email-body">

<div id="pageContent">

<div id="notificationFormat">

<div class="wiki-content">

<div class="email">

    <h2><a href="https://wiki.asterisk.org/wiki/display/AST/Getting+a+Backtrace">Getting a Backtrace</a></h2>

    <h4>Page <b>edited</b> by             <a href="https://wiki.asterisk.org/wiki/display/~rnewton">Rusty Newton</a>

    </h4>

        <div id="versionComment">

        <b>Comment:</b>

        Added a note about valgrind, MALLOC_DEBUG and mmlog<br />

    </div>

        <br/>

                         <h4>Changes (1)</h4>

<div id="page-diffs">

                    <table class="diff" cellpadding="0" cellspacing="0">

            <tr><td class="diff-snipped" >...<br></td></tr>

            <tr><td class="diff-unchanged" >2. An abort or seg fault in free.  That&#39;s pretty much always a memory corruption. <br> <br></td></tr>

            <tr><td class="diff-added-lines" style="background-color: #dfd;">If you think there is a memory corruption issue then you&#39;ll want to run [valgrind|https://wiki.asterisk.org/wiki/display/AST/Valgrind], and collect the /var/log/asterisk/mmlog (generated with the MALLOC_DEBUG compilation option). The output from those steps can then be provided to a developer for analysis. <br> <br></td></tr>

            <tr><td class="diff-unchanged" >h2. Uploading Your Information To The Issue Tracker <br> <br></td></tr>

            <tr><td class="diff-snipped" >...<br></td></tr>

            </table>

    </div>                            <h4>Full Content</h4>

                    <div class="notificationGreySide">

        <p>This document is intended to provide information on how to obtain the backtraces required on the asterisk bug tracker, available at <a href="https://issues.asterisk.org" class="external-link" rel="nofollow">https://issues.asterisk.org</a>.</p>

<div>

<ul>

    <li><a href='#GettingaBacktrace-Overview'>Overview</a></li>

    <li><a href='#GettingaBacktrace-PreparingAsteriskToProduceCoreFilesOnCrash'>Preparing Asterisk To Produce Core Files On Crash</a></li>

    <li><a href='#GettingaBacktrace-GettingInformationAfterACrash'>Getting Information After A Crash</a></li>

    <li><a href='#GettingaBacktrace-GettingInformationForADeadlock'>Getting Information For A Deadlock</a></li>

    <li><a href='#GettingaBacktrace-VerifyYourBacktraces'>Verify Your Backtraces</a></li>

    <li><a href='#GettingaBacktrace-IdentifyingPotentialMemoryCorruption'>Identifying Potential Memory Corruption</a></li>

    <li><a href='#GettingaBacktrace-UploadingYourInformationToTheIssueTracker'>Uploading Your Information To The Issue Tracker</a></li>

</ul></div>

<h2><a name="GettingaBacktrace-Overview"></a>Overview</h2>

<p>The backtrace information is required by developers to help fix problems with bugs of any kind. Backtraces provide information about what was wrong when a program crashed; in our case, Asterisk.</p>

<h2><a name="GettingaBacktrace-PreparingAsteriskToProduceCoreFilesOnCrash"></a>Preparing Asterisk To Produce Core Files On Crash</h2>

<p>First of all, when you start Asterisk, you MUST start it with option &#45;g. This tells Asterisk to produce a core file if it crashes.</p>

<p>If you start Asterisk with the safe_asterisk script, it automatically starts using the option &#45;g.</p>

<p>If you're not sure if Asterisk is running with the &#45;g option, type the following command in your shell:</p>

<div class="preformatted panel" style="border-width: 1px;"><div class="preformattedContent panelContent">

<pre># ps -C asterisk u

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND

root      3018  1.1  2.7 636212 27768 pts/1    Sl+  08:06   0:00 asterisk -vvvvvg -c

[...]

</pre>

</div></div>

<p>The interesting information is located in the last column.</p>

<p>Second, your copy of Asterisk must have been built without optimization or the backtrace will be (nearly) unusable. This can be done by selecting the 'DONT_OPTIMIZE' option in the Compiler Flags submenu in the 'make menuselect' tree before building Asterisk.</p>

<div class='panelMacro'><table class='noteMacro'><colgroup><col width='24'><col></colgroup><tr><td valign='top'><img src="/wiki/images/icons/emoticons/warning.gif" width="16" height="16" align="absmiddle" alt="" border="0"></td><td><div class='table-wrap'>

<table class='confluenceTable'><tbody>

<tr>

<th class='confluenceTh'> Using BETTER_BACKTRACES </th>

</tr>

<tr>

<td class='confluenceTd'> As of Asterisk versions 1.4.40, 1.6.2.17, and 1.8.3, the option BETTER_BACKTRACES which uses libbfd, will provide better symbol information within both the Asterisk binary, as well as loaded modules, to assist when using inline backtraces to track down problems. <b>It is recommended that you enable both DONT_OPTIMIZE and BETTER_BACKTRACES</b> </td>

</tr>

</tbody></table>

</div>

</td></tr></table></div>

<div class='panelMacro'><table class='tipMacro'><colgroup><col width='24'><col></colgroup><tr><td valign='top'><img src="/wiki/images/icons/emoticons/check.gif" width="16" height="16" align="absmiddle" alt="" border="0"></td><td>libbfd is included in the binutils-devel package on CentOS / RHEL, or the binutils-dev package on Debian / Ubuntu.</td></tr></table></div>

<p>Running a production server with DONT_OPTIMIZE is generally safe. You'll notice the binary files may be a bit larger, but in terms of Asterisk performance, impact should be negligible.</p>

<p>After Asterisk crashes, a file named "core" will be dumped in the present working directory of the Linux shell from which Asterisk was started.</p>

<p>In the event that there are multiple core files present, it is important to look at the file timestamps in order to determine which one you really intend to look at.</p>

<h2><a name="GettingaBacktrace-GettingInformationAfterACrash"></a>Getting Information After A Crash</h2>

<p>There are two kind of backtraces (aka 'bt') which are useful: bt and bt full.</p>

<p>Now that we've verified the core file has been written to disk, the final part is to extract 'bt' from the core file. Core files are pretty big, don't be scared, it's normal.</p>

<div class='panelMacro'><table class='noteMacro'><colgroup><col width='24'><col></colgroup><tr><td valign='top'><img src="/wiki/images/icons/emoticons/warning.gif" width="16" height="16" align="absmiddle" alt="" border="0"></td><td>Don't attach core files on the bug tracker as they are only useful on the machine they were generated on. We only need the output of the 'bt' and 'bt full.'</td></tr></table></div>

<p>For extraction, we use a really nice tool, called gdb. To verify that you have gdb installed on your system:</p>

<div class="preformatted panel" style="border-width: 1px;"><div class="preformattedContent panelContent">

<pre># gdb -v

GNU gdb 6.8-debian

Copyright (C) 2008 Free Software Foundation, Inc.

License GPLv3+: GNU GPL version 3 or later &lt;http://gnu.org/licenses/gpl.html&gt;

This is free software: you are free to change and redistribute it.

There is NO WARRANTY, to the extent permitted by law.  Type "show copying"

and "show warranty" for details.

This GDB was configured as "i486-linux-gnu"...

</pre>

</div></div>

<p>If you don't have gdb installed, go install gdb. You should be able to install using something like: apt-get install gdb -<del>or</del>&#45; yum install gdb</p>

<div class='panelMacro'><table class='tipMacro'><colgroup><col width='24'><col></colgroup><tr><td valign='top'><img src="/wiki/images/icons/emoticons/check.gif" width="16" height="16" align="absmiddle" alt="" border="0"></td><td>Just run the following command to get the output into the backtrace.txt file, ready for uploading to the issue tracker. Be sure to change the name of the core file to your actual core dump file:</td></tr></table></div>

<div class="preformatted panel" style="border-width: 1px;"><div class="preformattedContent panelContent">

<pre># gdb -se "asterisk" -ex "bt full" -ex "thread apply all bt" --batch -c core &gt; /tmp/backtrace.txt

</pre>

</div></div>

<p>Now load the core file in gdb with the following command. This will also save the output of gdb to the /tmp/backtract.txt file.</p>

<div class="preformatted panel" style="border-width: 1px;"><div class="preformattedContent panelContent">

<pre># gdb -se "asterisk" -c core | tee /tmp/backtrace.txt

[...]

(You would see a lot of output here.)

[...]

Reading symbols from /usr/lib/asterisk/modules/app_externalivr.so...done.

Loaded symbols for /usr/lib/asterisk/modules/app_externalivr.so

#0  0x29b45d7e in ?? ()

(gdb)

</pre>

</div></div>

<p>In order to make extracting the gdb output easier, you may wish to turn on logging using "set logging on". This command will save all output to the default file of gdb.txt, which in the end can be uploaded as an attachment to the bug tracker.</p>

<p>Now at the gdb prompt, type: bt You would see output similar to:</p>

<div class="preformatted panel" style="border-width: 1px;"><div class="preformattedContent panelContent">

<pre>(gdb) bt

#0  0x29b45d7e in ?? ()

#1  0x08180bf8 in ?? ()

#2  0xbcdffa58 in ?? ()

#3  0x08180bf8 in ?? ()

#4  0xbcdffa60 in ?? ()

#5  0x08180bf8 in ?? ()

#6  0x180bf894 in ?? ()

#7  0x0bf80008 in ?? ()

#8  0x180b0818 in ?? ()

#9  0x08068008 in ast_stopstream (tmp=0x40758d38) at file.c:180

#10 0x000000a0 in ?? ()

#11 0x000000a0 in ?? ()

#12 0x00000000 in ?? ()

#13 0x407513c3 in confcall_careful_stream (conf=0x8180bf8, filename=0x8181de8 "DAHDI/pseudo-1324221520") at app_meetme.c:262

#14 0x40751332 in streamconfthread (args=0x8180bf8) at app_meetme.c:1965

#15 0xbcdffbe0 in ?? ()

#16 0x40028e51 in pthread_start_thread () from /lib/libpthread.so.0

#17 0x401ec92a in clone () from /lib/libc.so.6

(gdb)

</pre>

</div></div>

<p>The bt's output is the information that we need on the bug tracker.</p>

<p>Now do a bt full as follows:</p>

<div class="preformatted panel" style="border-width: 1px;"><div class="preformattedContent panelContent">

<pre>(gdb) bt full

#0  0x29b45d7e in ?? ()