Perf 性能分析工具一 初步了解

一、安装perf

sudo apt install linux-tools-common
sudo apt install linux-tools-generic linux-cloud-tools-generic

直接打 perf 命令测试一般会出现如下提示：

$ perf 
WARNING: perf not found for kernel 5.4.0-77

  You may need to install the following packages for this specific kernel:
    linux-tools-5.4.0-77-generic
    linux-cloud-tools-5.4.0-77-generic

这时只需要再安装：

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install linux-tools-5.4.0-77-generic linux-cloud-tools-5.4.0-77-generic

二、使用 perf 采集数据

2.1采集单个进程数据

sudo perf record -F 99 -p 55757 -g -o perf.data -- sleep 10

record：表示采集系统事件，没有采用 -e 执行采集事件，则默认采集 cycles（即 CPU clock 周期）。

-F 99：指定采样频率为 99Hz（每秒99次），如果99次都返回同一个函数名, 那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题。

-p 55757：指定进程号，对某一个进程分析。

-g：表示记录调用栈

-o perf.data：表示将结果输出到 perf.data 文件

sleep 10：表示持续 10 秒

2.2 采集所有进程数据

sudo perf record -a -F 99 --call-graph fp -o perf.data -- sleep 10

-a：所有 CPU 上进行系统范围的性能数据记录，而不仅仅是当前 CPU 或某个特定进程

--call-graph fp：效果与-g相同，-g默认使用的是fp，fp是frame pointer的缩写，依赖编译时开启-fno-omit-frame-pointer 选项

三、生成火焰图

3.1 下载火焰图生成工具

sudo su
curl -s 'https://raw.githubusercontent.com/brendangregg/FlameGraph/master/stackcollapse-perf.pl' > /usr/bin/stackcollapse-perf.pl | chmod 755 /usr/bin/stackcollapse-perf.pl
curl -s 'https://raw.githubusercontent.com/brendangregg/FlameGraph/master/flamegraph.pl' > /usr/bin/flamegraph.pl | chmod 755 /usr/bin/flamegraph.pl
exit

3.2 将二进制数据转换成展开调用栈

sudo perf script -i perf.data > perf.unfold_stack

3.3 将栈函数名称还原后折叠

cat perf.unfold_stack | c++filt | stackcollapse-perf.pl > perf.folded_stack

3.4 生成svg火焰图

flamegraph.pl perf.folded_stack > perf.svg

四、理解火焰图

4.1、解析火焰图

直接使用浏览器打开perf.svg文件即可。

4.2、火焰图的含义

火焰图是基于perf结果产生的 SVG 格式图片，用来展示 CPU 的调用栈。

y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。

x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。

火焰图就是看顶层的哪个函数占据的宽度最大。只要有"平顶"（plateaus），就表示该函数可能存在性能问题。

颜色没有特殊含义，因为火焰图表示的是 CPU 的繁忙程度，所以一般选择暖色调。

4.3、火焰图的互动性

火焰图是 SVG 图片，可以与用户互动。

（1）鼠标悬浮

火焰的每一层都会标注函数名，鼠标悬浮时会显示完整的函数名、抽样抽中的次数、占据总抽样次数的百分比。下面是一个例子。

（2）点击放大

在某一层点击，火焰图会水平放大，该层会占据所有宽度，显示详细信息。

左上角会同时显示"Reset Zoom"，点击该链接，图片就会恢复原样。

（3）搜索

按下 Ctrl + F 会显示一个搜索框，用户可以输入关键词或正则表达式，所有符合条件的函数名会高亮显示。

4.4、火焰图示例

下面是一个简化的火焰图例子。

首先，CPU 抽样得到了三个调用栈。

func_c 
func_b 
func_a 
start_thread 

func_d 
func_a 
start_thread 

func_d 
func_a 
start_thread

上面代码中，start_thread是启动线程，调用了func_a。后者又调用了func_b和func_d，而func_b又调用了func_c。

经过合并处理后，得到了下面的结果，即存在两个调用栈，第一个调用栈抽中1次，第二个抽中2次。

start_thread;func_a;func_b;func_c 1 
start_thread;func_a;func_d 2

有了这个调用栈统计，火焰图工具就能生成 SVG 图片。

上面图片中，最顶层的函数g()占用 CPU 时间最多。d()的宽度最大，但是它直接耗用 CPU 的部分很少。b()和c()没有直接消耗 CPU。因此，如果要调查性能问题，首先应该调查g()，其次是i()。

另外，从图中可知a()有两个分支b()和h()，这表明a()里面可能有一个条件语句，而b()分支消耗的 CPU 大大高于h()。

五、火焰图的局限

两种情况下，无法画出火焰图，需要修正系统行为。

5.1、调用栈不完整

当调用栈过深时，某些系统只返回前面的一部分（比如前10层）。

5.2、函数名缺失

有些函数没有名字，编译器只用内存地址来表示（比如匿名函数）。

六、参考链接

如何读懂火焰图？

使用火焰图(FlameGraph)分析程序性能