高效内存分配器Jemalloc

Jemalloc介绍

Jemalloc是新一代内存分配器，它在FreeBSD被默认使用，侧重于减少内存碎片和提升高并发场景下内存的分配效率。Jemalloc应用十分广泛，在MySQL,Redis等场景中都有大量使用。

Github Release: Jemalloc

1. Install

yum install -y bzip2 autoconf automake libtool
wget https://github.com/jemalloc/jemalloc/releases/download/5.3.0/jemalloc-5.3.0.tar.bz2
bzip2 -d jemalloc-5.3.0.tar.bz2
tar -xf jemalloc-5.3.0.tar

cd jemalloc-5.3.0
./autogen.sh
./configure --enable-autogen --auto--prefix=/usr/local/jemalloc-5.3.0
make
make install

注：Linux动态库加载顺序

LD_PRELOAD > LD_LIBRARY_PATH > /etc/ld.so.cache > /lib > /usr/lib

所以可以看到，只要把动态库加载到LD_PRELOAD, 程序即可以优先启用Jemalloc

场景1: 仅在MySQL启用Jemalloc内存分配器

$ cat  /etc/supervisord.d/mysqld.conf
[program:mysqld]
environment=LD_PRELOAD="/usr/local/jemalloc-5.3.0/lib/libjemalloc.so"      #添加此行变量
command = /usr/sbin/mysqld --defaults-file=/etc/my-prod.cnf --user=mysql
stdout_logfile = /var/log/mysqld.log
stderr_logfile = /var/log/mysqld.log
......
......

$ supervisorctl reread
$ supervisorctl update mysqld
#验证
$ lsof -p `pidof mysqld` | grep -i jemalloc

场景2: 为整个Linux系统启用Jemailoc动态库

cat /etc/ld.so.conf.d/jemalloc.conf

/usr/local/jemalloc-5.3.0/lib/libjemalloc.so

#立即永久生效
ldconfig
export LD_PRELOAD=/usr/local/jemalloc-5.3.0/lib/libjemalloc.so

#验证(如果值为0,则说明动态库未应用到任何程序)
lsof -n |grep jemalloc|wc -l

针对ubuntu/debian全局动态库开机加载

cat /etc/init.d/jemalloc

$  /etc/init.d/jemalloc
#!/bin/sh
#Provides:jemalloc
#Default-Start: 2 3 4

export LD_PRELOAD=/usr/local/jemalloc-5.3.0/lib/libjemalloc.so

exit 0

添加权限

chmod 755 jemalloc
update-rc.d jemalloc defaults
service --status-all|grep jemalloc
lsof -n |grep jemalloc|wc -l

附录：使用C程序验证Jemailloc是否工作

#C程序
$ cat ex_stats_print.c 
#include <stdlib.h>

int main() {
  int *a = malloc(sizeof(int) * 100);
  free(a);
  return EXIT_SUCCESS;
}

#编译C程序
$ gcc ex_stats_print.c -o print.out -L/usr/local/jemalloc-5.3.0/lib -ljemalloc

#查看报告
$ MALLOC_CONF=stats_print:true ./print.out

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2023/01/29/高效内存分配器Jemalloc/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！