为什么 PHP unserialize 会有内存泄露

最近写一个 PHP 服务,PHP 版本为 swoole PHP 环境二进制版 7.x,其中部分逻辑涉及到把 PHP 变量写入到文件中,后续处理的时候读出来,一开始使用 serializeunserialize 实现,但是运行不久就直接超内存了,最后发现是 unserialize 造成的内存泄露

例子:

测试数据: serialize 序列化字符串

[www@chengqm test]$ cat serialize_str 
a:1:{s:4:"test";s:1024:"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111";}

测试数据: json 序列化字符串

[www@chengqm test]$ cat json_str 
{"test":"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111"}

然后是 PHP 代码,分别反序列化这两个文件的内容,前后输出内存使用情况

<?php
echo PHP_EOL;

echo 'before unserialize: ' . memory_get_usage() . PHP_EOL;

$serialize_str = file_get_contents('./serialize_str');
$array = unserialize($serialize_str);
unset($serialize_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

echo PHP_EOL;

echo 'before decode_json: ' . memory_get_usage() . PHP_EOL;

$json_str = file_get_contents('./json_str');
$array = json_decode($serialize_str, True);
unset($json_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

结果

[www@chengqm test]$ php-swoole test.php

before unserialize: 625048
after unset args: 625192

before decode_json: 625192
after unset args: 625192

unserialize 的某部分内存没有释放,json_decode 的已经释放了

问题: 为什么会有部分内存没有释放,是 BUG 还是 PHP 的某项特性

------------------- 问题更新 ---------------------

上面代码写错变量,重新测一下,这次没有读取文件,json_decode 放在前面

<?php

echo PHP_EOL;

echo 'before decode_json: ' . memory_get_usage() . PHP_EOL;

$json_str = '{"test":"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111"}';
$array = json_decode($json_str, True);
unset($json_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

echo PHP_EOL;

echo 'before unserialize: ' . memory_get_usage() . PHP_EOL;

$serialize_str = 'a:1:{s:4:"test";s:1024:"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111";}';
$array = unserialize($serialize_str);
unset($serialize_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;
[root@chengqm test]# php-swoole test.php

before decode_json: 627504
after unset args: 627504

before unserialize: 627504
after unset args: 627536

结果发现,unserialize后确实有一点内存没有释放(后来发现,是安装的 PHP 有问题)

然后就是测试 file_get_contents 对内存的影响

<?php

echo PHP_EOL;

echo 'before get file: ' . memory_get_usage() . PHP_EOL;
$serialize_str = file_get_contents('./serialize_str');
unset($serialize_str);
system('sync && echo 3 > /proc/sys/vm/drop_caches');
echo 'after unset args: ' . memory_get_usage() . PHP_EOL;
[root@chengqm test]# php-swoole test.php

before get file: 624304
after unset args: 624416

结果发现, file_get_contents 也会造成内存增长

阅读 305
评论 更新于 9月4日
    2 个回答
    首先,倒数第四行$array = json_decode($serialize_str, True);似乎是写错了,应该是$array = json_decode($json_str, true);吧。。

    然后不知道楼主有没有尝试将json段放在文件前面,将serialize段放在文件后面,这样去执行的话你就会发现似乎是json段执行之后有内存没有释放了。。所以,这里其实不是unserialize造成的内存泄漏。。这边造成有一部分内存被莫名吃掉应该是file_get_contents造成的,楼主单独运行一次file_get_contents就可以验证一下了。。

    最后说说楼主遇到的问题:在Linux中,频繁地存取文件会产生大量的文件缓存,这是操作系统的机制,不是PHP的机制,楼主可查看下buff/cache的大小,内存有可能都被cache吃掉了。PHPGC机制中,自动回收的只有arrayobj两类,因为这两类会产生循环引用,造成真正的内存泄漏。而file_get_contents这种不完全归还内存的情况个人猜测(未验证,纯属猜测,轻喷)是内存映射机制造成的小内存碎片没有回收。。

    评论 赞赏 9月4日
      宇润
      • 670

      valgrind 跑了下,应该不算是内存泄漏

      跑这个也是两次都不一样,第三次就一样了……

      <?php
      var_dump(memory_get_usage());
      var_dump(memory_get_usage());
      评论 赞赏 9月4日
        撰写回答

        登录后参与交流、获取后续更新提醒