记一次mongo周期性慢查询问题的定位
2022-01-13
阅读 2 分钟
1.6k线上mongodb主库经常出现以5分钟为周期性的慢查询。在排除业务代码bug，机器cpu/io/memory资源限制后。最终发现是mongodb的bug，因为这是一个非常典型的加锁导致的性能不佳问题。故做一下记录。
一个mongodb索引BUG引发的血案
2020-01-24
阅读 1 分钟
1.7k做了一个索引优化。将3个索引优化为1个。只保留了一个{session_id, create_timestamp}索引，更到线上后未发现大的问题。
一个erlang nif野指针的追踪过程
2019-11-19
阅读 12 分钟
3.6k概述 最近半年, 经常出现一些奇怪的bug. CPU非常高, 但etop并没有red特别高的进程. 内存占用非常高, 和etop看到的内存不吻合. coredump. 因为erlang层面无法定位问题, 那问题只能在c了. BUG现场 cpu %100 ErtsRunQueue被写坏 {代码...} {代码...} AOFF_RBTree_t被写坏. rb_tree存在环. {代码...} {代码...} memory leak ...
一个很有意思的内存泄漏bug.
2019-10-20
阅读 8 分钟
2.9kbug回顾 bug_fix 时间线 x月x日 10:00 x_service 内存开始快速上涨 x月x日 10:18 用户报告x_service内存飞速上涨. x月x日 10:20 平台mongodb因内存不足重启 x月x日 10:22 重启x_service x月x日 11:00 x_service内存再次快速上涨 x月x日 14:45 回滚x_service并再次更新, x_service服务恢复正常. x月x日 19:48 定位到是Enu...
docker container logrotate不生效问题
2019-10-20
阅读 3 分钟
4.6k给syslog docker增加了日志分析脚本. 脚本会使用最短编辑距离算法, 归集错误日志, 发送到测试环境报警群. 该脚本依赖logrotate.第二天一早没有看到预期的错误归集报警. 发现logrotate不工作了.