从 502 到 OOM 宕机:一次服务器连环崩溃的抢救实录
从 502 到 OOM 宕机:一次服务器连环崩溃的抢救实录
11月20日,原本正忙着处理手头的工作,手机突然连续震动了好几下。拿起来一看,是网站的监控报警。
我赶紧打开电脑,输入域名,浏览器转了半天圈,最后无情地甩给我一个“502 Bad Gateway”。接着我尝试登录服务器后台的宝塔面板,结果连面板的登录页面都加载不出来。
那一瞬间,头都大了。
后来查系统日志我才发现,其实早在 11月18日 系统就已经开始出问题了,只是当时没有触发严重的报警,直到 20 号彻底撑不住,才被我发现并暴露出来。
经过整整两个小时的排查和抢救,我终于把这堆烂摊子收拾干净了。这次遇到的问题非常典型,几乎涵盖了小内存服务器常见的所有致命伤:面板异常、502、OOM 宕机、403 权限报错,以及 WordPress 访问压力过大。
今天把这整个过程记录下来,既是给自己备忘,也希望能帮到遇到类似问题的朋友。
第一阶段:面板异常与 502 的假象
网页 502,面板进不去,第一反应通常是 Nginx 挂了。
我赶紧用 SSH 客户端连上服务器。万幸,SSH 还能连上。敲下 bt 命令,系统提示面板服务运行异常。输入数字尝试重启面板,结果卡了半天,最后报错。
接着我查了一下内存状态:
free -m输出结果惨不忍睹。available(可用内存)只剩下几十兆了。swap(虚拟内存)竟然也是满的。
内存爆满导致系统连分配新进程的空间都没有了,Nginx 和 PHP-FPM 根本无法正常工作,自然就抛出了 502。至于面板异常,也是因为宝塔面板自身的 Python 进程申请不到内存,直接被系统挂起了。
回看日志,18号那天其实发生过一次轻微的内存溢出,系统强杀了一次进程,但很快又恢复了。这也解释了为什么20号才彻底爆发——内存的堤坝是一点点被冲垮的。
第二阶段:揪出吃内存的凶手(OOM 宕机)
为了搞清楚到底是谁把内存吃光了,我去看了系统的日志:
dmesg -T | grep -i "killed process"赫然看到一行:Out of memory: Killed process ... (mysqld)
真相大白了。这就是传说中的 OOM(Out of Memory)宕机。Linux 系统有一个自我保护机制叫 OOM Killer,当内存耗尽时,它会强行杀掉占用内存最大的进程。这次,我的 MySQL 数据库成了刀下亡魂。
为什么内存会突然耗尽?
这台机器配置不高(2核 2G),本身跑个 WordPress 就勉强。最近因为有几个爬虫在疯狂抓取网站,导致 MySQL 的查询连接数激增,PHP-FPM 的子进程也被瞬间占满。每个进程都要吃内存,积攒了几天后,最终在 20 号把系统彻底压垮。
第三阶段:抢救与限流(解决 WP 压力大)
找到原因后,开始对症下药。
第一步:重启服务,释放内存。
通过命令行强行重启 MySQL 和 PHP-FPM,然后再重启面板和 Nginx。几分钟后,网页终于恢复了访问,面板也能进得去了。这算恢复了基本运转,但不解决根本问题。
第二步:给 PHP-FPM 减肥。
WordPress 的并发一高,PHP 进程开得太多就会吃爆内存。我打开宝塔面板的 PHP 设置,把 pm.max_children(最大子进程数)从原来的 50 降到了 15。宁可让用户稍微排一下队,也不能让机器宕机。
第三步:Nginx 限流。
针对那些疯狂抓取的爬虫,我在 Nginx 的配置里加了限流规则:
limit_req_zone $binary_remote_addr zone=one:10m rate=5r/s;
server {
...
location / {
limit_req zone=one burst=10 nodelay;
...
}
}
这样,单个 IP 每秒最多只能请求 5 次,超出直接拦截,极大地减轻了 WordPress 的压力。
第四阶段:403 Forbidden 权限风波
刚喘了口气,点开文章详情页,又出问题了:403 Forbidden。Nginx 拒绝了访问。
403 一般就是权限问题。我进入网站目录,检查了文件和文件夹的所有者(`ls -l`)。
因为刚折腾过重启,有些缓存文件的权限被改变了。WordPress 要求正确的权限设置:
文件夹必须是 755,文件必须是 644,且所有者必须是 Web 运行用户(比如 www)。
我果断敲下命令:
chown -R www:www /www/wwwroot/你的网站目录
find /www/wwwroot/你的网站目录 -type d -exec chmod 755 {} \;
find /www/wwwroot/你的网站目录 -type f -exec chmod 644 {} \;刷新页面,403 解决,文章终于能正常阅读了。
第五阶段:亡羊补牢(配置 Swap)
经历了这次连环崩溃,我深刻意识到:对于 2G 内存的机器,如果没有 Swap(虚拟内存),简直是随时会引爆的炸弹。
我赶紧在服务器上划出了 2G 的空间作为 Swap 交换分区。当物理内存不够时,系统会把一部分不活跃的数据挪到硬盘上,避免直接触发 OOM 杀进程。
dd if=/dev/zero of=/swapfile bs=1M count=2048
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
# 写入 fstab 实现开机自启
echo '/swapfile none swap sw 0 0' | tee -a /etc/fstab写在最后:血泪总结
折腾完这一切,已经是深夜了。听着服务器风扇平稳转动的声音,我长舒了一口气。
如果你也在用类似配置的服务器跑 WordPress,下面这几点血泪教训请一定记牢:
1. 永远不要迷信 2G 内存。 系统、MySQL、PHP、宝塔面板,每个都要吃内存,真正留给业务处理的空间其实很小。有条件一定要加 Swap。
2. 限制 PHP-FPM 进程数。 进程数不是越大越好,超过内存承载极限,就是 OOM 的催化剂。
3. 开启对象缓存。 强烈建议装个 Redis,能极大降低数据库和 PHP 的压力。
4. 做好权限隔离与固定。 没事不要随便改动网站目录的权限,755 和 644 是 WordPress 的黄金法则。
5. 监控真的能救命。 18号出的问题,20号才发现。如果早点有更敏锐的报警,可能就不至于拖成 OOM 宕机。这次算是个深刻的教训。
运维这件事,从来都是“养兵千日,用兵一时”。平时看着风平浪静,一旦出问题就是连环雷。希望我的这次踩坑经历,能让你在遇到 502 和 OOM 时少走一点弯路。
2026年11月21日