服务器卡顿是一个常见但令人头疼的问题，它可能由多种原因导致，解决这个问题需要系统性地排查，由表及里，从简单到复杂。
请不要盲目重启服务器，虽然有时能暂时解决问题，但可能会丢失重要线索，导致问题反复发生。
以下是详细的排查和修理步骤，你可以按照这个流程进行操作：
第一阶段：快速诊断与即时缓解（5-15分钟）
这些步骤可以快速了解服务器状态并可能立即缓解问题。
1、登录服务器：使用SSH或其他远程方式登录，如果已经卡到无法登录，可能需要通过控制台（如云服务器的VNC）访问。
2、检查系统负载：
- 运行top 或htop 命令，这是最重要的第一步。
关键看三个指标：
负载平均值（Load Average）：三个值（1分钟、5分钟、15分钟），如果值持续超过CPU核心数（例如4核CPU负载>4），说明系统过载。
%CPU：查看哪个进程占用了最高的CPU，是java、php-fpm、mysql 还是未知进程？
%MEM：查看内存使用情况，注意“可用内存”，Linux会利用空闲内存做缓存，所以重点看是否有交换分区使用（Swap），如果Swap被大量使用，说明物理内存严重不足，会极其卡顿。
3、检查内存和交换空间：
- 运行free -h 命令。
- 关注available（可用内存）和swap 的使用量，如果available 很少且swap 使用率增长，说明内存瓶颈。
4、检查磁盘I/O：
- 运行iostat -x 2 或iotop 命令。
- 关键指标：%util（利用率，接近100%表示磁盘满负荷）、await（I/O等待时间，越高越慢），如果磁盘I/O长时间饱和，可能是磁盘读写太频繁或磁盘性能瓶颈。
5、检查网络连接：
- 运行netstat -antp 或ss -s。
- 查看是否有大量的连接（特别是TIME_WAIT、CLOSE_WAIT状态），或者某个IP建立了大量连接，这可能是DDoS攻击或程序连接未正常关闭。
6、即时缓解措施：
找到并终止异常进程：在top 中，记下异常进程的PID，用kill -9 PID 强制结束。需谨慎，确保不是核心业务进程。
清理内存：如果是因为内存缓存过多，可以尝试sync; echo 3 > /proc/sys/vm/drop_caches，但这只是清理缓存，不能解决根本性内存不足。
重启相关服务：重启卡顿的特定服务（如Nginx, MySQL, Tomcat），而不是整个服务器。
第二阶段：深入分析与定位根本原因（30分钟以上）
如果第一阶段无法解决，或问题反复出现，需要进行深入分析。
1、检查日志文件：日志是寻找根源的黄金位置。
dmesg -T：查看内核环形缓冲区日志，可能会发现硬件错误（如磁盘坏道）或OOM（内存溢出）杀进程的信息。
journalctl -xe 或/var/log/messages，/var/log/syslog：查看系统日志。
应用日志：检查Web服务器（/var/log/nginx/error.log）、数据库（/var/log/mysql/error.log）、业务应用等日志，寻找错误、警告或慢查询记录。
2、分析性能瓶颈：
CPU高：使用perf top 或pidstat 1 分析进程的CPU使用细节，如果是Java应用，可以用jstack 抓取线程栈，分析是否死循环或锁竞争。
内存高/泄漏：使用pmap -x PID 或jmap（针对Java）分析进程内存分布，监控内存使用随时间的变化，判断是否有泄漏。
磁盘I/O高：使用lsof +L1 查看哪些文件被删除但仍被进程占用，或使用iotop 定位具体进程，检查是否是数据库的慢查询、日志写入过于频繁或备份任务正在进行。
网络问题：使用iftop 或nethogs 查看实时网络流量，定位是哪个进程或IP占用大量带宽，检查防火墙规则是否过于复杂。
3、检查资源配额：
df -h：确认磁盘空间是否已满，特别是/ 根分区和/var/log 日志分区，使用du -sh 定位大文件。
- 检查inode是否用尽：df -i。
- 检查进程数、文件打开数等是否达到系统限制：ulimit -a。
根据定位到的原因进行修复：
1、硬件/资源不足：
升级配置：这是最直接的方法，增加CPU核心数、扩大内存容量、升级为SSD磁盘或增加磁盘I/O性能（如云上的IOPS）。
增加Swap：临时缓解内存不足，但Swap速度慢，不是长久之计。dd if=/dev/zero of=/swapfile bs=1M count=4096; mkswap /swapfile; swapon /swapfile
2、软件/配置问题：
优化应用配置：
Web服务器：调整Nginx/Apache的进程/线程数、连接数。
数据库：这是最常见的瓶颈，优化慢查询SQL语句，增加索引，调整缓存大小（如MySQL的innodb_buffer_pool_size），适时读写分离。
应用程序：优化代码逻辑，避免内存泄漏，使用连接池，增加缓存（如Redis）。
调整系统参数：修改/etc/sysctl.conf 中的内核参数，如TCP连接回收、文件打开数、内存交换倾向等，优化后执行sysctl -p。
3、清理与维护：
清理磁盘：删除不必要的日志、缓存文件、过期部署包，使用logrotate 工具管理日志自动轮转和清理。
定期重启：对于有内存泄漏问题的应用，安排低峰期定期重启服务是权宜之计。
4、安全与攻击：
排查入侵：检查是否有未知进程、陌生用户、可疑定时任务，使用chkrootkit、rkhunter 扫描，CPU莫名高涨可能是服务器被植入挖矿木马。
防御DDoS/CC攻击：使用防火墙（如iptables、云防火墙）限制单个IP的连接频率和数量，或接入高防IP服务。
1、建立监控告警系统：使用Zabbix、Prometheus + Grafana、Nagios 等工具，持续监控CPU、内存、磁盘、网络、关键进程状态，设置阈值告警，在问题发生前或刚发生时就能收到通知。
2、实施日志集中管理：使用ELK Stack 或Loki 收集和分析所有日志，便于快速检索和定位问题。
3、制定容量规划：根据业务增长趋势，提前规划服务器资源扩容。
4、代码与部署优化：遵循最佳实践进行开发，实施压力测试，确保新版本上线前性能达标。
5、定期进行健康检查和演练：定期检查系统安全、备份有效性，并模拟故障进行恢复演练。
总结一下修理流程：
快速登录 → 运行top/htop → 判断是CPU、内存、磁盘I/O还是网络问题 → 检查日志 → 定位到具体进程或服务 → 采取针对性措施（终止、重启、优化、扩容）→ 事后建立监控防止复发。
如果问题非常复杂，超出了你的经验范围，及时寻求专业运维人员或云服务商技术支持的帮助是明智的选择。
文章摘自：https://idc.huochengrm.cn/fwq/24714.html
评论