收到线上服务器出现cpu告警一般怎么排查？

当线上服务器出现CPU告警时，可以按照以下步骤进行系统性排查，逐步定位问题根源：

---

1. 快速确认CPU使用情况 命令工具：top # 实时查看CPU占用（按P排序进程） htop # 增强版top，支持可视化操作 mpstat -P ALL 1 # 查看每个CPU核心的详细利用率 sar -u 1 5 # 历史CPU使用率统计（需安装sysstat） 关注指标： %us（用户态）高：应用代码消耗CPU。%sy（内核态）高：系统调用或中断频繁。%wa（I/O等待）：高则可能磁盘/网络IO成为瓶颈。

---

2. 定位高CPU进程/线程 查看进程：top -c # 显示完整命令，确认可疑进程 ps -eo pid,pcpu,comm,args --sort=-%cpu | head # 按CPU排序进程 深入线程：top -H -p <PID> # 查看指定进程的线程（按P排序） pidstat -t -p <PID> 1 # 统计线程级CPU使用

---

3. 分析进程内部状态

Java应用：

jstack <PID> > thread_dump.log # 生成线程快照 jstat -gcutil <PID> 1000 # 检查GC情况（频繁GC可能导致CPU高） 用工具（如fastthread）分析jstack输出，查找RUNNABLE状态的线程及堆栈。

其他语言（如C/C++/Go）：

pstack <PID> # 查看进程的线程堆栈（可能需gdb） perf top -p <PID> # 实时分析函数级CPU占用 gdb -p <PID> -ex "thread apply all bt" --batch > gdb_dump.log # 生成完整堆栈

---

4. 检查系统级瓶颈

I/O瓶颈：

iostat -x 1 # 查看磁盘IO负载（%util高表示瓶颈） dstat # 综合监控（CPU、磁盘、网络）

网络瓶颈：

sar -n DEV 1 # 网络流量统计 ss -s # 查看连接统计（TIME-WAIT过多？）

上下文切换/中断：

vmstat 1 # 查看cs（上下文切换）、in（中断） pidstat -w -p <PID> 1 # 进程级上下文切换统计

---

5. 结合日志与监控

应用日志：

检查错误日志（如grep -i error /var/log/app/*.log）。关注高频日志输出（可能是循环报错或异常逻辑）。

系统日志：

dmesg | grep -i "error" # 检查内核日志 journalctl --since "5 minutes ago" # 查看近期系统日志（systemd系统）

监控系统（如Prometheus、Zabbix）：

检查历史趋势：CPU升高是否伴随流量突增？关联指标：内存、磁盘、网络、应用中间件（如数据库连接池）。

---

6. 代码/配置级检查

代码热点：

使用性能分析工具生成火焰图：perf record -F 99 -p <PID> -g -- sleep 30 # 采样 perf script > out.perf flamegraph.pl out.perf > flamegraph.svg # 生成火焰图 分析火焰图，找到占用CPU高的函数或代码块。

配置问题：

线程池配置不合理（过多/过少）。缓存失效导致频繁计算。JVM参数不当（如堆大小、GC策略）。

---

7. 安全排查 可疑进程：lsof -p <PID> # 查看进程打开的文件/网络 netstat -antp | grep <PID> # 检查异常连接 挖矿病毒： 检查未知进程、计划任务（crontab -l）、启动项。使用rkhunter、chkrootkit扫描后门。

---

8. 常见场景速查

场景1：GC频繁 现象：jstat显示GC时间占比高，应用卡顿。 解决：调整JVM堆大小/选择低延迟GC算法（如G1/CMS）。

场景2：死循环/死锁 现象：线程堆栈中同一方法反复出现。 解决：分析代码逻辑，修复并发问题。

场景3：外部依赖瓶颈 现象：CPU高伴随大量I/O等待或网络超时。 解决：优化数据库查询、增加缓存、降级非核心功能。

---

总结流程 确认问题 → 2. 定位进程 → 3. 分析线程 → 4. 关联日志/监控 → 5. 代码/系统调优 通过工具链逐层下钻，结合系统指标与应用逻辑，最终定位到代码或配置缺陷。