|
小伙伴们，有没有遇到过这种场景：正在愉快地做着报表，突然页面卡死、五颜六色的圈圈转个不停，最后蹦出一个无情的“404”或“500”……
内心OS：“不是吧阿sir，宕机了？！”
先别急着拍桌子重启大法！慌乱中的一通“系统用不了啦”的求助，可能让技术支持小伙伴也一头雾水，无法快速定位问题。
今天，我们就来分享一个 “宕机急救包” ，告诉你如何沉着应对，并收集关键信息反馈给官方，让我们能更快、更准地“药到病除”！
一、症状描述
提供一个结构清晰的反馈，可以用“5W1H”模型， 像侦探一样描述问题，能帮助尽快了解问题。
同时，补充问题现象截图更佳喔。
信息
|
答复示例
|
WHAT (发生了什么？)
—— 核心现象
|
示例： “用户访问系统首页时，浏览器弹出 HTTP 500错误。访问特定报表‘销售分析’时，页面一直转圈加载，最终超时。
|
WHEN (什么时候发生的？) —— 时间线索
|
示例： “问题从今天早上9:50开始持续出现，之前系统一切正常。在第一次报错前，我们刚执行完每日的ETL任务。”
|
WHERE (在哪里发生的？)
—— 影响范围
|
示例： “目前看来，只有生产环境受影响。所有用户都无法登录系统，但测试环境同一时间登录是正常的。”
|
WHO (谁的操作导致的？)
—— 用户与操作（可选）
|
示例： “当时，管理员账号 admin 正在尝试执行用户同步任务，页面卡死，随后整个系统访问超时。”
|
WHY (为什么发生？)
—— 近期变更
|
示例： “在问题发生前半小时，我们刚应用了新开发的扩展包，并重启了服务。重启后初期正常，大约20分钟后出现宕机。”
|
HOW (如何复现？)
—— 重现路径（可选）
|
示例： “可以稳定复现：只要任何用户尝试打开‘月度利润分析’这张报表，浏览器就会卡死并最终返回500错误。”
|
二、挂号问诊
根据常见宕机类型问题现象、通常可分为如下三种症状：
1、系统在浏览器中无法正常访问
现象：所有用户在浏览器中已经无法正常访问到环境。
问诊前收集信息：
此时，应去后台服务器确认服务是否正常：进程是否存在，参考命令：ps -ef｜grep tomcat
（1）若进程存在，服务器上访问smartbi，参考命令
curl http://ip:port/smartbi/vision/index.jsp（请求首页，正常时返回首页html页面）
curl http://ip:port/smartbi/vision/packageinfo.txt（请求静态文件，正常是返回服务器版本信息）
如果系统首页有重定向时，也可以带-v参数，如：
curl -v http://ip:port/smartbi/vision/index.jsp
状态码为302或200都是可正常访问：
- 同时，也可在后台打印系统日志，查看日志是否有正常输出，参考命令：tail -100f ./smartbi.log
诊断情况1:
若是请求可正常返回，并且日志内容也是在实时刷新输出，那基本可以判断后端服务是正常运行的，需要继续问诊网络通信情况。
ping ip/域名，参考命令：ping 服务器ip/域名
如下图，请求超时则代表网络存在问题或者是ip错误
- 确认客户端机器与服务器直接的ip、port通信情况，参考命令：telnet 服务器ip 应用port
诊断情况2:
- 若日志已没有正常输出内容，请求也无法正常响应，那基本诊断服务后端异常。接着问诊服务器内存，参考命令：top
观察进程的内存、及CPU使用率都比较高，收集线程信息与堆文件发给官方支持，进一步确认后段运行情况。
如何打印线程文件与堆文件可参考下方的文档：Tomcat打印线程信息与堆dump文件。
若条件允许，最好是dump完整的堆文件，即下方绿色截图部分，dump文件大小通常与对应进程运行内存一样大，最好是压缩后再发回。
那符合诊断情况2，需要收集发回哪些内容呢？
- 重启后，访问【运维设置 - 系统选项 - 高级设置】，由于配置内容较多，可复制粘贴出来所有配置项，以文本文件形式发回。
诊断情况3：
进程不存在了，那这时候可以考虑先来一手“重启大法”了，重启后可以看看哪些内容？
总结一下，如果是符合诊断情况3，需要收集发回的信息：
- 在【系统监控-概述】页面确认系统的JVM参数配置情况：-Djava.awt.headless=true，-DANTLR_DO_NOT_EXIT=true
- 应用启动路径下若存在有宕机节点的此类文件：hs_err_pid进程号.log或者xxxxx.hprof
- 操作系统日志：/var/log/messages文件
- 以及smartbi服务器上应用部署，以及JVM内存分配情况，可free -h初步查看
2、访问浏览器一直转圈，页面无响应
现象1：访问首页浏览器一直在转圈，F12的网络状态提示状态一直处于pending状态。
现象2：页面无响应
问诊前收集信息：新开无痕窗口是否可以正常访问
诊断情况1:
若无痕窗口可正常访问：
诊断情况2:
若无痕窗口也是一直pending请求，需要采集这些信息发回噢：
3、系统内存、CPU持续时间占用高
问诊前收集信息：
注：情况允许的话，可以打印完整的堆文件，才能更明确问题原因，一般完整堆文件会比较大，可以分卷压缩上传到网盘发回
- 打印系统日志发回（包含线程信息）：系统日志
- 如果访问的时间点CPU也很高，可以访问一下线程cpu页面，http://ip:port/smartbi/vision/monitor/listthreads.jsp，右键另存html发回
- 【系统选项-性能优化】页面完整截图：系统选项-性能优化
- 访问【运维设置 - 系统选项 - 高级设置】，复制粘贴出来所有配置项，以文本文件形式发回
记住这个流程，下次再遇到“趴窝”情况，你就能从容应对，成为团队里的“定海神针”！技术支持小伙伴也会在收到清晰信息后，第一时间为你排查跟进。
收藏本帖，防患于未然！ 大家还有什么运维小妙招，也欢迎在评论区分享哦~
恭喜你已阅读完全文，来做做题巩固下学习内容，答题可赢取麦豆哦——>点击领取任务 | 
