最近在做光模块的故障预测，所以对硬件设备的故障做了点微小的调研，为了不辜负我这几天的辛苦看论文，还是打算对这几篇论文和目前自己的看法做个记录。
光模块故障原因
-
光模块的光口收到污染和损伤，导致光链路损耗加大，以至于光纤链路不通。光口长期暴露在环境中致使灰尘进入而受污染、模块连接的光纤端面被污染导致光口污染以及尾纤的光接头端面使用不当被损这三种情况都会使光受到污染
-
光模块受到ESD损伤，即『静电放电』或者『静电击穿』。静电会引起灰尘吸附，改变线路间的阻抗，影响SFP光模块的功能与寿命。ESD是不可避免，一个非常快的过程，ESD可以产生几十Kv/m甚至更大的强电磁脉冲。
可以粗略的认为原因一是缓慢的，有迹可循的一个过程，原因二是突发的故障，不可预测。
光模块的故障情况分析
通过给出的数据，对故障前后一天内的指标变化情况做了统计，发现大部分的故障在故障前监测的相关指标都没有明显波动，只有小部分故障在异常前出现了较大的波动，但是波动的情况也并不相同。并且主要波动的指标占少数，其他指标并不对异常敏感。
相关论文
目前硬件故障预测，看到较多的还是对硬盘做相关的故障预测，因为硬盘故障的情况较多且涉及的指标也较多，可以分析的空间比较大。但是由于硬件的指标变化并不规律，所以我认为用深度学习的方法来预测数据或者进行分类可能并不可取。所以现在用的方法大多是传统机器学习SVM、Rank-sum和HMM等方法，还有统计学相关的模型。
Failure prediction using machine learning and time series in optical network
这篇是17年发表在OE期刊上的一篇论文，OE是光学方面中不溜的期刊吧，质量上还是有灌水的嫌疑。不过光学这个方向算是挺冷门的了，听说挺好发论文……
这篇论文用的方法还是挺直白的，研究光网络下设备的故障预测。用二指数平滑方法（DES）对数据进行拟合并作出预测，然后用SVM来判断预测的数据是否是故障的。
最后实验也并没有做对比实验（可能是之前并没有这方面的工作…卒），对他提出的方法做了正确率的测试，根据当天的数据预测第二天的故障情况，正确率能达到90%以上。对此我觉得肥肠惊人and有点不相信
实验结果
A Two-Step Parametric Method for Failure Prediction in Hard Disk Drives
这篇是14年IEEE TII上的一篇论文，听说TII被ACM列为三类会议…但是应该还是误判为多。
论文做的是预测硬件驱动的故障。基于统计学建立模型，定为TSP模型，主要的参数是异常阈值和故障阈值。
异常阈值的获取：通过统计得到正常样本之间的曼哈顿距离分布，根据三西格玛定律，超过均值3个方差的数据就认为是异常的数据
故障阈值：建立代价函数，通过优化代价函数获得最优的故障阈值（当然还有一些其他的参数）
模型的流程分两步走：
- 使用滑动窗口判断当前窗口是否有数据点超过异常阈值，如果有的话进入故障判断
-
统计当前窗口有多少个数据点是异常的，并根据计算得出的值代入计算GLRT(似然比检验)，如果GLRT大于故障阈值，则定义为24小时候设备会出现异常，则报警
流程图
数据的处理上也有点儿意思，除了真实数据之外，他们还认为硬盘驱动的数值变化符合韦伯分布，所以用韦伯分布生成了一批数据，一半是正常的数据，一半是异常数据。
在实验上，他们用ROC曲线来衡量模型的优劣。并和SVM，Ranksum和HMM等方法做了对比，得到TSP模型的正确率和计算性能都优于传统方法。
Predicting Disk Replacement towards Reliable Data Centers
这篇论文16年发表在KDD上，质量可以认为是过关的，他们做的是预测硬盘的替换。由于硬盘故障带来的损失比较大，所以预测硬盘故障的时间，并且提前一天对故障作出判断，对故障作出替换硬盘的操作，来减少损失。可以等同于硬件的故障预测。
对故障的判定用的是RGF(Regularized Greedy Forest)方法， 对数据进行聚类，分为故障和非故障两类。算是波澜不惊的方法吧23333
在数据处理上依旧有点儿意思。使用changepoint方法挑出与磁盘故障相关的SMART属性，用指数平滑来处理数据，生成平滑的时间序列。然后用下采样的方法挑出具有代表性的健康磁盘数据，然后平衡数据组成为一半健康数据，一半异常数据。
出挑的方法还有使用了迁移学习。由于不同厂家生产的磁盘依赖的特征可能是不一样的，使用迁移学习将已经训练好的模型适应各个不同厂家的磁盘。
实验上使用HitA和SgtA数据集，和许多传统方法做了对比实验，发现在召回率，正确率等评价指标上都表现良好。
实验结果
一点想法
三篇论文上的数据处理方法都可以借鉴，但是由于拿到的数据集指标还是少了，所以可能用SVM得到的结果会更好些。还有这几篇论文中实验结果都非常优秀，需要进一步确定实际环境中模型的表现情况和可行性。
参考资料
http://stor.51cto.com/art/201808/582433.htm
Predicting Disk Replacement towards Reliable Data Centers, 2016, KDD
A Two-Step Parametric Method for Failure Prediction in Hard Disk Drives,2014, TII
Failure prediction using machine learning and time series in optical network, 2017, OE
网友评论