前言：师兄组会上的一篇文章, 给结构学习提供了新思路, 自己仔细读一读记点笔记.

主要参考文献:
Chen, G., Lu, Y., Su, R., & Kong, Z. (2022). Interpretable Fault Diagnosis of Rolling Element Bearings with Temporal Logic Neural Network. ArXiv. https://doi.org/10.48550/arXiv.2204.07579

概览

本文亮点：

1. 用神经网络的反向传播特性来学习公式结构
2. 通过结构学习解决的是数据的拟合而非分类问题
3. wSTL的引入

流水账笔记

1 Introduction

本文的中心论点其实有点奇怪, 全片放在故障诊断的框架下谈, 但我感觉STL的结构学习算法才是这篇论文的核心.

故障诊断通常是用DL来做的, 但是传统的DL神经网络通常是黑箱一般的存在, 究竟是根据怎样的依据进行分类的不得而知。

因此本文的研究意义是为了给DL提供形式化解释——时序逻辑的可解释性便为DL可解释性的研究提供了一条新思路.

TLNN的主要思想: 用神经网络编码STL的公式结构

2 Preliminaries

STL

之前介绍过很多次了, 这里不再赘述。

wSTL

wSTL的定义是使用神经网络的基础. 这里重点要搞清楚wSTL和STL有什么样的区别. 顾名思义, wSTL多了一个权重的概念, 那么这个权重是加在哪里呢?

$$\phi :=\mu |\neg \phi |{\wedge }_{i=1:N}^w{\phi }_i\left|{\vee }_{i=1:N}^w{\phi }_i\right|{\nabla }_{\left[{\tau }_1,{\tau }_2\right)}^w\phi \mid {\square }_{\left[{\tau }_1,{\tau }_2\right)}^w\phi$$

• 对于布尔操作子, 权重加在子公式上
• 对于时序操作子, 权重加在不同的时间点上.

Weighted robustness degree

定义:

$$\begin{array}{ll}{\rho }^w(x,f(x)\ge c,t)& :=\frac{w}{2}(f(x(t))-c)\\ {\rho }^w(x,f(x)<c,t)& :=\frac{w}{2}(c-f(x(t)))\\ {\rho }^w(x,\neg \phi ,t)& :=-{\rho }^w(x,\phi ,t)\\ {\rho }^w\left(x,{\wedge }_{i=1:N}^w{\phi }_i,t\right)& :=g^{\wedge }\left(w,{\left[{\rho }^w\left(x,{\phi }_i,t\right)\right]}_{i=1:N}\right)\\ {\rho }^w\left(x,{\vee }_{i=1:N}^w{\phi }_i,t\right)& :=g^{\vee }\left(w,{\left[{\rho }^w\left(x,{\phi }_i,t\right)\right]}_{i=1:N}\right)\\ {\rho }^w\left(x,{\square }_{\left[{\tau }_1,{\tau }_2\right]}^w\phi ,t\right)& :=g^{\square }\left(w,{\left[{\rho }^w(x,\phi ,t)\right]}_{t^{\prime }\in \left[t+{\tau }_1,t+{\tau }_2\right]}\right)\\ {\rho }^w\left(x,{\diamond }_{\left[{\tau }_1,{\tau }_2\right]}\phi ,t\right)& :=g^{\diamond }\left(w,{\left[{\rho }^w(x,\phi ,t)\right]}_{t^{\prime }\in \left[t+{\tau }_1,t+{\tau }_2\right]}\right)\end{array}$$

• 对于形如$f(x)>c$或$f(x)<c$的一阶命题, 加权鲁棒度的权重是给定权值$w$的一半(咱也不知道为什么这么定义).
• 对于逻辑操作子, 针对不同的原子命题的权重进行激活
• 对于时序操作子, 针对不同时刻的权重进行激活

Activation function

${\rm Y}=\left(g^{\wedge },g^{\vee },g^{\square },g^{\diamond }\right)$根据权重激活STL式子中的子公式, 具体函数在后面进行定义。

3 Temporal Logic Neural Network

作者用下面这个神经网络 (TLNN) 完成了信号鲁棒度的计算. 输入的是一个多维信号, 输出是wSTL的鲁棒度.

接下来介绍每一层干了什么:

前情提要：$M=dim(x)\times 4$, 代表每条通道的4条一阶、二阶公式组合

Layer 1 (Input layer)

这一层可以看作一个数据分发器. 把$t$时刻的信号复制$M$份分发给不同的代选公式中.

Layer 2 (Predicate layer)

第二层计算最简公式(零阶命题)的加权鲁棒度.
每个神经元代表一个命题, 调用${\rho }_i^2={\mu }_i(t)=f(x(t))-W_i^1$计算鲁棒度序列, 由此式可以看出，这一层神经元的待学习参数$W^1=[W_1^1,W_2^1,...,W_M^1]$分别为$M$个公式模板中的STL的尺度参数。

Layer 3 (Atomic formula layer)

在这一层计算一阶、二阶的鲁棒度，通过时序操作子将$M$个零阶公式的鲁棒度序列组合起来。

此层的神经元结构如上图所示.

Auto-Encoder

为什么要这样先编码再解码呢？是不是多此一举？这里这个结构叫做自编码器（Auto-Encoder）。

Encoder的作用是把输入的高维鲁棒度序列${\rho }_i^2$先转化为隐变量$h$, decoder的作用是把$h$还原到原始的维度, 传统的AE希望输出能够与输入近似。

这是在干什么呢？可以想象这个神经网络通过自己的消化理解后，找到输入的内在规律后，将输入的序列背诵了出来。根据正常数据训练出来的Autoencoder，能够将正常样本重建还原，但是却无法将异常分布的数据点较好地还原，导致还原误差较大。在时间序列异常检测场景下，如果自编码器无法还原正确还原输入，则说明输入的时间序列存在异常。

但是这篇文章中AE的作用比较牵强，并不是向上面一样进行异常检测，而是强行训练出信号点的权重时间序列。强行把自编码器的隐变量解释为时间参数$[{\tau }_1,{\tau }_2]$。

在解码之前，AE还对隐变量$h$进行了进一步操作, 将其转换为我们想要得到的时间参数${\tau }_1,{\tau }_2$。文中称这个过程为量化，方便最后能够直接读出时间参数。其过程如下：

对$h_1,h_2$进行量化 (转化成整数序号)，其中$△$是量化阶梯的长度。
$$Q(x)=\{\begin{array}{cl}l& x<l\\ u& x>u\\ l+\Delta (i+\frac{\kappa (x)+1}{2})& x\in {\mathcal{P}}_i\end{array}$$

当然需要保证计算过程可导, 其中$k$是一个超参数, 决定阶梯的平滑程度.

$$\kappa (x)=\frac{1}{tanh(0.5k△)tanh(k(x-l-(i+0.5)△))}$$

Activation Function

说完了自编码器的作用，接下来将$g({\mu }_i,W_i)$函数的作用。这个函数被称为激活函数（Activation Function）。四种公式模板对应4种神经元，需要分别编写激活函数。

论文中将自编码器的输出作为时序权重来计算鲁棒度序列${\mu }_i$即${\rho }_i^2$相对于简单公式模板的鲁棒度。

怎么理解这一步激活呢？文中的写法有点问题，这里应该就是求第一步中得到的鲁棒度序列的最大最小值了。更正后如下:

1. always
$$g^{\square }({\rho }^2,W^2)={\rho }^{\omega }(x,{\square }_{[{\tau }_1,{\tau }_2]}^{W^2}{\phi }_i,t)$$
2. eventually
$$g^{\diamond }({\rho }^2,W^2)={\rho }^{\omega }(x,{\diamond }_{[{\tau }_1,{\tau }_2]}^{W^2}{\phi }_i,t)$$
3. eventually always
对于含有两个时序算子的，激活函数复杂一些，但是这里依然只要有两个时间参数${\tau }_1,{\tau }_2$，${\tau }_0$是写死的。
$$g^{\square \diamond }({\rho }_i^2,W^2)={\rho }^{\omega }(x,{\wedge }_{j=0:{\tau }_0}{\diamond }_{[{\tau }_1+j,{\tau }_2+j]}^{W^2}{\phi }_i,t)$$
4. always eventually
$$g^{\diamond \square }({\rho }_i^2,W^2)={\rho }^{\omega }(x,{\vee }_{j=0:{\tau }_0}{\square }_{[{\tau }_1+j,{\tau }_2+j]}^{W^2}{\phi }_i,t)$$

为了保证每一步可导，这里当然也需要平滑化处理，文章用的平滑方法为arithmetric-geometric integral mean

min ⁡ ~ { [ x 1 , x 2 , . . . , x N ] } = { [ Π i = 1 : N ( 1 + x i ) ] 1 N − 1 ∀ x i > 0 , i = 1 , . . . , n 1 N ∑ i = 1 : N [ x i ] − o t h e r w i s e tilde{min}{[x_1,x_2,...,x_N]}=left{ begin{array}{cl} [Pi_{i=1:N}(1+x_i)]^{frac{1}{N}}-1 & forall x_i>0,i=1,...,n \ frac{1}{N} sum_{i=1:N}[x_i]_- & otherwise\ end{array} right. min~{[x1​,x2​,...,xN​]}={[Πi=1:N​(1+xi​)]N1​−1N1​∑i=1:N​[xi​]−​​∀xi​>0,i=1,...,notherwise​

其中otherwise部分表示：如果存在负值，那最小值肯定是负值，则把正值清零，计算平均值

max ⁡ ~ { [ x 1 , x 2 , . . . , x N ] } = { 1 − [ Π i = 1 : N ( 1 − x i ) ] 1 N ∀ x i < 0 , i = 1 , . . . , n 1 N ∑ i = 1 : N [ x i ] + o t h e r w i s e tilde{max}{[x_1,x_2,...,x_N]}=left{ begin{array}{cl} 1-[Pi_{i=1:N}(1-x_i)]^{frac{1}{N}} & forall x_i<0,i=1,...,n \ frac{1}{N} sum_{i=1:N}[x_i]_+ & otherwise\ end{array} right. max~{[x1​,x2​,...,xN​]}={1−[Πi=1:N​(1−xi​)]N1​N1​∑i=1:N​[xi​]+​​∀xi​<0,i=1,...,notherwise​

其中otherwise部分表示：如果存在正值，那最大值肯定是负值，则把负值清零，计算平均值。

Layer 4 (Formula reduction layer)

第4层通过布尔操作子将上面的四种子公式组合起来。

这一层只有两个神经元，一个是and神经元，一个是or神经元
分别把L3中的M个结果加权求最大最小。

Layer 5 (Output layer)

第五层输出最终and加权组合下的公式。

4 TLNN Learning

A. Structure learning

这里补充说明到，$M$的数量并不是事先指定的，而是动态增加的。但是在论文这个框架下是大可不必啊，因为最多也就4种模板。

Neuron reduction

如果某个模板公式的权重太低了，就将其置零。

这一步并不可导，所以推测是最后读取的时候才进行。

Neuron increase

如果最终的鲁棒度输出太离谱了，就在L3增加一个神经元（即增加一种模板），神经元类型为上面4种中随机一种。

这一步就黑人问号？？：

1. 这一步判断实在什么时候进行？如果每次BP都进行一次，那么初期网络岂不是会疯狂生长？？如果有模板数量有上限的话，网络会瞬间增长到最大。这样还不如直接固定好模板数，毕竟不多。
2. 结果不满意继续训练权重就好了，为什么要增加一个一样的神经元重新训练？？

B. Parameter Learning

神经网络优化的是输出鲁棒度于理想鲁棒度的差异

$$L=\frac{1}{2}(y-y_d{)}^2$$

接下来讲的是反向传播是如何进行链式求导的，没什么创新点，这里就不展开。

最后又发现一个矛盾点：

前面的模板中并没有零阶公式为$x<W^i$这个选项，但是这里说$\frac{\partial {\rho }_i^{2,j}}{\partial W_j^1}$能够取$\pm 1$，应该是原作者欠考虑了。

5 Case Studies

背景介绍

实验基于轴承的异常诊断场景，异常数据通过在轴承特定部位上刻蚀一条小缝产生。原始数据还进行了小波变换等一系列处理。

结果

结果并没有反映出学习出来的权重，wSTL到STL之间怎么进行转换的不得而知。






最后还和其他的方法做了对比，结果如下。

6 Conclusions

创新点：

• 结合了神经网络
• 用真实数据集进行了实验

心得与记录

• 这篇文章比较很多，写得比较乱，请读者谅解
• 论文没有交代清楚自编码器的作用，也没有交代清楚wSTL到STL的转换关系

最后

以上就是懵懂小白菜为你收集整理的【论文精读】时序逻辑推理之时序神经网络 Interpretable Fault Diagnosis of Rolling Element Bearings with TLNN概览流水账笔记心得与记录的全部内容，希望文章能够帮你解决【论文精读】时序逻辑推理之时序神经网络 Interpretable Fault Diagnosis of Rolling Element Bearings with TLNN概览流水账笔记心得与记录所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。