纯理论推导，建议慢食！！！
建议推一遍公式，挺好的。
主成分分析(PCA Model, PM)
PCA是一种统计方法，广泛应用于工程和科学应用中，与傅里叶分析相比，尤其适用于质量监测。
设x∈Rm\boldsymbol{x} \in \mathfrak{R}^{m}x∈Rm表示mmm个传感器矢量的样本测量值。
假设每个传感器有NNN个样本，数据矩阵X=[x1x2⋯xN]T∈RN×m\mathbf{X}=\left[\begin{array}{llll} \boldsymbol{x}_{1} & \boldsymbol{x}_{2} & \cdots & \boldsymbol{x}_{N} \end{array}\right]^{T} \in \mathfrak{R}^{N \times m}X=[x1x2⋯xN]T∈RN×m，由代表样本xiTx^T_ixiT的每一行组成。
正常数据矩阵XXX的一个重要要求是，它应具有丰富的正常变化，以代表过程的共同原因变化。矩阵XXX被缩放为零均值，通常为PCA建模的单位方差。矩阵XXX通过奇异值分解（SVD）分解为得分矩阵TTT和加载矩阵PPP，
X=TPT+X~(1)\mathbf{X}=\mathbf{T P}^{T}+\tilde{\mathbf{X}}\tag{1}X=TPT+X~(1)
其中T=XPT=XPT=XP包含 lll 个左前导奇异向量和奇异值，P包含lll个右前导奇异向量，X~\tilde{\mathbf{X}}X~ 是残差矩阵。因此，T的列是正交的，P的列是正交的。将样本协方差矩阵表示为
S=1N−1XTX(2)\mathbf{S}=\frac{1}{N-1} \mathbf{X}^{T} \mathbf{X}\tag{2}S=N−11XTX(2)
作为SVD的替代方法，可以对S进行特征分解，以获得P作为S的 lll 个前导特征向量，特征值表示为
Λ=diag{λ1,λ2,…,λl}(3)\mathbf{\Lambda}=\operatorname{diag}\left\{\lambda_{1}, \lambda_{2}, \ldots, \lambda_{l}\right\}\tag{3}Λ=diag{λ1,λ2,…,λl}(3)
第 iii 个特征值可与得分矩阵T的第 iii 列相关，如下所示：
λi=1N−1tiTti≈var{ti}(4)\lambda_{i}=\frac{1}{N-1} \mathbf{t}_{i}^{T} \mathbf{t}_{i} \approx \operatorname{var}\left\{\mathbf{t}_{i}\right\}\tag{4}λi=N−11tiTti≈var{ti}(4)
这是第iii个得分向量ti∈RN\mathbf{t}_{i} \in \mathfrak{R}^{N}ti∈RN的样本方差。主成分子空间（PCS）是Sp=span{P}\mathcal{S}_{p}=\operatorname{span}\{\mathbf{P}\}Sp=span{P}，剩余子空间（RS）SrS_rSr是SpS_pSp的正交补。将测量空间划分为PCS和RS，使得RS仅包含微小的奇异值，这些奇异值对应于通常具有较小变化的子空间，或者主要是噪声的子空间。因此，残差类似于根据质量平衡和能量平衡建立的数学模型中的方程误差。
样本向量x∈Rm\mathbf{x} \in \mathfrak{R}^{m}x∈Rm可以分别投影到PCS和RS上，
x^=Pt=PPTx∈Sp(5)\hat{\boldsymbol{x}}=\mathbf{P} \boldsymbol{t}=\mathbf{P P}^{T} \boldsymbol{x} \in \mathcal{S}_{p}\tag{5}x^=Pt=PPTx∈Sp(5)
其中，
t=PTx∈Rl(6)\boldsymbol{t}=\mathbf{P}^{T} \boldsymbol{x} \in \mathfrak{R}^{l}\tag{6}t=PTx∈Rl(6)
为 lll 个潜在变量得分的向量。
残差向量：
x~=x−x^=(I−PPT)x∈Sr(7)\tilde{\boldsymbol{x}}=\boldsymbol{x}-\hat{\boldsymbol{x}}=\left(\mathbf{I}-\mathbf{P P}^{T}\right) \boldsymbol{x} \in \mathcal{S}_{r}\tag{7}x~=x−x^=(I−PPT)x∈Sr(7)
因为 SpS_pSp 和 SrS_rSr 是正交的，
x^Tx~=0(8)\hat{\boldsymbol{x}}^{T} \tilde{\boldsymbol{x}}=0\tag{8}x^Tx~=0(8)
且
x=x^+x~(9)\boldsymbol{x}=\hat{\boldsymbol{x}}+\tilde{\boldsymbol{x}}\tag{9}x=x^+x~(9)
其中，一个重要的概念是，数据的PCA模型，x^\hat{\boldsymbol{x}}x^由潜变量 t∈Rm\mathbf{t} \in \mathfrak{R}^{m}t∈Rm 参数化。
动态主成分分析(Dynamic PCA Models, DPM）
同样的PCA分解可以扩展到表示时间相关的动态过程数据，通过传递函数矩阵提取与测量向量相关的潜在变量。在潜变量建模中，测量变量不分为输入变量和输出变量。
相反，所有变量都与许多潜在变量相关，以表示它们的相关性。
设zkz_kzk时间kkk时所有的变量的集合。
扩展变量向量可以定义为
xkT=[zkTzk−1T⋯zk−dT](9)\boldsymbol{x}_{k}^{T}=\left[\boldsymbol{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \boldsymbol{z}_{k-d}^{T}\right]\tag{9}xkT=[zkTzk−1T⋯zk−dT](9)
PCA潜在变量得分可根据（5）计算，如下所示：
tk=PT[zkTzk−1T⋯zk−dT]T(10)\mathbf{t}_{k}=\mathbf{P}^{T}\left[\mathbf{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \mathbf{z}_{k-d}^{T}\right]^{T}\tag{10}tk=PT[zkTzk−1T⋯zk−dT]T(10)
根据（10）将PPP划分为d+1d+1d+1块
PT=[P0TP1T⋯PdT](11)\mathbf{P}^{T}=\left[\begin{array}{llll} \mathbf{P}_{0}^{T} & \mathbf{P}_{1}^{T} & \cdots & \mathbf{P}_{\mathrm{d}}^{T} \end{array}\right]\tag{11}PT=[P0TP1T⋯PdT](11)
由（10） 可以用传递矩阵的形式表示，
tk=∑i=0dPiTzk−i≡A(q−1)zk(12)\boldsymbol{t}_{k}=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{z}_{k-i} \equiv A\left(q^{-1}\right) \boldsymbol{z}_{k}\tag{12}tk=i=0∑dPiTzk−i≡A(q−1)zk(12)
其中，A(q−1)=∑i=0dPiTq−iA\left(q^{-1}\right)=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{q}^{-i}A(q−1)=∑i=0dPiTq−i是矩阵多项式，q−i\boldsymbol{q}^{-i}q−i是后移算子。等式（12）表明，潜在变量是过去数据的线性组合，其降序方差最大。这个概念类似于卡尔曼滤波器状态向量。投影（4）包含测量的滤波或平滑估计。
在闭环控制系统的情况下，过程输入和输出变量通常对一些主要的过程扰动作出响应。主要扰动起潜变量的作用。因此，潜在变量模型可以在向量zkz_kzk中包括过程输入和输出。
❤坚持读Paper，坚持做笔记❤！！！
To Be No.1
哈哈哈哈
创作不易，过路能❤关注、收藏、点个赞❤三连就最好不过了
ღ( ´･ᴗ･` )
『
她有心，她的心在我这里
』
