LSTM预测模型

时间序列预测通常需要捕获时间依赖性，而$LSTM$（长短时记忆网络）是处理时间序列数据的经典深度学习方法之一。结合长短时注意力机制（$Long-ShortAttentionMechanism$）可以增强$LSTM$的性能，从而实现更精确的预测。

$LSTM$的原理

$LSTM$通过引入记忆细胞和门控制机制(输入门、遗忘门和输出门)，有效的解决了传统$RNN$(循环神经网络)中梯度消失和梯度爆炸问题。

• 遗忘门:决定丢弃多少信息。
  $$f_t=\sigma \left(W_f\cdot \left[h_{t-1},x_t\right]+b_f\right)$$

• 输入门：决定输入多少新信息。
  $$\begin{gathered} i_t=\sigma \left(W_i\cdot \left[h_{t-1},x_t\right]+b_i\right) \\ {\tilde{C}}_t=\tanh (W_C\cdot [h_{t-1},x_t]+b_C) \end{gathered}$$

• 记忆更新：
  $$C_t=f_t\cdot C_{t-1}+i_t\cdot {\tilde{C}}_t$$

• 输出门：控制隐藏状态输出。
  $$\begin{gathered} o_t=\sigma (W_o\cdot [h_{t-1},x_t]+b_o) \\ {h}_t=o_t\cdot \tanh (C_t) \end{gathered}$$

注意力机制

注意力机制通过计算每个时间步的重要性权重来增强特征的表达能力：

• 长时注意力：捕获远距离时间依赖性。
• 短时注意力：突出当前时间步及其邻近的关键特征。

注意力权重的计算公式为：
$${\alpha }_t=\text{softmax}(e_t),e_t=\text{score}(h_t,q)$$
其中，$h_t$是LSTM的隐藏状态，$q$是查询向量。

注意力增强后的输出为：
$$z_t=\sum _{t^{\prime }}{\alpha }_{t,t^{\prime }}{h}_{t^{\prime }}$$