广州越秀建网站国际新闻消息

---

文章信息

1. 模型： MICN (Multi-scale Isometric Convolution Network)
2. 关键词： 长时预测, 局部和全局信息, 多分枝结构,不同的潜在模式
3. 作者：Huiqiang Wang, Jian Peng, Feihu Huang, Jince Wang, Junhui Chen, Yifei Xiao
4. 机构：四川大学
5. 发表情况： ICLR 2023 notable top 5%（ Published: 02 Feb 2023, Last Modified: 15 Feb 2023 ）
6. 网址： MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting

---

前言

1. challenge

  TCN ：使用因果卷积来建模时间因果关系，并使用扩张卷积来扩展感受野。它可以更好地整合序列的局部信息。然而，受感受野大小的限制，TCN往往需要很多层来建模时间序列的全局关系，这大大增加了网络的复杂性和模型的训练难度。
  Transformer：时间算复杂度高，许多tokens之间的注意力计算是没有必要的。而且此类模型不能像CNN结构那样对局部特征进行有针对性的建模。
  在本文中，我们将 CNN 的建模视角与 Transformers 的建模视角相结合，从序列本身的现实特征，即局部特征和全局特征相关性来构建模型。

---

一、网络结构

  多尺度等距卷积网络（MICN）使用多个不同卷积核的分支分别对序列的不同潜在模式进行建模。对于每个分支，我们使用基于下采样卷积的局部模块提取序列的局部特征，在此基础上，我们使用基于等距卷积的全局模块建模全局相关性。最后，采用Merge操作将多个分支中不同模式的信息进行融合。该设计将时间和空间复杂性降低到线性，消除了许多不必要的冗余计算。
  模型的整体实现：多尺度混合分解（MHDecomp）块来分离输入序列的复杂模式。然后用季节预测块(Seasonal Prediction Block)预测季节信息，用趋势-周期预测块(Trend-cyclical Prediction Block)预测趋势-周期信息。然后将预测结果相加，得到最终的预测$Y_{pred}$.

1. MHDecomp

  直接将多个池化得到的结果进行平均来获得周期项

2. Trend-cyclical Prediction Block

表示为MICN-regret，文中未提及具体设计。

3. Seasonal Prediction Block

  季节预测模块首先对输入进行 Embedding，其次使用 个堆叠的 MIC（Multi-scale isometric Convolution） 层预测未来。

MIC Layer

  每个 MIC 层中，有多个代表不同尺度的 Branch，如上图中浅蓝色部分所示。每个 branch 实际上就是一个 Local-Global 模块。Local-Global 模块如下图：

  Local部分先将输入通过 $kernel=i$ 的平均池化之后，在进行 $stride=kernel=i$ 的1维卷积的降采样，这一步将序列缩小为了原来的 $i$ 倍。Global部分输入就是之前Local部分的输出，通过等距卷积对之前的各个Local部分的特征进行建模，然后得到全局关系，最后通过转置卷积的上采样回复到原来的长度。其中等距采样如下：

  在此，还采用了因果卷积的思路，不考虑未来信息。这里的等距卷积是对TCN的复杂计算和自注意力机制的改进。

Merge

  使用2维卷积将不同尺度的输出拼接在一起。

实验结果

1.长时预测

总结

参考

ICLR 2023 | 用于长时间序列预测的多尺度混合分解模块