本文首发于公家号“圆圆的算法条记”
解读两篇最新多元时间序列预测工做mp.weixin.电话.com/s?__biz=MzIyOTUyMDIwNg==&mid=2247485852&idx=1&sn=c38a799e96351bd07ebb489d1f45ecbf&chksm=e8402fbddf37a6ab8763bd34fe1831f2bf7c2c39018d0a9994dd0fc867eb0fa7b47d6a013db6&token=574176942&lang=zh_CN#rd微信公家号“圆圆的算法条记”，持续更新NLP、CV、搜推广干货条记和业内前沿工做解读~
后台回复“交换”参加“圆圆的算法条记”交换群；回复“时间序列“、”多模态“、”迁徙进修“、”NLP“、”图进修“、”暗示进修“、”元进修“等获取各个范畴干货算法条记~多元时间序列预测使命次要处理的是输入多变量时间序列，预测多变量将来序列的问题，多变量的序列之间存在必然的彼此影响关系。多元时间序列预测比拟一般的单变量时间预测，若何在建模temporal关系的同时成立差别变量空间上的关系至关重要。今天给各人介绍两篇2022年8月份颁发的最新多元时间序列预测工做，两篇工做均有开源代码。
两篇文章的概要别离如下。
论文1-Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer：通过SMD将时间序列合成成多个IMF周期性序列+趋向项后，成立多变量之间的关系图，操纵改良的Transformer实现节点信息、边关系、图构造三者信息交融停止预测。
论文2-Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecasting：通过引入id embedding的体例缓解汗青趋向不异、将来趋向差别招致的样本无法区分问题。那种体例能够替代STGCN等引入图构造的复杂模子。
保举阅读汗青时间序列预测相关文章：
12篇顶会论文，深度进修时间序列预测典范计划汇总
Spatial-Temporal时间序列预测建模办法汇总
1. 论文1-多元序列转换为图停止预测论文标题问题：Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer下载地址：https://arxiv.org/pdf/2208.09300v1.pdf开源代码：https://github.com/radiantresearch/tsat那篇工做的核心次要包罗多变量序列构图和Transformer改良两个部门。
在多变量序列构图中，起首通过SMD对原时间序列停止合成，再按照SMD提取出的特征信息停止构图。SMD是经历模态合成的一种办法，它能够将原始的序列拆分红多个序列加一个趋向项，合成出来的序列叫做IMF（内涵模态重量）。IMF是有必然要求的，如极值点的个数和过零点的个数必需相等或相差最多不克不及超越一个、部分极大值点构成的上包络线和由部分极小值点构成的下包络线的均匀值为零等。通过SMD能够把原始序列拆分红多个子序列，那些子序列会做为后续建模的重要特征。EMD合成有比力成熟的python包emd，各人能够自行体验一下合成成果。
在得到每个序列的IMF后，下一步是按照IMF停止构图。每个变量做为一个节点，节点的特征是该变量的时间序列。每两个节点之间都有边特征，边特征是按照两个序列各个IMF合成成果别离计算的类似度，公式如下，计算第i和第j个节点中第k个IMF的类似度：
在邻接矩阵的构造上，文入彀算两两节点序列趋向项对应序列的类似度，当类似度大于必然阈值时，那两个序列成立边，通过那种体例将具有类似趋向的变量毗连起来。
第二个核心点是Transformer模子的应用。起首关于每个节点利用一个RNN生成embedding，那和我们之前介绍过的Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting（2019）不异，通过RNN的时序建模才能代替position embedding，加强Transformer对序列中各个点位置关系的感知。
本文将self-attention模块的计算办法修改为如下公式，同时考虑节点序列信息、节点间关系信息、图构造信息：
此中第一项就是传统Transformer对每个节点时间序列内部停止self-attention；第二项是引入每个IMF对应边特征的信息，第三项是将邻接矩阵的信息引入。颠末多层Transformer后通过layer norm和全毗连输出预测成果。
文中在典范的多元序列预测长进行尝试，比照了一些图进修模子、深度进修模子的效果，尝试成果如下：
2. 论文2-id特征取代复杂图模子论文标题问题：Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecasting开源代码：https://arxiv.org/pdf/2208.05233v2.pdf开源代码：https://github.com/zezhishao/STID本文的是CIKM 2022上颁发的一篇短文，起点是一个很简单的现象：汗青规律不异的序列，将来的曲线可能差别，招致模子难以只按照汗青序列做为差别的预测。好比下面那个例子，最上面的图拔取了3个差别的窗口W，P代表汗青，F代表将来。W1是空间中两个传感器的变量汗青和将来的序列，那两个传感器汗青序列根本不异，将来的差别却很大，只按照汗青序列拟合一个回归模子是无法成立那种区此外。
以往处理图进修的模子，例如STGCN中，操纵图卷积成立空间差别节点之间的关系，同时利用时序模子停止时序建模。那种体例带来效果提拔的原因，次要在于引入了卷积带来的了差别节点不异汗青序列但是差别将来序列的区分才能。本文认为间接通过参加id embedding的体例就能处理那个问题，因而设想了如下构造：将序列的id、时间信息的id等转换成embedding，和时间序列模子生成的序列暗示拼接到一路，用于后续的预测。
从下面的尝试成果来看，那种简单的办法效果比之前良多图模子的效果都好：
从下面的消融尝试中能够看到，参加每个序列的id embedding对效果影响十分大：
3. 总结本文介绍了两篇近期颁发的多元时间序列预测模子文章，第一篇通过SMD合成原序列成立各个节点的空间关系，并革新Transformer交融时序信息、节点关系信息、图构造信息。第二篇通过简单的引入id embedding的体例到达了和复杂图时空预测模子相当的效果。
微信公家号“圆圆的算法条记”，持续更新NLP、CV、搜推广干货条记和业内前沿工做解读~ 后台回复“交换”参加“圆圆的算法条记”交换群；回复“时间序列“、”多模态“、”迁徙进修“、”NLP“、”图进修“、”暗示进修“、”元进修“等获取各个范畴干货算法条记~ 后台留言”交换“，参加圆圆算法交换群~ 后台留言”论文“，获取各个标的目的顶会论文汇总~【汗青干货算法条记】
12篇顶会论文，深度进修时间序列预测典范计划汇总
若何搭建合适时间序列预测的Transformer模子？
Spatial-Temporal时间序列预测建模办法汇总
最新NLP Prompt代表工做梳理！ACL 2022 Prompt标的目的论文解析
图暗示进修典范工做梳理——根底篇
一网打尽：14种预训练语言模子大汇总
Vision-Language多模态建模办法脉络梳理
花式Finetune办法大汇总
从ViT到Swin，10篇顶会论文看Transformer在CV范畴的开展过程