LOADING

加载过慢请开启缓存 浏览器默认开启

LMs for Time Series and Spatio-Temporal Data

2024/9/15 读论文系列 时空大模型 综述

image-20240915194419334

论文发布日期:2023-10-20

Abstract

LLMs for Time Series and Spatio-Temporal Data

讲解四个方面

  1. data types

  2. model categories

  3. model scopes

  4. application areas/tasks

现有文献分为两大类：

  • large models for time series analysis (LM4TS)

  • large models for spatio-temporal data mining (LM4STD)

INTRODUCTION

Contributions

  • 第一篇综合且最新的综述。全面回顾了时间序列和时空数据并分析了大模型最新进展。

  • 统一而结构的分类。将现有研究根据数据类型分为两个主要集群LM4TS和LM4STD，再根据模型类型分为两个子组LLM和PFM。其他分类根据模型大小、应用领域和具体任务再继续细分。

  • 丰富的资源汇集。汇集并总结了该领域的丰富资源，包括数据集、开源实现和benchmarks，还概述了跨各个领域的相关大模型实际应用。

  • 未来的研究机会。详细阐述并讨论了未来研究的多种有前景的方向，包括数据源、模型架构、训练和推理范式等。

Related Surveys and Differences（动机）

  • 虽然过去工作已经从不同角度对时间序列和时空数据建模进行了广泛的归纳，但没有一篇综述集中于该领域内大型模型的出现和应用。

  • 本文的目标是针对时间序列和时空序列定制的大型模型进行全面且最新的回顾，不仅关注最新进展，还有可用资源、实际应用和前瞻性研究方向。

image-20240915135915160

Paper Organization

  • Sec2 给读者介绍必要的背景知识，包括大模型、时间序列和时空数据以及相关任务。

  • Sec3 介绍了文章在时间序列和时空数据分析背景下对大型模型的统一分类法并提供了一个广泛的概述。

  • Sec4和Sec5 深入研究了具体方法的复杂性。

  • Sec6 封装了本文汇集的关于大模型for时间序列和时空数据分析的大量资源和应用。

  • Sec7 概述了该领域未来研究的潜力较大的路径。

  • Sec8 总结全文。

BACKGROUND

2.1 Large Language Models

两种分类

  • embedding-visibal LLMs：通常是开源的，能够看到LLM的内部状态，这允许对不同的目标任务进行微调并且能展示出很好的few-shot和zero-shot能力而不需要进行额外的再训练

  • embedding-invisibal LLMs：通常是闭源的，无法看到其内部状态，只能通过API calls中的prompting来推断。

LLM如何实现时间序列或时空数据分析任务

  • multimodal repurposing：通常通过对齐不同模态在目标和预训练任务来激活任务相关的能力。这与LLMs的微调（adapter tuning and low-rank adaptation）和model reprogramming密切相关，取决于LLMs是在adaptation过程中进行微调还是冻结。

  • API-based prompting：直接将目标模态包装成自然语言提示并输入LLMs以生成推理。这相似于black-box tuning for language-model-as-a-service (LMaaS）。

2.2 Pre-Trained Foundation Models

LLMs原则上属于PFMs但是更专注于自然语言的任务，而PFMs则构成一个更广泛的模型类别，特点是通过人工智能系统获得有效解决不同任务和同质化的能力。PFMs的能力体现在三个关键的维度：

  • modality bridging：代表是多模态模型。通过桥接对齐不同的模态获得更强大更泛用的性能。（CLIP）

  • reasoning and planning：推理和规划能力，包括CoT、ToT和GoT以及ask-planning agent等。

  • interaction：交互能力，包括行动和沟通。

目前在时间序列与时空数据领域的PFM仍处理发展早期，远没有达到第二个和第三个方面。

image-20240915135952724

2.3 Time Series and Spatio-Temporal Data

  • Time Series Data：分为单时间序列和多时间序列，单时间序列where，多时间序列 where。

  • Spatio-Temporal Graphs：

    • Spatio-Temporal Graphs（STGs）： where，andare sets of nodes and edges at time

    • Temporal knowledge graphs (TKGs)：A temporal knowledge graph is a sequence ofstatic knowledge graph snapshots indexed in time order, where is a snapshot consisting of the entity and relation sets at time

    • Videos：Let be a video consisting of frames indexed in time order, where denotes the-th frame. For simplicity, we let each frame be a matrix of pixels, i.e.,.

    • Point cloud streaming(PCS)

    • Trajectories and others

目前每种数据类型的代表性任务：

  • Time Series Tasks

    • forecasting：预测时间序列未来值，分为短期预测和长期预测

    • classification：将输入时间序列分成不同类型

    • anomaly detection（异常值检测）：一种特殊的分类任务，目标从正常时间序列中识别出异常时间序列

    • imputation（插补）：目标是填充时间序列中的缺失值，而且不失去一般性

  • Spatio-Temporal Graph Tasks

    • forecasting（最主要的下游任务）：通过参照历史属性和结构信息来预测节点特征

    • link prediction：根据历史信息预测边的存在

    • node/graph classification：将节点或者图分类为不同的类别

  • Temporal Knowledge Graph Tasks

    • completion：估算并补全图中缺失的关系

    • forecasting：预测图中节点未来的关系

  • Video Tasks

    • detection：识别视频中的特定对象或动作

    • captioning：为视频内容生成自然语言描述

    • anticipation：预测视频序列中即将出现的帧

    • querying：检索与特定查询相关的视频片段

image-20240915194809907

OVERVIEW AND CATEGORIZATION

四个维度：data categories, model architectures, model scopes, and application domains or tasks

  • LM4TS

    • LLM4TS

      • general-purpose

      • domain-specific

    • PFM4TS

      • general-purpose

      • domain-specific

  • LM4STD

    • LLM4STD

      • Spatio-Temporal Graphs（STGs）

      • Temporal knowledge graphs (TKGs)

      • Videos Data

    • PFM4STD

      • Spatio-Temporal Graphs（STGs）

      • Videos Data

image-20240915194933298

image-20240915195000245

LARGE MODELS FOR TIME SERIES DATA

4.1 Large Language Models in Time Series

4.1.1 General Models

  1. PromptCast：输入和输出都是自然语言句子，是一种“无代码”时间序列预测解决方案，新引入instruction dataset (PISA) for PromptCast任务

  2. LLMTime：证明LLM是有效的零样本时间序列学习器当对事件序列数据正确设置tokenization时

  3. OFA[48]：为了解决缺乏大规模数据训练的问题，提出了一个统一的微调框架，部分冻结LLMs，保持自注意力层和前馈层冻结时只微调embedding层和normalization层。这在所有主要任务中实现了优越的性能。

  4. TEMPO[104]：专注于时间序列预测但是结合了额外的 fine-grained designs such as time series decomposition and soft prompts。

  5. Llm4ts[106]：两阶段微调，首先用监督微调引导LLM处理时间序列数据，然后转向面对下游的时间序列微调。

  6. TEST[105]：使用了新的嵌入方法，tokenizes and encodes the data by instance-wise, feature-wise, and text-prototype-aligned contrast, and then creates prompts to pass to LLMs to perform the tasks。

  7. Time-LLM ：使用原数据模态和基于自然语言的prompt来reprogram时间序列，在各种预测场景中取得了最先进的性能，并且在few-shot和zero-shot设置中表现出色。因为不直接编辑输入时间序列，也不微调LLM主干，所以高效。

4.1.2 Domain-Specific Models

  1. Transportation

  2. Finance

  3. Event Prediction

  4. Healthcare

4.2 Pre-Trained Foundation Models in Time Series

4.2.1 General Models

  1. Voice2Series：利用预训练语音模型的表示学习能力，使用语音数据作为univariate temporal signals进行时间序列分类，是第一个对时间序列任务进行reprogramming的工作。

  2. TF-C（based on contrastive learning）： 包含了一个基于时间的分量和一个基于频率的分量，每个分量通过对比评估被单独训练，而自监督的信号则由时间和频率分量之间的距离提供，即时间-频率一致性。

  3. TS2Vec：提出了一种通用的对比学习框架，通过a hierarchical way over augmented context views去学习任意子序列在时间序列域中各种语义级别上的上下文表示。该框架支持多变量输入。

  4. CLUDA ：一种基于对比学习的无监督域适应模型。两个新颖的组件：custom contrastive learning，and nearest-neighbor contrastive learning。 The adversarial learning被用于对齐这两个组件跨source和target域。对比学习组件旨在学习一个表示空间，使得语义相似的样本更近，而不同的样本更远，因此它可以学习domain-invariant contextual representations in multivariate time series for domain adaptation.

  5. STEP

  6. MTSMAE

  7. SimMTM

  8. PatchTST

  9. TSMixer

4.2.2 Domain-Specific Models

  1. PromptTPP

LARGE MODELS FOR SPATIO-TEMPORAL DATA

5.1 Spatio-Temporal Graphs

5.1.1 Large Language Models in Spatio-Temporal Graphs

5.1.2 Pre-Trained Foundation Models in Spatio-Temporal Graphs

  1. General Purposes

  2. Domain-specific

    1. Climate

    2. Transportation

5.2 Temporal Knowledge Graphs

5.3 Videos

5.3.1 Large Language Models for Video Data

5.3.2 Pre-Trained Foundation Models for Video Data

RESOURCES AND APPLICATIONS

6.1 Traffic Application

  1. Datasets

  2. Tools

6.2 Healthcare Application

  1. Datasets

  2. Model Checkpoints and Toolkits

6.3 Weather Application

  1. Datasets

  2. Models and Tools

6.4 Finance Application

  1. Datasets

  2. Models and Tools

6.5 Video Application

  1. Datasets

  2. Models and Tools

6.6 Event Predication Application

  1. Datasets

  2. Models and Tools

6.7 Other Applications

  1. Datasets

  2. General Tools and Librarie

image-20240915163218177

OUTLOOK AND FUTURE OPPORTUNITIES

  1. Theoretical Analysis of Large Models

  2. Development of Multimodal Models

  3. Continuous Learning and Adaptation

  4. Interpretability and Explainability

  5. Privacy and Adversarial Attacks on Large Models

  6. Model Generalization and Vulnerabilities

CONCLUSION

  • 提供一个关于时间序列和时空数据分析的大模型的全面而最新的综述。
  • 引入了一种新颖的分类法，为这个动态领域提供了新的视角。
  • 总结了每个类别的突出技术，深入研究了优点和局限性。