-
随着数据采集技术和大数据科学的发展,水电工业相关领域汇聚了海量数据,其中,时间序列数据占据了较大比重。利用丰富的历史时序数据来预测未来一段时间的发展变化在电力特别是水电工业中具有重大的应用前景,如智能电网调度[1]、水电负荷平衡[2]、水库水位预测[3]等。
现有的时间序列预测方法主要针对短期的时序预测问题,而水电领域日益增长的长序列数据和对长期趋势预测的需求,更要求模型具有对长序列的建模与预测能力,该问题被称为LSTF (long sequence time-series forecasting)。输入序列和预测序列的长度是影响时序模型预测性能的两大重要因素,在LSTF任务中,输入序列和预测序列的长度都大大增加,这对模型实现准确快速地时序预测提出了巨大挑战。由于LSTF任务难度巨大,现有的时间序列预测模型如循环神经网络模型和注意力模型,在处理LSTF任务时都存在着许多不足,需要进行更多的针对性改进。
水电站水轮机顶盖水位变化是一个典型的长序列预测问题。由于水轮机主轴密封装置漏水和水泵排水等因素,水轮机顶盖水位随时间不断变化。水轮机顶盖水位是影响水轮机运行安全的重要因素,顶盖水位过高会淹没水导轴承和漏油箱,引起机组用油变质,严重威胁设备的运行安全[4]。水轮机顶盖积水主要有以下几个来源:主轴密封装置漏水、导叶套筒漏水、真空破坏阀无法复归、顶盖排水空心固定导叶阻塞或者空心固定导叶破坏、顶盖与止漏环冲蚀漏水等[5]。对顶盖水位及时的监测和预警,可以监测顶盖水泵的运行效率,保证顶盖水位保持在安全可控的范围内,提升水电站运行的安全性。
本文根据LSTF问题的特点,对带自注意力机制的时间序列预测模型进行改进,设计了新的时间序列嵌入表示方法,增加池化操作,并结合生成式推断构建了一种高效的长序列预测模型。在大规模数据集上的实验表明,本文模型在水电站水轮机顶盖水位预测这一重要工业应用中,可以对长期水位的时间序列进行高效准确地预测。
-
本文从国家能源集团大渡河公司大岗山水电站获取了2018—2020年的水电站运行数据,选取了与水轮机顶盖水位相关的多个测点作为模型的输入特征。相关数据包括了:水轮机机组流量、机组有功、主轴密封磨损量、密封水压力、密封水流量、顶盖压力脉动、顶盖xyz向振动、顶盖水位以及4台排水泵的启停信号。所有数据采样共262万余条,其中包括模拟量(传感器数值)数据共157万余条,其他开关量及统计量(如机组启停记录和运行时长)共105万余条。使用上述数据对本文模型进行实验验证。
-
选取以下4种经典的时间序列预测模型和本文模型进行对比,以更好地验证模型的性能。
ARIMA:差分整合移动平均自回归模型,一种最常见的基于历史数据进行时间序列预测的统计模型。
LSTM[10]:一种RNN的变种,在RNN的基础上引入门控机制,由输入门、遗忘门和输出门组成,广泛应用于时间序列信息的提取和挖掘。
GRU[9]:在LSTM上加以改进,将LSTM的遗忘门和输入门合并为一个更新门,该模型只包含更新门和重置门,减小了计算量和内存使用。
Transformer[14]:利用自注意力机制替换RNN网络结构,实现时序信息的对齐和捕获,利用层层叠加的自注意力机制更好地捕获多个输入序列中最重要的部分。
-
本文实验模型使用PyTorch框架实现,实验环境基于Ubuntu 20.04操作系统,使用了Inter i7-6700 CPU和GTX3090 GPU。在模型训练方面,运用Adam优化器,学习率设置为0.0001;编码器多头注意力模块的头数为6;多头注意力模块和池化模块的组合块数为2;解码器多头注意力模块的头数为6;训练最大迭代次数为100;批次样本数为64。关于对比基线,本文在预定义的参数中空间搜索,选取最优配置的实验结果。具体地,ARIMA中,将p、d和q的值分别设为64、1和32;设定LSTM与GRU隐状态的维度为256;Transformer编码器的层数设为3;解码器层数设为1;多头注意力模块的头数设定为8。数据集划分上,将数据预处理后的初始数据集按年划分,前80%作为训练集和验证集,共计42万条数据;将后20%作为测试集,共计10万条数据。
-
对于时间序列预测任务,本文使用通用的评价指标来评估本文模型和其他基准模型的性能。采用均方误差(MSE)和平均绝对误差(MAE)作为最终的预测效果评价指标。MSE和MAE计算如下:
-
本文模型和基准模型的性能比较结果如表1所示,考虑到编码器输入长度和解码器预测长度是影响本文模型性能的关键参数,因此分别尝试了不同的输入长度和预测长度的组合来更加全面地对模型展开分析。
由表1和表2可知,当预测长度固定时,随着输入长度的增加,所有模型的表现都在逐步提升,这表明模型在更大的观察视野下通常可以捕获更多的周期等特征信息,以实现更好地预测。与此同时,本文发现在不同的输入长度和预测长度的组合情形下,传统的基于统计学习的模型ARIMA表现最差,采用了门控机制的LSTM和GRU表现次之,这表明简单的基于统计学习的模型在短序列预测时表现较好,但无法应对长序列水位的场景。标准Transformer模型性能较好,仅次于本文所提出的模型,这是由于本文模型在Transformer的基础上引入了池化操作,使模型可以实现序列对齐,寻找出更为关键的特征,更好地应对长序列预测问题。
预测长度 编码器输入长度 ARIMA LSTM GRU Transformer 本文模型 MSE MAE MSE MAE MSE MAE MSE MAE MSE MAE 60 60 0.517 0.769 0.416 0.634 0.398 0.612 0.301 0.468 0.304 0.452 60 120 0.436 0.691 0.364 0.584 0.351 0.559 0.241 0.423 0.232 0.398 60 180 0.367 0.524 0.286 0.438 0.273 0.419 0.184 0.284 0.176 0.267 120 120 0.547 0.905 0.477 0.765 0.462 0.726 0.361 0.548 0.354 0.532 120 180 0.494 0.814 0.389 0.617 0.376 0.669 0.261 0.441 0.272 0.438 120 240 0.387 0.618 0.324 0.502 0.311 0.489 0.224 0.314 0.226 0.327 编码器输入长度 ARIMA LSTM GRU Transformer 本文模型 MSE MAE MSE MAE MSE MAE MSE MAE MSE MAE 120 0.865 0.812 0.650 0.755 0.654 0.754 0.425 0.633 0.412 0.624 180 0.813 0.790 0.573 0.578 0.564 0.654 0.375 0.568 0.358 0.556 240 0.778 0.767 0.547 0.641 0.545 0.647 0.345 0.524 0.322 0.503 为了更好地呈现本文模型的实际预测性能,选取多组不同时间的顶盖水位变化数据和水轮机相关状态数据,使用历史2 h的数据预测后2 h的顶盖水位,即120步长的水位变化,实验结果如图2所示,实线表示真实值,虚线表示预测值。
从图中得到以下结论。1)顶盖水位变化具有一定的周期性,这是由水轮机和水泵的工作特点和工作方式决定的。顶盖水泵的启停受到顶盖水位的控制,当水位上升到一定阈值,水泵开启,水位快速下降,下降到一定阈值,水泵关闭。本文模型能够捕获这种周期性,并在预测结果上体现了与真实数据相同的上升与下降的态势。2)当顶盖水位在周期规律中出现波动时,本文模型所包含的多头注意力机制能够分析并捕捉历史观测中对未来水位变化的重要时刻,并据此实现良好的预测效果。多组案例可视化分析说明了,本文模型可以很好地预测顶盖水位的变化,预测的水位趋势及数值能够很好地拟合真实的水位变化情况。这一现象说明了本文模型可以有效地处理极长的输入序列,提取长序列信息并进行长距离的时序预测。
在本文模型的设计和实现中,针对长序列预测问题中预测长度长的特点,进行针对性设计以提高预测速度。图3中展示了不同模型预测时间的对比情况。
由图3可知,本文模型的预测效率高于其他基准模型,并随着预测长度的增加,速度优势越来越大。说明本文模型使用池化操作替换前馈神经网络能有效减少了计算量。
Research and Implementation of Efficient Long Sequence Model for Water Level Forecasting
doi: 10.12178/1001-0548.2022133
- Received Date: 2022-05-09
- Rev Recd Date: 2022-10-16
- Available Online: 2023-09-06
- Publish Date: 2023-07-07
-
Key words:
- deep learning /
- industrial big data /
- long sequence time-series forecasting /
- neural network /
- self-attention mechanism
Abstract: Long-Sequence forecasting aims to model and predict future long-term time series trends by leveraging historical knowledge and patterns and has many practical applications in various industries. To fully utilize long-time series industrial data characteristics, this paper presents an improved self-attention mechanism suitable for modeling and forecasting long sequence industrial data. Our model builds a new embedding representation learning module, combined with the pooling operations, and uses the generative inference for long-range dependency modeling and time-series signal prediction. Compared with the previous self-attention-based method, the proposed model effectively solves the problems of insufficient prediction accuracy and high training cost in long sequence prediction. Our model significantly improves long-sequence water level prediction accuracy and efficiency compared with other benchmark methods. Experiments conducted on the real-world water level data from a large-scale hydropower station proved the superior performance of the proposed model in terms of both effectiveness and efficiency over existing state-of-the-art models.
Citation: | HUANG Ying, XU Jian, ZHOU Ziqi, CHEN Shupei, ZHOU Fan, CAO Sheng. Research and Implementation of Efficient Long Sequence Model for Water Level Forecasting[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(4): 595-601. doi: 10.12178/1001-0548.2022133 |