Optimization of lstm networks for time series forecasting

Скорочена інформація про документ
dc.contributor.authorRomanuke, V. V.
dc.date.accessioned2023-08-09T09:28:10Z
dc.date.available2023-08-09T09:28:10Z
dc.date.issued2021
dc.description.abstractBackground. LSTM neural networks are a very promising means to develop time series analysis and forecasting. However, s well as neural networks for other fields and applications, LSTM networks have a lot of architecture ver sions, training parameters, and hyperparameters, whose inappropriate selection may lead to unacceptably poor perfor mance (poor or badly unreliable forecasts). Thus, optimization of LSTM networks is still an open question. Objective. The goal is to ascertain whether the best forecasting accuracy is achieved at such a number of LSTM layer neurons, which can be determined by the time series lag. Methods. To achieve the said goal, a set of benchmark time series for testing the forecasting accuracy is presented. Then, a set-up of the computational study for various versions of the LSTM network is defined. Finally, the computa tional study results are clearly visualized and discussed. Results. Time series with a linear trend are forecasted worst, whereas defining the LSTM layer size by the lag in a time series does not help much. The best-forecasted are time series with only repeated random subsequences, or seasonality, or exponential rising. Compared to the single LSTM layer network, the forecasting accuracy is improved by 15 % to 19 % by applying the two LSTM layers network. Conclusions. The approximately best forecasting accuracy may be expectedly achieved by setting the number of LSTM layer neurons at the time series lag. However, the best forecasting accuracy cannot be guaranteed. LSTM networks for time series forecasting can be optimized by using only two LSTM layers whose size is set at the time series lag. Some discrepancy is still acceptable, though. The size of the second LSTM layer should not be less than the size of the first layer.uk
dc.description.abstractotherта прогнозування часових рядів. Однак, як і нейронні мережі для інших дисциплін та застосувань, LSTM-мережі мають низку версій архітектури, параметрів навчання і гіперпараметрів, неправильний підбір яких може призвести до неприйнятно поганої продуктивності (поганих або дуже ненадійних прогнозів). Тому питання оптимізації LSTM-мереж все ще є відкритим. Мета дослідження. Встановити, чи досягається найкраща точність прогнозування за такої кількості нейронів у LSTM-шарі, яку можна визначити за лагом часового ряду. Методика реалізації. Для досягнення поставленої мети пропонується набір контрольних часових рядів для тестування точності прогнозування. Далі визначається порядок обчислювального дослідження для різних версій LSTM-мережі. У підсумку проводиться повна візуалізація й обговорення результатів обчислювального дослідження. Результати дослідження. Найгірше прогнозуються часові ряди з лінійним трендом, а визначення розміру LSTM-шару за лагом у часовому ряді не дуже допомагає. Найкраще прогнозуються часові ряди, що мають лише повторювані випадкові підпослідовності, або сезонність, або експоненціальне зростання. При застосуванні мережі з двома LSTM-шарами точність прогнозування покращується на 15...19 % як порівняти з мережею з одним LSTM-шаром. Висновки. Приблизно найкраща точність прогнозування може бути очікувано досягнута за встановлення числа нейронів у LSTM-шарі, яке дорівнює лагу часового ряду. Однак це не гарантує найкращу точність прогнозування. LSTM-мережі для прогнозування часових рядів можуть бути оптимізовані за використання лише двох LSTM-шарів, розмір яких дорівнює лагу часового ряду. Втім, деякі розбіжності є також прийнятними. Розмір другого LSTM-шару має бути не меншим від розміру першого.uk
dc.description.abstractotherПроблематика. Нейронные LSTM-сети являются чрезвычайно перспективным средством для развития анализа и прогнозирования временных рядов. Однако, как и нейронные сети для других дисциплин и приложений, LSTM-сети имеют множество версий архитектуры, параметров обучения и гиперпараметров, неадекватный подбор которых может привести к неприемлемо плохой производительности (плохим или очень ненадёжным прогнозам). Поэтому вопрос оптимизации LSTM-сетей всё ещё остаётся открытым. Цель исследования. Установить, достигается ли наилучшая точность прогнозирования при таком количестве нейронов в LSTM-слое, которое может быть определено по лагу временного ряда. Методика реализации. Для достижения поставленной цели предлагается набор контрольных временных рядов для тестирования точности прогнозирования. Далее определяется порядок вычислительного исследования для различных версий LSTM-сетей. В конечном итоге, проводится полная визуализация и обсуждение результатов вычислительного исследования. Результаты исследования. Хуже всего прогнозируются временные ряды с линейным трендом, а определение размера LSTM-слоя по лагу во временном ряде не особо помогает. Лучше всего прогнозируются временные ряды, имеющие только повторяемые случайные подпоследовательности, или сезонность, или экспоненциальный рост. В случае применения сети с двумя LSTM-слоями по сравнению с сетями с одним LSTM-слоем точность прогнозирования улучшается на 15...19 %. Выводы. Приблизительно наилучшая точность прогнозирования может быть ожидаемо достигнута при установлении числа нейронов в LSTM-слое равным лагу временного ряда. Однако это не гарантирует наилучшей точности прогнозирования. LSTM-сети для прогнозирования временных рядов могут быть оптимизированы при использовании только двух LSTM-слоёв, чей размер устанавливается равным лагу временного ряда. Впрочем, некоторые расхождения также приемлемы. Размер второго LSTM-слоя должен быть не меньше размера первого.uk
dc.format.pagerangePp. 14-25uk
dc.identifier.citationRomanuke, V. V. Optimization of lstm networks for time series forecasting / V. V. Romanuke // Наукові вісті КПІ : міжнародний науково-технічний журнал. – 2021. – № 3(133). – С. 14–25. – Бібліогр.: 16 назв.uk
dc.identifier.doihttps://doi.org/10.20535/kpisn.2021.3.230989
dc.identifier.orcid0000-0003-3543-3087uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/59071
dc.language.isoenuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.relation.ispartofНаукові вісті КПІ: міжнародний науково-технічний журнал, № 3(133)uk
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/
dc.subjecttime series forecastinguk
dc.subjectLSTM networkuk
dc.subjectLSTM layer sizeuk
dc.subjectforecasting accuracyuk
dc.subjectroot-mean-square erroruk
dc.subjectmaximum absolute erroruk
dc.subjectпрогнозування часових рядівuk
dc.subjectLSTM-мережаuk
dc.subjectрозмір LSTM-шаруuk
dc.subjectточність прогнозуванняuk
dc.subjectсередньоквадратична помилкаuk
dc.subjectмаксимальна абсолютна похибкаuk
dc.subjectпрогнозирование временных рядовuk
dc.subjectLSTM-сетьuk
dc.subjectразмер LSTM-слояuk
dc.subjectточность прогнозированияuk
dc.subjectсреднеквадратическая ошибкаuk
dc.subjectмаксимальная абсолютная погрешностьuk
dc.subject.udc519.246.8+519.216.3+004.032.26uk
dc.titleOptimization of lstm networks for time series forecastinguk
dc.title.alternativeОптимізація lstm-мереж для прогнозування часових рядівuk
dc.title.alternativeОптимизация lstm-сетей для прогнозирования временных рядовuk
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
230989-580109-1-10-20220207.pdf
Розмір:
624.08 KB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
1.71 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Наукові вісті КПІ: міжнародний науково-технічний журнал, № 3(133)