A previsão de séries temporais desempenha um papel crucial em várias aplicações do mundo real, que vão desde a previsão da demanda até a análise da propagação de pandemias. O campo da previsão de séries temporais multivariadas testemunhou duas categorias principais de modelos: univariados e multivariados. Modelos univariados focam na captura de tendências e padrões sazonais em séries temporais de variável única, enquanto que modelos multivariados, na forma de redes neurais, estendem suas capacidades para processar informações cruzadas entre variáveis diferentes, fornecendo insights sobre as interações entre essas variáveis. Comparações entre as duas abordagens levantaram um paradoxo intrigante: modelos multivariados avançados frequentemente têm desempenho inferior a modelos lineares univariados mais simples em benchmarks de previsão de longo prazo, levantando questões sobre a importância da informação cruzada na previsão de séries temporais.
Em resposta a esse desafio, a equipe do Google AI introduziu uma solução batizada de Time-Series Mixer (TSMixer). O TSMixer é uma abordagem inovadora que aproveita os pontos fortes dos modelos lineares enquanto incorpora eficientemente informações cruzadas através de um transformer modificado, resultando em um modelo que rivaliza o desempenho dos melhores modelos univariados em benchmarks de previsão de longo prazo.
Uma das principais diferenças entre modelos lineares e arquiteturas baseadas em transformers é a forma como eles capturam padrões temporais. Modelos lineares utilizam pesos fixos dependentes do passo de tempo, enquanto que os transformers têm pesos dinâmicos dependentes de dados processados por meio de mecanismos de atenção. O TSMixer preenche essa lacuna combinando essas duas abordagens ao substituir as camadas de atenção do transformer por camadas lineares.
Os resultados empíricos são uma prova da habilidade do TSMixer. Ele supera outros modelos multivariados e se equipara aos melhores modelos univariados quando avaliado em relação a conjuntos de dados populares de previsão de longo prazo. Isso demonstra que modelos multivariados bem projetados podem igualar o desempenho de seus homólogos univariados.
O modelo se destaca em aplicações onde a informação cruzada é menos benéfica, como demonstrado por seu sucesso em diversos benchmarks de previsão de longo prazo. No entanto, ele também mostra sua força quando desafiado com conjuntos de dados mais complexos e realistas, como o benchmark M5, que exige a incorporação de informações cruzadas, recursos auxiliares e uma compreensão das interações intricadas entre variáveis.
Ao unir os pontos fortes dos modelos lineares com a adaptabilidade das arquiteturas baseadas em transformers, o TSMixer oferece novas possibilidades para o desenvolvimento de modelos de previsão de séries temporais. O anúncio do modelo acompanha um artigo com mais detalhes técnicos.