Self-supervised learning aplicado à predição de séries temporais em cenários climáticos

Abstract

O presente estudo investigou a aplicação de Self-Supervised Learning (SSL) com Masked Autoencoders para previsão de temperatura a 2 metros da superfície (T2M) a partir de dados climáticos multivariados. A abordagem foi proposta para superar limitações de métodos supervisionados tradicionais, que demandam grandes volumes de dados rotulados – frequentemente escassos em aplicações meteorológicas. O Masked Autoencoder foi empregado para reconstruir representações latentes dos dados brutos, permitindo que modelos aprendessem padrões climáticos complexos sem dependência exclusiva de rótulos. Foram comparados três modelos principais: Random Forest (RF), Redes Neurais Densas (DNN) e Long Short-Term Memory (LSTM), em duas condições (dados originais e reconstruídos pelo Masked Autoencoder). Os resultados destacaram que: a DNN + SSL obteve o melhor desempenho geral (MAE: 0,5621, R²: 97,6%), superando suas contrapartes com dados originais; o RF + SSL mostrou alta estabilidade (DP MAE: ± 0,0006), sendo ideal para cenários que priorizam consistência; a LSTM, embora superior com dados originais (MAE: 0,8961), teve desempenho prejudicado pelo Masked Autoencoder, sugerindo perda de informação temporal na reconstrução. Concluiu-se que o SSL com Masked Autoencoder é uma estratégia promissora para problemas climáticos, especialmente quando combinado com redes densas, oferecendo precisão e eficiência computacional. As limitações observadas com a LSTM indicam a necessidade de adaptações para preservar dependências temporais. A metodologia pode ser estendida a outros domínios com dados não rotulados (ex.: energia renovável, poluição atmosférica), e trabalhos futuros devem explorar autoencoders temporais e arquiteturas híbridas para otimizar ainda mais os resultados.

This study investigated the application of Self-Supervised Learning (SSL) with Masked Autoencoders for predicting temperature at 2 meters from the surface (T2M) from multivariate climate data. The approach was proposed to overcome the limitations of traditional supervised methods, which require large volumes of labeled data - often scarce in meteorological applications. Masked Autoencoder was used to reconstruct latent representations of the raw data, allowing models to learn complex weather patterns without relying exclusively on labels. Three main models were compared: Random Forest (RF), Deep Neural Networks (DNN), and Long Short-Term Memory (LSTM), under two conditions: using original data and data reconstructed by Masked Autoencoders. The results highlighted that the DNN + SSL achieved the best overall performance (MAE: 0.5621, R²: 97.6%), significantly outperforming its counterparts trained on original data. The RF + SSL demonstrated high stability (MAE standard deviation: ± 0.0006), making it ideal for scenarios prioritizing consistency. In contrast, the LSTM, which performed better with original data (MAE: 0.8961), suffered performance degradation when using Masked Autoencoders, suggesting a loss of temporal information during data reconstruction. Thus, it was concluded that SSL with Masked Autoencoders is a promising strategy for climate-related problems, especially when combined with deep neural networks, offering accuracy, noise robustness, and computational efficiency. However, the limitations observed in the LSTM suggest the need for methodological adaptations to better preserve temporal dependencies in the data. The proposed methodology can be extended to other domains with unlabeled data, such as renewable energy and air pollution. Future studies should explore temporal autoencoders and hybrid architectures to further optimize the obtained results.